引言：由于前阵子有点时间，再加上一点点兴趣，于是就用 Python 语言写了一个爬虫对平时经常浏览的社区——知乎的用户信息进行抓取，并最终成功抓取 70 W 左右的用户信息。...
发简信
IP属地：广东
-
-
从数据角度解析福州美食上一篇网页爬虫分析博客意外在知乎获得了过千的点赞（有哪些网站用爬虫爬取能得到很有价值的数据？），坚定了我继续玩爬虫的决心。 这次爬点啥好？作为一个伪吃货（很想吃但有很多忌口，...
-
scrapy笔记(4) - 跟踪调试scrapy
学习要点 学习如何跟踪调试scrapy框架 oh..距离上次写scrapy笔记3已经有一个多月了,跳票这么久,除了投简历找工作就是自己懒癌发作.嗯,等确定了到底去哪工作之后一...
-
python压缩/解压缩
在知乎有人私信问，用python对zip/rar文件进行解压缩，把得到的文件进行一定的内容替换再压缩成zip/rar是否可行。我记得python有个zipfile模块可以做这...
-
scrapy笔记(3)-微博模拟登录及抓取微博内容参考阅读 基于python的新浪微博模拟登陆Python模拟登录新浪微薄（使用RSA加密方式和Cookies文件新浪微博登录rsa加密方法模拟登录新浪微博（直接填入Cooki...
-
中文问题, 如果是用feed exports, hack一下scrapy用json.dumps()时的参数的ensure_ascii=False.或者不用feed exports,在pipelines用json.dumps()设置也可以.
不过一些特殊符号可能会出问题.scrapy笔记（2）爬天天美剧首页
昨天初学了下scrapy，今天测试下效果，看见网上很多都是用豆瓣的页面做测试，那么久换个不一样的，就选择 天天美剧 了 response.xpath("//table[con...
-
scrapy笔记(1) - 安装
安装 Linux: 使用pip安装 命令:pip install scrapy Windows 从 http://python.org/download/ 上安装Python...
-
scrapy笔记(2) - 小试牛刀 (抓取豆瓣推理小说信息)1. 事前准备: 阅读[scrapy官方文档] [scrapy doc]至少一次 了解scrapy的基本命令及弄懂scrapy文档中例子的项目结构等基本信息下文将假设大家已经...
-
scrapy笔记(2) - 小试牛刀 (抓取豆瓣推理小说信息)
1. 事前准备: 阅读[scrapy官方文档] [scrapy doc]至少一次 了解scrapy的基本命令及弄懂scrapy文档中例子的项目结构等基本信息下文将假设大家已经...
-
scrapy笔记(1) - 安装
安装 Linux: 使用pip安装 命令:pip install scrapy Windows 从 http://python.org/download/ 上安装Python...
-
