前言 需求：初始化url除了url外还有其他字段信息需要附带上，以便item输出时继承这些信息思路：改写scrapy_redis中的next_r...

前言 需求：要向redis存入mongodb中的数据思路：利用redis和pymongo模块，读取mongo的数据后用lpush写入redis中...

前言 需求：scrapy爬取网页速度十分缓慢，在目标网站良好的情况下三天才跑了80w条数据，参考其他爬虫的速度，一天抓取1000w条数据是没有问...

前言 问题：有朋友问起这究竟scrapy是广度优先还是深度优先？回答：深度优先是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线...

前言 需求：将请求不是200的url抓下来保存到本地记录方法：在scrapy的middlewares中创建一个中间件，对response.sta...

前言 需求：用scrapy设置request的请求头ua是随机的，header中其他参数是固定的。方法：由于scrapy局部设置优先于全局设置。...

前言 需求：用scrapy抓取图片思路：scrapy抓取图片的逻辑是，用爬虫抓取图片url输出到pipeline中，然后由pipeline实施下...