将一个Scrapy项目变成一个Scrapy-redis分布式爬虫项目，需要修改哪三大步
1. 将爬虫的类从scrapy.Spider变成scrapy_redis.spiders.RedisSpider;或者是从scrapy.CrawlSpider变成scrapy_redis.spider.RedisCrawlSpider。
2. 将爬虫中的start_urls删掉，增加一个redis_key=”xxx”,这个redis_key是为了以后再redis中控制爬虫启动的。爬虫的第一个url,就是在redis中通过这个类属性发送出去的。
3. 在配置文件中增加如下配置：
# 确保带爬取的request对象存储到redis数据库中 爬虫名:requests# 将单词全部进行大小写转换的快捷键：ctrl+shift+uSCHEDULER="scrapy_redis.scheduler.Scheduler"# 确保所有的爬虫共享相同的去重指纹 爬虫名：dupefilter，类型为set集合
DUPEFILTER_CLASS="scrapy_redis.dupefilter.RFPDupeFilter"# 爬虫名：requests 存放所有待爬取的request的集合,类型为zset集合
# Configure item pipelines# See https://docs.scrapy.org/en/latest/topics/item-pipeline.htmlITEM_PIPELINES = { # 'fang.pipelines.FangPipeline': 300, # 将爬虫爬取的数据存储到redis数据库中,key为: 爬虫名:items,类型为list集合
'scrapy_redis.pipelines.RedisPipeline': 543,}# 在redis中保存scrapy-redis用到的队列，不会清除redis中的队列，从而可以实现暂停和恢复功能SCHEDULER_PERSIST=True# 设置连接redis的信息
REDIS_HOST="xxxxx"
REDIS_PORT=6379
