上次写scrapy的东西还是2021年，好久没用这东西了，记录一下吧，以下是正文
scrapy实现分布式爬虫scrapy-redis
概括的讲：scrapy-redis是通过从同一个redis数据库中取出多个请求分发给不同的爬虫来实现分布式的
scrapy改成scrapy-redis只需要修改两个文件的东西
1.spider.py
2.setting.py
1、修改spider.py
# 修改前
class Movie80Spider(scrapy.Spider):
name = "Movie80s"
allowed_domains = ["xvipvip.com"]
start_urls = ["http://www.xvipvip.com/acg/y2024/"]
# 修改后
from scrapy_redis.spiders import RedisSpider
class Movie80sSpider(RedisSpider):
name = "Movie80s"
# allowed_domains = ["xvipvip.com"]
# start_urls = ["http://www.xvipvip.com/acg/y2024/"]
redis_key = 'Movie80:start_urls'
2、修改setting.py
在setting.py内添加以下设置
""" scrapy-redis配置 """
# 1(必须). 使用了scrapy_redis的去重组件，在redis数据库里做去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 2(必须). 使用了scrapy_redis的调度器，在redis里分配请求
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 3(必须). 是否在关闭时候保留原来的调度器和去重记录，True=保留，False=清空
# 在redis中保持scrapy-redis用到的各个队列，从而允许暂停和暂停后恢复，也就是不清理redis queues
SCHEDULER_PERSIST = True
# 4(必须). 通过配置RedisPipeline将item写入key为 spider.name : items 的redis的list中，供后面的分布式处理item
# 这个已经由 scrapy-redis 实现，不需要我们写代码，直接使用即可
ITEM_PIPELINES = {
# 新增的管道
'scrapy_redis.pipelines.RedisPipeline': 100,
# 之前的管道
"movie80s.pipelines.Movie80SPipeline": 300,
}
# 5(必须). 指定redis数据库的连接参数
REDIS_HOST = "localhost"
REDIS_PORT = 6379
REDIS_DB = 0
# REDIS_PARAMS = {
# "password": "一只酸柠檬精",
# }
# 6.如果不启用则按scrapy默认的策略
# -1. 默认的 按优先级排序(Scrapy默认)，由sorted set实现的一种非FIFO、LIFO方式。
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue' # 使用有序集合来存储
# -2. 可选的 按先进先出排序（FIFO）
# SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderQueue'
# -3. 可选的 按后进先出排序（LIFO）
# SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderStack'
# 7. LOG等级
#LOG_LEVEL = 'DEBUG'
# 8设置每次从 Redis 队列中获取的请求个数（）
REDIS_START_URLS_BATCH_SIZE = 5
3、运行
第一步启动爬虫：
在不同的电脑上启动爬虫;
或者在本地不同的文件夹内复制多份爬虫，启动。
scrapy crawl Movie80s
爬虫开启后会进入监听状态，等待redis中存入爬取的链接
image.png
第二步将需要爬取的链接存入redis：
因为我们在setting.py中设置的redis数据库的参数是0号数据库，所以我们需要将爬取的链接存入redis的0号数据库中
其中 Movie80:start_urls 是我们在spider.py中设置的redis_key
lpush Movie80:start_urls http://www.xvipvip.com/mov/0/11/china/1.html
爬虫从redis中拿到需要爬取的链接，就开始运行了
image.png
这是爬虫结束后存入redis的数据
Movie80s:dupefilter是开启去重后，redis数据库存储已经爬取的网址的指纹，以此来确保每个网址只被爬取一次
Movie80s:items是我们在setting.py添加的第四步：《通过配置RedisPipeline将item写入key为 spider.name : items 的redis的list中，供后面的分布式处理item》
image.png
遇到的一个问题
问题1：本地的scrapy-redis，复制了两份，A和B两个都开启后，爬虫A在跑，爬虫B还在监听，关闭了爬虫A之后，爬虫B开始运行了。
原因:请求量太少了，一个爬虫就够搞定了
解决办法 ：
设置每次从 Redis 队列中获取的请求个数，越小越好，
REDIS_START_URLS_BATCH_SIZE = 5
