一、准备工作
用来实现分布式爬虫的项目是：爬取知乎用户信息项目
注册了两个服务器：阿里云服务器和腾讯云服务器，使用的系统都是windows系统
二、scrapy-redis组件的使用
将知乎用户项目下载至本地，并使用git命令新建分支以方便对项目进行更改而不影响之前的项目：
git checkout -b distributed #新建分支
git branch #切换分支
在项目settings.py中加入：
SCHEDULER = "scrapy_redis.schedler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
REDIS_URL = 'redis://120.xx.xx.xx:password@120.xx.xx.xx:6379' #我用的是阿里云服务器，此处包括服务器的用户名、密码、服务器公网IP、端口号
ITEM_PIPELINES = {
'zhihuuser.pipelines.MongoPipeline': 300,
# 'scrapy_redis.pipelines.RedisPipeline': 301,
}
将更改后的项目上传至GitHub：
git add -A
git commit -m "add distributed"
git push origin distributed
三、在本机及腾讯云上进行协同爬取
在本机上可以直接使用命令运行项目：
scrapy crawl zhihu
在腾讯云服务器上需将在分支distributed上的项目克隆下来，然后再运行：
git clone http://github.com/xxx/xxx -b distributed
这样子就可以让本机及腾讯云服务器对知乎用户项目进行协同爬取，各自爬取到的数据保存在各自的MongoDB数据库--
本机MongoDB数据库：
本机MongoDB.png
腾讯云MongoDB数据库：
腾讯云MongoDB.png
阿里云redis数据库：
阿里云redis数据库.png
四、问题
在此过程中出现各种问题：
1、服务器无法进行远程连接
2、数据库无法进行远程连接
3、redis、mongodb数据库出现的报错
