需先安装scrapy_redis 一、settings.py 2、爬虫文件(例：dushu.py) 3. 命令行终端连接远程数据库 添加爬取路由

1、Linux下安装scrapy ​ 如果没有pip先下载 ​ sudo apt-get install python-...

创建爬虫时，需要用scrapy genspider -t crawl 爬虫名 域名例如：本例子 scrapy genspider -t craw...

一、settings.py 添加一个代理地址池 开启中间件，并注册代理中间件 二、middlewares.py 清空重写 从settings文件...