本教程针对windows10,python2.7
当spider数量增加,为了便于管理scrapy项目,以及后期的项目打包
使用scrapyd 进行项目管理
首先,安装scrapyd 以及 附属工具包:
pip install scrapyd # 主包
pip install scrapyd-client #命令行工具包
安装完成后,修改项目目录中的scrapy.cfg文件
[deploy]
url = http://localhost:6800/
project = project_name #项目名称
小插曲:
常规状态下,下一步即将执行
scrapyd-deploy
部分教程中,写为
scrapy deploy target -p projcet
是已被遗弃的一个scrapy命令行方法,在scrapy -h 中也没有该命令提示信息
正确使用方法为:
1、创建名为 scrapyd-deploy.bat 文件,内容为:
@echo off
"D:\Python27\python.exe" "D:\Python27\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
# 对照修改本地的python目录
2、将文件移动到python根目录下的Scripts目录中即可使用
scrapyd-deploy project_name -p project_name
>>>Packing version 1496109534
Deploying to project "project_name" in http://localhost:6800/addversion.json
Server response (200):
{"status": "ok", "project": "project_name", "version": "1496109534", "spiders": 1, "node_name": "localhost.localdomain"}
该步骤会将当前项目打包,创建setup.py文件,后期迁移部署时用上,可做个性化修改
输出信息为
项目部署状态,名称,版本号,爬虫数量,主机名称
到此,项目部署完成
部署完成后主要使用curl 进行 scrapyd api 操作,具体操作查看官方文档
参考文档:http://scrapyd.readthedocs.io/en/stable/ (scrapyd官方文档)