scrapy爬虫框架结构
爬虫框架
爬虫框架是实现爬虫功能的一个软件结构和功能组件的集合
爬虫框架是一个半成品，能够帮助用户实现专业网络
“5+2”结构
用户编写实现：（ 入口：SPIDERS 出口：ITEMPIPELINES）
已有实现：ENGINE,SCHEDULER,DOWNLOADER
模块的功能
1.Engine
不需要用户修改
控制所有模块之间的数据流
根据条件触发事件
2.Downloader
不需要用户修改
根据请求下载网页
3.Scheduler
不需要用户修改
对所有爬取请求进行调度管理
4.Downloader Middleware中间件
目的：实施Engine、Scheluder、Downloader之间进行用户可配置的控制
功能：修改丢弃新增请求或响应
用户可以编写配置代码
5.Spider（核心单元）
解析Downloader返回的响应
产生爬取项
产生额外的爬取请求
6.Item pipelines
以流水线方式处理Spider产生的爬取项
由一组操作顺序组成，类似流水线，每个操作是一个Item pipeline类型
可能操作包括：清理、检验和查重爬取项中给的HTML数据、将数据存储到数据库
7.Spider Middleware
目的：对请求和爬取项的再处理
功能：修改丢弃新增请求或爬取项
Requests vs. Srcapy
Scrapy框架常用命令
cmd -> scrapy -h ->进入scrapy命令行
scrapy常用命令
