scrapy基本介绍
scrapy VS requests
Mac安装 conda install scrapy
conda 是Anaconda 提供一个管理工具
安装后测试scrapy -h
scrapy框架分7个部分
“5+2”结构：ITEM PIPELINES,SPIDERS,ENGINE,SCHEDULER,DOWNLOADER,另外在SPIDERS和ENGINE、ENGINE和DOWNLOADER两个中间键模块MIDDLEWARE
Downkoader Middleware用户可以编写配置代码
目的：实施Engine、Scheduler和Downloader之间进行用户可配置的控制
功能：修改、丢弃、新增请求或响应
Spider（核心单元）
1.解析Downkoader返回的响应（Response）
2.产生爬取项（scraped item）
3.产生额外的爬取请求
Item Pipelines
1.以流水线方式处理Spider产生的爬取项
2.由一组操作顺序组成，类似流水线，每个操作是一个Item Pipelines
类型
3.可能操作包括：清理、检验和查重爬取项中的HTML数据、将数据存储到数据库
Scrapy常用命令
格式：>scrapy<command>[options][args]
创建一个新工程
scrapy startproject <name> [dir]
创建一个爬虫
scrapy genspider [options] <name> [domain]
获取爬虫配置信息
scrapy settings [options]
运行一个爬虫
scrapy crawl [spider]
列出工程中所有爬虫
scrapy list
启动URL调试命令行
scrapy shell [url]
Scrapy初探
1.创建一个工程
scrapy startproject name (name：工程名字)
2.在工程中产生一个scrapy爬虫
scrapy genspider demo name.io (demo：主要编辑python文件的名字)
3.配置产生的spider爬虫
找到上边创建的demo.py的文件，打开，配置
4.运行爬虫，获取网页
scrapy crawl demo (demo：主要编辑python文件的名字)
Scrapy使用步骤：(未完待续)
1.创建一个工程和spider模版
2.编写spider
3.编写item pipeline
4.优化配置策略
