实现通用爬虫
创建爬虫文件的方式
scrapy genspider -t crawl 爬虫文件 域爬虫文件继承的类CrawlSpider
rules ： 里面存放的是Rule对象（元组或列表）
Rule ： 自定义提取规则，提取到的url，会自动构建Request对象
设置回调函数解析响应结果，设置是否需要跟进（进一步提取URL链接）
process_links： 拦截rule规则提取的url，返回的是一个列表，列表存放的是Link对象LinkExtractor ： 是一个对象，设置提取url的规则
注意： Rules中如果没有设置callback回调，follow默认为True
一定不要去实现parse方法
要想处理起始url的响应结果，我们需要重写parse_start_url方法什么时候适合使用crawlspider？
网页结构比较简单，页面大多是静态页面.
常见反爬措施 ：
1、基于请求头的反爬（合理构建请求头）（请求头参数（User-Agent,Referer,Cookie），常见状态码，常见请求方式）
2、基于Cookie的反爬（Cookie池，文件存储，数据库存储）（如何获取Cookie？如何验证Cookie？怎样进行模拟登陆？）
3、基于IP的反爬（代理，代理的原理？如何获取代理？代理如何检测？代理池？）
4、基于动态加载网页（ajax，结束，jQuery）（selenium？无头浏览器，有头浏览器，selenium的方法）
5、关于数据加密（js，app端，web网页，强行解密）
下载中间键 ： 处于引擎和下载器之间
def process_request(self, request, spider):
所有的request请求在交给中间键之前都会经过process_request()方法
# Called for each request that goes through the downloader
# middleware.
# Must either:
# - return None: continue processing this request
# - or return a Response object
# - or return a Request object
# - or raise IgnoreRequest: process_exception() methods of
# installed downloader middleware will be called
return None
def process_response(self, request, response, spider):
所有的响应结果都会经过process_response()方法
# Called with the response returned from the downloader.
# Must either;
# - return a Response object
# - return a Request object
# - or raise IgnoreRequest
return response
def process_exception(self, request, exception, spider):
处理异常错误process_exception()方法 (一般用不到这个方法)
# Called when a download handler or a process_request()
# (from other downloader middleware) raises an exception.
# Must either:
# - return None: continue processing this exception
# - return a Response object: stops process_exception() chain
# - return a Request object: stops process_exception() chain
pass
激活中间键（settings.py）：中间键后的数字越小，优先级越高
- 关于爬虫的断点爬取
scrapy crawl 爬虫名称 -s jobdir=crawls/爬虫名称
requests.queue ： 保存的请求任务队列
requests.seen： 保存指纹
spider.status : 爬虫允许的状态
仅为个人学习小结，若有错处，欢迎指正~
