最近在学习 scrapy 中，突破反爬限制的几种方法，总结一下，记录学习过程中的收获。
在以后的学习中也有可能会用到这些知识。
Downloader Middleware
简单介绍一下 Downloader Middleware 即下载中间件，它处于 Scrapy 的 Request 和 Response 之间的处理模块，在 scrapy 的整个架构中起作用的位置是以下两个
- 在Scheduler 调度出队列的 Request 发给 Downloader 下载之前，也就是我们可以在 Request 执行下载之前对其进行修改。
- 在下载之后生成的 Response 发送给 Spider 之前，也就是我们可以在生成 Response 被 Spider 解析之前对其进行修改。
修改 User-Agent 、处理重定向、设置代理、失败重试、设置 Cookies 等功能都需要它来实现。
User-Agent
本文不去探讨那些具体方法的代码逻辑，仅以实战的方式分析用法。
项目实战
新建一个项目，命令如下：
scrapy startproject scrapydownloadertest
进入项目，新建一个 Spider ，命令如下：
cd scrapydownloadertest
scrapy genspider httpbin httpbin.org
在 pycharm 中打开，并修改 start_urls 为 ['http://httpbin.org/get']。随后将 parse() 方法添加一行日志输出，将 response 变量中的 text 文本信息输出一下，看一下 scrapy 发送的 request 信息。
修改后的 spider
import scrapy
class HttpbinSpider(scrapy.Spider):
name = 'httpbin'
allowed_domains = ['httpbin.org']
start_urls = ['http://httpbin.org/get']
def parse(self, response):
self.logger.debug(response.text)
接下来运行一下,点击pycharm 下方 Terminal 运行命令：
scrapy crawl httpbin
找到输出的日志：
2018-09-16 13:35:09 [httpbin] DEBUG: {
"args": {},
"headers": {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Encoding": "gzip,deflate",
"Accept-Language": "en",
"Connection": "close",
"Host": "httpbin.org",
"User-Agent": "Scrapy/1.5.0 (+https://scrapy.org)"
},
"origin": "219.157.79.134",
"url": "http://httpbin.org/get"
}
观察一下 User-Agent ，scrapy 发送的 Request 是 Scrapy/1.5.0 (+https://scrapy.org) ，这其实是用scrapy内置的 UserAgentMiddleware 设置的，我们看一下 UserAgentMiddleware 的源码：
from scrapy import signals
class UserAgentMiddleware(object):
"""This middleware allows spiders to override the user_agent"""
def __init__(self, user_agent='Scrapy'):
self.user_agent = user_agent
@classmethod
def from_crawler(cls, crawler):
o = cls(crawler.settings['USER_AGENT'])
crawler.signals.connect(o.spider_opened, signal=signals.spider_opened)
return o
def spider_opened(self, spider):
self.user_agent = getattr(spider, 'user_agent', self.user_agent)
def process_request(self, request, spider):
if self.user_agent:
request.headers.setdefault(b'User-Agent', self.user_agent)
解析
在 from_crawler() 方法中，首先获取 settings 里面的 USER_AGENT ，然后把 USER_AGENT 传递给 init() 方法进行初始化，其参数就是 user_agent 。如果没有传递 USER_AGENT 参数就默认设置 Scrapy 字符串。我们新建项目里没有在 settings 中设置 USER_AGENT ，所以我们的代码中 user_agent 变量就是 Scrapy 。接下来，在 process_request() 方法中，将 user_agent 变量设置为 headers 变量的一个属性，这样就成功设置了 User-Agent 。
因此，修改 User-Agent 也就可以有两种方式
- 修改 settings 里面的 USER_AGENT 变量
在 settings.py 文件中加一行 USER_AGENT 的定义就可以了。
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
一般推荐此方法来设置。如果想要设置的更加灵活，比如设置随机的 User-Agent 。那就要用第二种方式了。
- 通过 Downloader Middleware 的 process_request() 方法来修改。
在 middlewares.py 文件里添加一个 RandomUserAgentMiddleware 的类，如下：
class RandomUserAgentMiddleware(object):
# 随机更换 user_agent
def __init__(self,srawler):
super(RandomUserAgentMiddleware,self).__init__()
self.ua = UserAgent()
@classmethod
def from_crawler(cls,crawler):
return cls(crawler)
def process_request(self,request,spider):
def get_ua():
request.headers.setdefault('User-Agent',self.ua.random)
这里用到了一个库：
from fake_useragent import UserAgent # 用于随机生成一个user_agent
这个库用于随机生成 useragent ，具体可以查看文档。
随后我们在 settings.py 中调用 Downloader Middleware 。
DOWNLOADER_MIDDLEWARES = {
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
'scrapydownloadertest.middlewares.RandomUserAgentMiddleware': 543,
}
接下来重新运行 Spider ，就可以看到 User-Agent 被成功修改为随机的一个 User-Agent 了。
2018-09-16 14:49:44 [httpbin] DEBUG: {
"args": {},
"headers": {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Encoding": "gzip,deflate",
"Accept-Language": "en",
"Connection": "close",
"Host": "httpbin.org",
"User-Agent": "Mozilla/5.0 (Windows NT 6.4; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2225.0 Safari/537.36"
},
"origin": "219.157.79.110",
"url": "http://httpbin.org/get"
}
以上就是两种方式修改 User-Agent 。
由于篇幅长，还是分几篇来介绍吧，下一篇介绍随机设置代理 ip 。
点个赞吧。
