好久没有用过scrapy框架，甚至有一些手生了。学习东西最痛苦的事情是，学了的东西不用。过一段时间我都怀疑自己是否学过了。 还是古话说的好，温故而知新。在这里记录一下感觉重要的几个点。先从简单的来。
0.设置User-Agent
设置User-Agent的方法有很多种，其他的都是设置配置之类的。这里只说一个通过改写middlewares的。
0.0.1 首先来说一个第三方库fake_useragent, 这个库是可以提供随机的User-Agent，免去了自己维护User-Agent的麻烦。
# 安装fake_useragent
pip install fake-useragent
# 使用示例
from fake_useragent import UserAgent
ua = UserAgent()
ua.ie
# Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US);
ua.msie
# Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)'
ua['Internet Explorer']
# Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.4; InfoPath.2; SV1; .NET CLR 3.3.69573; WOW64; en-US)
ua.opera
# Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11
ua.chrome
# Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2'
ua.google
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/537.13 (KHTML, like Gecko) Chrome/24.0.1290.1 Safari/537.13
ua['google chrome']
# Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11
ua.firefox
# Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:16.0.1) Gecko/20121011 Firefox/16.0.1
ua.ff
# Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1
ua.safari
# Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25
# 随机生成一个UA
ua.random
0.0.2 编写middleware.py 文件中的类
from fake_useragent import UserAgent
class RandomUserAgentMiddleware(object):
def __init__(self, crawler):
super(RandomUserAgentMiddleware, self).__init__()
self.ua = UserAgent()
@classmethod
def from_crawler(cls, crawler):
return cls(crawler)
def process_requests(self, request, spider):
request.headers.setdefault("User-Agent", self.ua.random)
0.0.3 修改setting文件
# 值得注意的是原生的UserAgentMiddleware 必须设置为None。
DOWNLOADER_MIDDLEWARES = {
'spiderProject.middlewares.RandomUserAgentMiddleware': 543,
"scrapy.downloadermiddlewares.useragent.UserAgentMiddleware": None
}
1.设置全局代理
同样是编写middleware。这个是非常的简单。然后配置到setting文件中就ok。
class ProxyMiddleware(object):
def process_requests(self, request, spider):
request.meta["proxy"] = "http://121.61.0.5:9999"
3.scrapy与selenium结合
3.1 首先编写中间件
class SeleniumRequestsMiddleware(object):
def process_request(self, request, spider):
if spider.name == "baidu":
driver = webdriver.Chrome()
driver.get(request.url)
import time
time.sleep(3)
from scrapy.http import HtmlResponse # scapy会将HtmlResponse 直接返回，所以这里要使用这个
return HtmlResponse(
url=driver.current_url,
body=driver.page_source,
encoding="utf-8",
request=request
)
这段代码其实是有问题的：
- 只要满足spider.name == "baidu"的请求都会创建一个driver，会极大的影响请求速度。
- 当有信号spider close的时候，不一定会执行driver.quit()，内存不一定释放，所以要对关闭进行处理。
- 当一个项目同时启动多个spider，会共用到Middleware中的selenium，不利于并发。
3.2 针对以上问题的解决方案
# middleware.py 文件
class SeleniumRequestsMiddleware(object):
def process_request(self, request, spider):
if spider.name == "baidu":
spider.driver.get(request.url)
import time
time.sleep(3)
from scrapy.http import HtmlResponse
return HtmlResponse(
url=spider.driver.current_url,
body=spider.driver.page_source,
encoding="utf-8",
request=request
)
# spider文件 baidu.py
class BaiduSpider(scrapy.Spider):
name = 'baidu'
allowed_domains = ['baidu.com']
start_urls = ['http://www.baidu.com/']
def __init__(self): # 在这里可以定制一些webdriver.Chrome()的相关配置
self.driver = webdriver.Chrome()
super(BaiduSpider, self).__init__()
dispatcher.connect(receiver=self.driver_close,
signal=signals.spider_closed) # 通过信号控制，当是spider_closed信号时，调用driver_close.
def driver_close(self, spider):
self.driver.quit()
问题：
这里其实并没有实现并发操作，这个我从github上边，有一个实例scrapy-phantomjs-downloader，重写了downloader,如果需要可以进行参考。
4. 关于setting
setting.py文件中已经有了很多全局化的配置，当然，还有很多配置并没有提示出来,参考setting设置, 这里需要注意的是其配置的优先级，否则很容易出问题。这里重点说两个需要注意的地方。
4.1 为每个spider配置私有配置
class MySpider(scrapy.Spider):
name = 'myspider'
custom_settings = {
'SOME_SETTING': 'some value',
}
# 这个优先级要比settings.py中的要高，通过custom_settings中的配置会覆盖settings.py中的配置。
4.2 在spider文件中过去设置，可以用self.settings获取配置
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['http://example.com']
def parse(self, response):
print("Existing settings: %s" % self.settings.attributes.keys())
4.3可以通过scrapy.crawler.Crawler.settings获取配置文件中的配置
#Crawler可以通过settings属性传递给from_crawler扩展，中间件和项目管道中，固定的写法如下：
@classmethod
def from_crawler(cls, crawler):
settings = crawler.settings
return cls(crawler)
注：settings在初始化蜘蛛之后，在基础Spider类中设置该属性。如果要在初始化之前使用设置（例如，在spider的__init__()方法中），则需要覆盖该 from_crawler()方法。
5. 关于信号Signals
signals感觉挺重要的，了解信号的机制，对于拓展scrapy来讲相当重要，这里不做多解释，下边是官网 上的一个例子：
from scrapy import signals
from scrapy import Spider
class DmozSpider(Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/",
]
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
spider = super(DmozSpider, cls).from_crawler(crawler, *args, **kwargs)
crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)
return spider
def spider_closed(self, spider):
spider.logger.info('Spider closed: %s', spider.name)
def parse(self, response):
pass
