pyspider

Pyspider是除了Scrapy之外另一个爬虫框架，相比于scrapy，它有个最大的特点是提供一个WebUI。通过WebUI你可以轻松进行脚本编辑、任务监控、项目管理以及结果查看。结合pyspider提供的在线调试工具，使得编写爬虫变得非常效率和容易。据说一个小时可以写十几个爬虫，后来我自己试了一下，觉得是完全有可能的。

安装使用pyspider都很简单，如果都是用默认配置的话，只需要两条指令pip install pyspider和pysipder all。之后就可以在浏览器中访问localhost:5000了，这个5000有没有很熟悉？Flask？

不过就个人而言，我不是很喜欢这种过度封装的架构，所以没继续研究pyspider的分布式部署。

重要

我接下来要说的过程只是我在边学边做全站抓取kuku漫画这个项目时所学习到的东西，如果你想要深入详细的了解一边pyspider，我的建议是通读一遍官方文档：pyspider。

新建一个项目

只需要点击主页面的Create，输入Project Name和Start URL(s)。进入脚本编辑页面。

编写调式代码

脚本编写页面分为左右两个部分，左边部分又可以分为上下两个部分。

pyspider.jpg

关于右侧的代码编辑页面：

代码中必须有一个类继承BaseHandler，每个方法会默认传入self， response和task，可以省略。其中response是一个pyquery对象，具体可以参见pyquery。
默认情况下，返回码不是200的响应都会被忽略，除非你带了@catch_status_code_error参数。
在crawl_config中可以配置请求头和爬虫的版本itag，因为pyspider对于请求会有个生命周期的配置，如果周期未满，同样的请求不会做处理。通过调整itag的值，可以实现不重建项目就可以重新执行整个项目。
解析函数上方的装饰器@config(age=10 * 24 * 60 * 60)定义了请求的过期时间，这里是10天。
具体的爬虫代码和scrapy，或自己编写的爬虫代码区别不大。
据说，可以导入其他项目的模块，但是个人感觉没什么意义。

关于左侧上方的run:

点击之后它根据你的代码执行绿色区域里的参数，如图中，它只会执行on_start方法，传入的url是data:,on start，因为我的on_start没有传入参数，而是在其内部定义了初始URL。
需要注意的是run执行一个方法，并返回执行结束的状态，它不会继续执行下去。
同时日志、异常或使用print或return返回的内容也会打印在这里（黑色区域）。

关于左侧下方几个标签：

enable CSS Selector Helper，可以帮助你筛选出对象的css路径。
web，一个仿浏览器界面，结合CSS Selector Helper使用。
html，响应界面的HTML源码。
follows， pyspider会自动解析出返回页面中所有的链接标签，它们会再次进入URL匹配过程，从而执行相应的回调函数。有时候，不是所有的链接都需要，比如说有的网页会包含广告或导航，因此需要自行编写过滤代码，并使用self.crawl()方法自己生成follows列表。
messages，显示来自 self.send_message API接口的消息，我这里没用到。

因为run只会根据当前页面执行一次代码，并且会在下一次需要回调函数之前停下来，这就相当于单步调式。这也是Pyspider的最大的优势，它使得写起爬虫代码变得非常简单和迅速。

关于结果存储

如果你什么都不做，最后return的结果会被存入一个叫resultdb的对象里，你可以在pyspider的webUI里查看这个结果，也可以下载这些结果，一般是json或csv格式。也是我这个项目里采用的方式。

但是有时候，你可能想把结果存在数据库里，或者其他第三方存储系统中。这时候就需要重新编写ResultWorker类，具体可以参考官方文档中Working with Results章节。

配置参数和执行爬虫

编辑调式好代码后，要切换回webUI。一个项目有物种状态TODO, STOP, CHECKING, DEBUG/RUNNING，如果中间出现错误，还会进入PAUSED状态。一般来说，开启一个爬虫时，会先使用DEBUG状态，跑一会没问题才会切换到RUNNING状态。

如果要删除一个项目，你可以把它的组名改为delete状态改为STOP，之后这个项目会在24小时后删除。

关于rate/burst, rate表示每秒的并发数，burst据我理解，应该是一次调度中选择的task的数量。

分布式部署pysipder

在webUI上方，有四个部件，从左到右也描述了pysipder的数据流程。其中scheduler一般是单点的，也就是只有一个，fetcher和processor可以是分布式的。

任务由scheduler发起调度，fetcher抓取网页，processor进行解析，解析过程可能会产生出新的任务，会通过队列发回scheduler。你编写的代码主要是processor部分的。

关于pysipder的分布式部署，我推荐一片文档：分布式部署PySpider。其实所有的分布式核心，都需要一个共享消息队列。

全站爬取kuku漫画

代码

将这段代码添加到脚本编辑页面中：

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2018-06-01 19:03:57
# Project: comic

from pyspider.libs.base_handler import *
import re
from faker import Faker

class Handler(BaseHandler):
    faker = Faker()
    crawl_config = {
        'itag': 'v1',
        'headers': {
            'User-Agent': faker.user_agent(),
            "Host": "comic.kukudm.com",
            "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
            "Accept-Language": "en,zh-CN;q=0.9,zh;q=0.8,en-US;q=0.7,es;q=0.6",
            "Accept-Encoding": "gzip, deflate",
            "Cache-Control": "no-cache",
            "Connection": "keep-alive"
        },
    }

    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://comic.kukudm.com/index.htm', callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        # only crawl the index table(A-Z)
        for each in response.doc('table:nth-of-type(4) a[href^="http://comic.kukudm.com/comictype"]').items():
            self.crawl(each.attr.href, callback=self.comictype_page)
         
    @config(age=10 * 24 * 60 * 60)
    def comictype_page(self, response):
        for each in response.doc('dd > a').items():
            self.crawl(each.attr.href, callback=self.book_page)
        
        #next page
        next = response.doc('table:nth-of-type(5) > tr > td:nth-of-type(2) > table').eq(0).find('a').items()
        for n in next:
            if n.text() == '下一页':
               self.crawl(n.attr.href, callback=self.comictype_page)
 
    @config(age=10 * 24 * 60 * 60)
    def book_page(self, response):
        bname = response.doc('title').text().split('|')[0]
        for each in response.doc('dd > a[href^="http://comic.kukudm.com"]').items():
            self.crawl(each.attr.href, callback=self.detail_page, save={'cname': each.text(), 'bname':bname})

    @config(age=10 * 24 * 60 * 60)
    def detail_page(self, response):
        pattern = re.compile(u'共(\d+)页') 
        img_cnt = pattern.search(response.doc('table:nth-of-type(2) tr td[valign="top"]').text()).group()[1:-1]
        pre_url = response.url[:-5]

        for i in range(int(img_cnt)):
            url = pre_url + str(i+1) + '.htm'
            self.crawl(url, callback=self.image_page, save=response.save)
      
    
    @config(priority=2)
    def image_page(self, response):
        pattern_img1 = re.compile('src=\\\'"\+.*?\+"(.*?)\\\'>')
        pattern_img2 = re.compile('src="\+server\+"(.*?)>')
        
        script =   response.text
        url = re.findall(pattern_img1, script)
        if not url:
            url = re.findall(pattern_img2, script)
        
        
        img = 'http://n5.1whour.com/' + url[0]
        
        return {
            "bname": response.save['bname'],
            "cname": response.save['cname'],
            "image_url": img,
        }

性能评估

我没有部署分布式的pysipder，只是在云主机上单机跑了大概两天，结果如下：

rate/burst	5 mins	1 hour
10/20	2174	61250
5/15	2643	26000
default	5858	71618

峰值也不过一个小时7W左右，跟分布式的差远了。

使用pyspider进行kuku漫画全站爬取