Scrapy爬取伯乐在线

Scrapy爬取伯乐在线文章

准备工作：

  • python环境，我是用Anaconda
  • Scrapy环境,上一篇文章提到过
  • MySQL，我们准备将爬取的数据保存到MySQL数据库中

创建项目

首先通过scrapy命令创建项目

爬取数据整体逻辑

分析一下整个流程，可以分为两个部分。一，分析列表页面结构，获取每一篇文章的链接和图片地址以及下一个列表页地址。二，进入文章单页获取想要的内容数据。因此代码如果都写在一起显得非常臃肿，难以阅读。因此可以在parse函数处理第一部分逻辑，然后通过Request函数发送请求进行文章内容页的处理。

    def parse(self, response):
        """
            1获取文章列表页的url并交给scrapy下载后进行解析
            2获取下一页url，交给scrapy下载，下载完成后交给parse
        """
        #解析列表中所有文章url，并交给scrapy
        post_nodes = response.css("#archive .floated-thumb .post-thumb a")
        for post_node in post_nodes:
            image_url = post_node.css("img::attr(src)").extract_first()
            post_url = post_node.css("::attr(href)").extract_first()
            yield Request(url=parse.urljoin(response.url,post_url),meta={"front_image_url":image_url},callback=self.parse_detail)

        #提取下一页并交给scrapy
        next_urls = response.css(".next.page-numbers::attr(href)").extract_first("")
        if next_urls:
            yield Request(url=parse.urljoin(response.url, next_urls), callback=self.parse)

分析爬取页面内容

本次爬取的内容为伯乐在线的文章，我们采取css方式来获取想要爬取的内容，具体css的使用方法我们在上一篇文章提到过，可以参看。

title = response.css('div.entry-header h1::text').extract_first()
create_data = response.css('p.entry-meta-hide-on-mobile::text').extract_first().strip().replace("·","").strip()
praise_nums = response.css('span.vote-post-up h10::text').extract_first()
fav_nums = response.css(".bookmark-btn::text").extract_first()
comment_nums = response.css("a[href='#article-comment'] span::text").extract_first()
tag_list = response.css('p.entry-meta-hide-on-mobile a::text').extract()

文章图片的获取

我们可以发现文章的图片只是在列表页里面存在，如果是文章正文中，可能就不会出现，因此我们在处理文章链接的时候要同时处理文章的图片。这里用到了Request的一个变量meta，传递的内容为一个字典。meta={"front_image_url":image_url}

Items

我们数据爬取的主要目的是从非结构的数据源转化为结构化的数据。但是提取数据之后，怎么将数据进行返回呢？数据以什么形式返回呢？这时候发现数据缺少了结构化的定义，为了将数据进行定义，方便格式化和处理，就用到了Item类。此时我们爬取的数据可以通过Item进行实例化。Scrapy发现yield的是一个Item类后，会将我们的Item路由到pipliens中，方便数据处理和保存。

class ArticleItem(scrapy.Item):
    title = scrapy.Field()
    create_date = scrapy.Field()
    url = scrapy.Field()
    url_object_id= scrapy.Field()
    front_image_url = scrapy.Field()
    front_image_path = scrapy.Field()
    praise_nums = scrapy.Field()
    comment_nums = scrapy.Field()
    fav_nums = scrapy.Field()
    tags = scrapy.Field()
    content = scrapy.Field()

scrapy图片自动下载机制

scrapy提供了一个图片下载机制，只需要在settings.py文件夹下的ITEM_PIPELINES增加一句配置
'scrapy.pipelines.images.ImagesPipeline':1,，意思是用scrapy提供的pipline中的images里面的ImagesPipeline。具体路径如下

image.png

我们可以看到scrapy给我们提供了两个已经完成的pipeline,一个是图片的一个是媒体的。后面的数字1代表进入pipeline的优先级，越小代表优先级越高，在多个pipeline同时存在是应该注意。
但是还有一个问题，pipeline怎么知道图片的地址呢？item中的字段那么多，又有哪一个该被传给pipeline呢？这个还需要在setting文件中配置

IMAGES_URLS_FIELD = "front_image_url"
project_dir = os.path.abspath(os.path.dirname(__file__))
IMAGES_STORE = os.path.join(project_dir,'images')

这样运行的时候会报一个错：raise ValueError('Missing scheme in request url %s' % self._url),这是因为pipline将IMAGES_URLS_FIELD = "front_image_url"按数组处理，但是我们item中的图片地址是一个值，而不是一个数组。我们可以将item中的值赋值的时候做一下修改：
article_item['front_image_url'] = [front_image_url],在front_image_url上加了一个[]，使其可迭代

获取图片保存路径

我们如何把本地图片地址与文章关联起来呢？比如item中一个字段是图片的本地地址，我们应该怎么做呢？
解决方法就是自己定义一个pipeline，继承图片下载的pipeline

class ArticleImagePipeline(ImagesPipeline):
    def item_completed(self, results, item, info):
        if "front_image_url" in item:
            for ok, value in results:
                image_file_path = value["path"]
            item["front_image_path"] = image_file_path

        return item

以JSON形式保存

class JsonExporterPipleline(object):
    #调用scrapy提供的json export导出json文件
    def __init__(self):
        self.file = open('articleexport.json', 'wb')
        self.exporter = JsonItemExporter(self.file, encoding="utf-8", ensure_ascii=False)
        self.exporter.start_exporting()

    def close_spider(self, spider):
        self.exporter.finish_exporting()
        self.file.close()

    def process_item(self, item, spider):
        self.exporter.export_item(item)
        return item

定义MySQL表结构

DROP TABLE IF EXISTS `jobbole_article`;
CREATE TABLE `jobbole_article`  (
  `title` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
  `create_date` date NULL DEFAULT NULL,
  `url` varchar(300) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
  `url_object_id` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL,
  `front_image_url` varchar(300) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `front_image_path` varchar(300) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `comment_nums` int(11) NOT NULL DEFAULT 0,
  `fav_nums` int(11) NOT NULL DEFAULT 0,
  `praise_nums` int(11) NOT NULL DEFAULT 0,
  `tags` varchar(200) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL,
  `content` text CHARACTER SET utf8 COLLATE utf8_general_ci NULL,
  PRIMARY KEY (`url_object_id`) USING BTREE
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Compact;

SET FOREIGN_KEY_CHECKS = 1;

安装MySQL库

使用pip install mysqlclient可以安装mysqlclient，如果是python2那么可以安装mysqldb，是一样的功能，API都相同。Linux下安装可能报错，如果是ubuntu需要执行sudo apt-get install libmysqlclient-dev,如果是centos可以执行sudo yum install python-devel mysql-devel

定义pipeline保存数据到MySQL

class MysqlPipeline(object):
    def __init__(self):
        self.conn = MySQLdb.connect('127.0.0.1', 'root', 'root', 'article_spider', charset='utf8', use_unicode=True)
        self.cursor = self.conn.cursor()
    def process_item(self, item, spider):
        insert_sql = 'INSERT INTO jobbole_article (`title`, `create_date`, `url`, `url_object_id`, `content`, `front_image_path`, `comment_nums`, `fav_nums`, `praise_nums`, `tags`) VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s)'
        self.cursor.execute(insert_sql, (item['title'], item['create_date'], item['url'], item['url_object_id'], item['content'], item["front_image_path"], item['comment_nums'], item['fav_nums'], item['praise_nums'], item['tags']))
        self.conn.commit()

定义pipeline异步保存数据到MySQL

  • 上述的插入方法是同步插入，意味着这句话执行不结束下面的工作没法去做
  • 另外一个原因是spider的解析速度远大于插入数据的速度，这样到后期爬取的item越来越多，插入速度跟不上解析速度，就会造成堵塞
  • 另外异步插入可以根据不同的item定制插入语句，而不用写多个pipeline
class MysqlTwistedPipline(object):
        def __init__(self,dbpool):
            self.dbpool = dbpool
        @classmethod
        def from_settings(cls,settings):
           dbparms = dict(
                host = settings["MYSQL_HOST"],
                db = settings["MYSQL_DBNAME"],
                user = settings["MYSQL_USER"],
                passwd = settings["MYSQL_PASSWORD"],
                charset = 'utf8',
                cursorclass = MySQLdb.cursors.DictCursor,
                use_unicode = True
            )
           dbpool = adbapi.ConnectionPool("MySQLdb",**dbparms)
           return cls(dbpool)
        def process_item(self,item,spider):
            #使用twisted将MYSQL插入编程异步执行
            query = self.dbpool.runInteraction(self.do_insert,item,)
            query.addErrback(self.handle_error,item,spider)#处理异常
        def handle_error(self,failure,item,spider):
            print(failure) #处理异步插入的异常
        def do_insert(self,cursor,item):
            # 执行具体的插入
            # 根据不同的item 构建不同的sql语句并插入到mysql中
            insert_sql, params = item.get_insert_sql()
            cursor.execute(insert_sql, params)

使用itemloader

既然已经有了item，那为什么要使用itemloader呢？我们可以看到不管是xpath，或者css,都是需要extract，然后可能还需要正则化处理，这样以后的维护工作会变得很困难。

# 通过item loader加载item
        front_image_url = response.meta.get("front_image_url", "")  # 文章封面图

        item_loader = ArticleItemLoader(item=JobBoleArticleItem(), response=response)

        # 通过css选择器将后面的指定规则进行解析。
        item_loader.add_css("title", ".entry-header h1::text")
        item_loader.add_value("url", response.url)
        item_loader.add_value("url_object_id", get_md5(response.url))
        item_loader.add_css("create_date", "p.entry-meta-hide-on-mobile::text")
        item_loader.add_value("front_image_url", [front_image_url])
        item_loader.add_css("praise_nums", ".vote-post-up h10::text")
        item_loader.add_css("comment_nums", "a[href='#article-comment'] span::text")
        item_loader.add_css("fav_nums", ".bookmark-btn::text")
        item_loader.add_css("tags", "p.entry-meta-hide-on-mobile a::text")
        item_loader.add_css("content", "div.entry")

        # 调用这个方法来对规则进行解析生成item对象
        article_item = item_loader.load_item()

        # 已经填充好了值调用yield传输至pipeline
        yield article_item
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 204,189评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,577评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,857评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,703评论 1赞 276
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,705评论 5赞 366
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,620评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,995评论 3赞 396
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,656评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,898评论 1赞 298
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1赞 330
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,395评论 4赞 319
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,982评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2赞 342

推荐阅读更多精彩内容

  • 四、Scrapy爬取伯乐在线并通过css解析文章字段
    一、总体思路： 1、下载start_urls，交给parse方法处理，文章列表页start_urls = ['ht...
    阿轲666阅读 841评论 0赞 2
  • Scrapy爬取图片
    有半个月没有更新了，最近确实有点忙。先是华为的比赛，接着实验室又有项目，然后又学习了一些新的知识，所以没有更新...
    qiye阅读 9,842评论 35赞 87
  • 对一个产品的感情
    你永远无法想象一个感情容易泛滥的人每时每刻的心情和想法。因为可能连其本人都说不清道不明。 从开始到成长，就像孕育了...
    朽木333阅读 520评论 0赞 1