最近在学习scrapy爬虫，正好最近成都房价涨的厉害，于是想着去网上抓抓成都最近的房价情况，顺便了解一下，毕竟咱是成都人，得看看这成都的房子我以后买的起不~

话不多说，进入正题：

任务

抓取链家网（成都）的所有新房以及二手房价格、位置相关信息。

实验流程

1.确定抓取目标.
2.制定抓取规则.
3.'编写/调试'抓取规则.
4.获得抓取数据

1.确定抓取目标

1.1新房抓取目标

Paste_Image.png

我们看到在成都楼盘列表页面，有楼盘名字、均价（每平方）和所属行政区，非常好，这正是我们想要抓取的内容！
于是确定目标：
抓取成都新房的所有楼盘名称、均价信息、所属行政区和URL信息。

1.2二手房抓取规则

我们来到二手房的列表页面，并且点击进入二手房详情页面，发现网站所展示的内容就比新房的内容的多得多了，这样我们也能抓取更多的数据了！在这里，我决定在二手房页面抓取二手房地址、总价、每平米价、面积、所属行政区域和URL信息。

2.制定抓取规则

2.1新房抓取规则

由于新房的信息直接在新房列表网页上就能直接抓取，所以只需要在新房列表网页分析html结构找到我们想要的数据即可。

Paste_Image.png

对于均价来说，我们所需要的信息在 **//div[@class='average']/span/text() **

Paste_Image.png

Paste_Image.png

如何抓取所有的新房信息呢？我们利用下一页来循环

Paste_Image.png

2.2二手房抓取规则

抓取规则和新房抓取规则大同小异，不过这里有一点小小的区别是我们需要利用二手房列表页面抓取到的URL，进入二手房详情页抓取信息，不过这一点我们将在代码实现中讲到，在这儿先按住不表，还是继续分析html结构。

房总价在 div[@class='price ']/span[@class='total']/text()
每平方价在 div[@class='price ']/div[@class='text']/div/span/text() ,当然这里我们还是得用正则把两个引号给弄掉~

当然了，对于循环获得所有信息来说，我们还是用网站的“下一页”来做。

3.'编写/调试'抓取规则

为了让调试爬虫的粒度尽量的小,我将编写和调试模块糅合在一起进行.

3.1'编写/调试'新房抓取规则

首先我们得定义一个item:

class NewHoseItem(scrapy.Item):
    name = scrapy.Field()
    average = scrapy.Field()
    district = scrapy.Field()
    URL = scrapy.Field()

然后我们尝试抓取一个新房列表页面下的所需数据吧~

import scrapy
from fangjia.items import NewHouseItem

class NewsHouseSpider(scrapy.Spider):
    name = "new"
    start_urls = [
        "http://cd.fang.lianjia.com/loupan/pg1/",
    ]

    def parse(self, response):
        for href in response.xpath("//div[@class='info-panel']"):
            item = NewHouseItem()
            item['name'] = href.xpath("div[@class='col-1']/h2/a/text()").extract_first()
            item['average'] = href.xpath("div[@class='col-2']/div[@class='price']/div[@class='average']/span/text()").extract_first()
            item['district'] = href.xpath("div[@class='col-1']/div[@class='where']/span/text()").extract_first().split('-')[0]
            item['URL'] = response.urljoin(href.xpath("div[@class='col-1']/h2/a/@href").extract_first())
            yield item

测试通过！
现在我们再编写一下循环的规则就ok了！

由于我们需要获取到totalpage的值和curpage的值，所以我们得对获取到的字符串稍微的处理一下，这里我们用到的是split（）

    next_page = response.xpath("//div[@class='page-box house-lst-page-box']/@page-data").extract_first().split(',')[1].split(':')[1]
    next_page = int(next_page[0])+1
    total_page = int(response.xpath("//div[@class='page-box house-lst-page-box']/@page-data").extract_first().split(',')[0].split(':')[1])
    if next_page <= total_page:
        next_urls = 'pg%s/' % next_page
        next_urls = response.urljoin(next_urls)
        yield scrapy.Request(next_urls,callback = self.parse)

组装到我们的原函数里面

    import scrapy
    from fangjia.items import NewHouseItem

    class NewsHouseSpider(scrapy.Spider):
        name = "new"
        start_urls = [
            "http://cd.fang.lianjia.com/loupan/",
        ]

        def parse(self, response):
            for href in response.xpath("//div[@class='info-panel']"):
                item = NewHouseItem()
                item['name'] = href.xpath("div[@class='col-1']/h2/a/text()").extract_first()
                item['average'] = href.xpath("div[@class='col-2']/div[@class='price']/div[@class='average']/span/text()").extract_first()
                item['district'] = href.xpath("div[@class='col-1']/div[@class='where']/span/text()").extract_first().split('-')[0]
                item['URL'] = href.xpath("div[@class='col-1']/h2/a/@href").extract_first()
                yield item

            next_page = response.xpath("//div[@class='page-box house-lst-page-box']/@page-data").extract_first().split(',')[1].split(':')[1]
            next_page = int(next_page[0])+1
            total_page = int(response.xpath("//div[@class='page-box house-lst-page-box']/@page-data").extract_first().split(',')[0].split(':')[1])
            if next_page <= total_page:
                next_urls = 'pg%s/' % next_page
                next_urls = response.urljoin(next_urls)
                yield scrapy.Request(next_urls,callback = self.parse)

测试，成功！

3.2'编写/调试'二手房抓取规则

二手房抓取规则和新房差不多，所以写简单一点，其中主要说明一点是利用二手房列表页面抓取到的URL，进入二手房详情页抓取信息。
先定义item：

class OldHouseItem(scrapy.Item):
    name = scrapy.Field()
    total = scrapy.Field()
    average = scrapy.Field()
    size = scrapy.Field()
    district = scrapy.Field()
    URL = scrapy.Field()

当然了，我们还是先写出一个二手房列表页面的抓取规则，其中，得利用抓取到的URL再进入二手房详情页进行抓取。

编写爬虫：

import scrapy
from fangjia.items import OldHouseItem

class OldsHouseSpider(scrapy.Spider):
    name = "old"
    start_urls = [
        "http://cd.lianjia.com/ershoufang/",
    ]

    def parse(self, response):
        for href in response.xpath("//ul[@class='sellListContent']/li"):
        URL = href.xpath("div[@class='info clear']/div[@class='title']/a/@href").extract()
        yield scrapy.Request(URL, callback=self.parse_dir_contents)

    def parse_dir_contents(self, response):
        item = OldHouseItem() 
        item['name'] = response.xpath("div[@class='communityName']/a[@class='info']/text()").extract_first()
        item['total'] = response.xpath("div[@class='price ']/span[@class='total']/text()").extract_first()
        item['average'] = response.xpath("div[@class='price ']/div[@class='text']/div/span/text()").extract_first()
        item['size'] = response.xpath("div[@class='houseInfo']/div[@class='area']/div[@class='mainInfo']/text()").extract_first()
        item['district'] = response.xpath("div[@class='areaName']/span[@class='info']/a/text()").extract_first()
        item['URL'] = response
        yield item

发现有重定向：

User-agent:*
Disallow:/

原来我们的scrapy被屏蔽了！
当然，我们还有办法，不过笔者得去吃午饭了！晚上再回来研究研究~

相关推荐
scrapy通过scrapyinghub实现24小时爬虫托管爬取
scrapy抓取学院新闻报告