Scrapy笔记-完整实例
这篇文章通过一个比较完整的例子来指导使用scrapy，我选择抓取外星人源码网的帖子列表。
这里我们主要需要完成以下几个步骤：
- 创建一个新的scrapy工程
- 定义你所需要抽取的Item对象
- 编写一个Spider来爬取某个网站并提取出所有的Item对象
- 编写一个Item Pipline来存储提取出来的Item对象
Scrapy使用python语言编写，需要有python语言基础。
创建一个Scrapy工程
在任意一个你喜欢的目录执行以下命令即可创建一个新的工程：
scrapy startproject eenotScrapy
将会创建eenot文件夹，其目录结构如下：
目录结构
,scrapy项目创建完成。
定义我们的Item
我们通过创建一个scrapy.item类，并定义的它的类型为scrapt.Field的属性，我们准备将外星人源码论坛帖子的标题，日期和简介爬取下来。
import scrapy
class EenotItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
posts_title = scrapy.Field()
posts_date = scrapy.Field()
posts_des = scrapy.Field()
编写一个Spider
这个部分主要是自定义的一些类，Scrapy使用它们来从一个domain爬取信息，在spider中定义了一个初始化的URL下载列表，以及怎样来跟踪链接，如何解析页面来提取Item。
定义一个Spider，需要继承scrapy.spider类并定一些属性：
- name：Spider的名称，必须是唯一的
- start_urls:初始化下载链接URL
- parse():用来解析下载后的Response独享，该对象也是这个方法的唯一参数。
我们使用以下命令新建一个eenotSpider脚本：
scrapy genspider eenotSpider eenot.com
初始化脚本完成后在脚本中填入以下内容：
# -*- coding: utf-8 -*-
import scrapy
from eenot.items import EenotItem
import logging
class EenotspiderSpider(scrapy.Spider):
name = "eenotSpider"
allowed_domains = ["eenot.com"]
start_urls = ['https://www.eenot.com/portal.php?order=dateline&page=1']
def parse(self, response):
page_num = 5
if response.status == 200:
item = EenotItem()
item['posts_title'] = response.xpath("//h1[@class='post_title']//a/text()").extract()
item['posts_date'] = response.xpath("//div[@class='post_date']/text()").extract()
item['posts_des'] = response.xpath("//p[@class='post_brief']/text()").extract()
yield item
for i in range(2, page_num + 1):
next_page_url = "https://www.eenot.com/portal.php?order=dateline&page="+str(i)+""
yield scrapy.Request(next_page_url,callback=self.parse)
xpath抓取语法相关资料请看xpath教程
运行爬虫
在根目录下执行以下命令，其中eenotSpider是自己定义的脚本的名字：
scrapy crawl eenotSpider
如果一切正常，应该可以打印出每个帖子的标题，日期和简述
处理连接
待更新
导出抓取结果
最简单的保存抓取数据的方式就是使用jsin格式的文件保存在本地，想下面这样运行：
scrapy crawl eenotScrapy -o abc.json
这里足矣，后续还需要自己编写Item Pipeline。
保存数据到数据库
数据库待安装
