需求
爬取古诗文网站中的 诗词的 标题、作者、朝代、内容、以及翻页并保存
工具和环境
语言：python 3.6
IDE： Pycharm
浏览器：Chrome
爬虫框架：Scrapy 2.5.0
爬虫实现
第一步：页面分析
第一页：https://www.gushiwen.org/default_1.aspx
第二页：https://www.gushiwen.cn/default_2.aspx 点击"下一页"按钮
第三页：https://www.gushiwen.cn/default.aspx?page=3 在数字框里面输入3（无视了）
第三页：https://www.gushiwen.cn/default_3.aspx 点击"下一页"按钮
在第二页的基础上点击“下一页”按钮得到的URL地址是：https://www.gushiwen.cn/default_3.aspx
这个和上面分析的第一页和第二页的URL地址相似，所以我们忽视在“数字框里面输入数字”得到的URL地址。
观察页面URL发现有两个域名：“gushiwen.org”，“gushiwen.cn”
这两个域名都可以使用， .org 和 .cn 是一样的效果。
第二步：创建scrapy项目
在Pycharm终端里面输入如下命令创建scrapy项目
1.到项目所在的目录下创建scrapy项目：scrapy startproject gsw
2.进入到gsw目录下创建爬虫：scrapy genspider gs gushiwen.org
第三步：代码逻辑实现
代码实现主要分如下的几步：
1.分析第一个URL页面HTML标签结构并提取数据
2.用item封装提取到的数据并传递给管道
3.管道文件里实现数据的保存
4.实现其他页面数据的爬取---翻页
分析第一个URL页面HTML标签结构并提取数据
选中某一首诗的标题或诗文，点击鼠标右键菜单中的“检查”按钮
可以查看到网页对应的前端HTML标签，并自动给我们定位到了这个标题HTML标签的位置，如标题<b>螽斯</b>
通过该标题标签一步步推导，发现”每首诗”的布局都是一个<div class=”sons”>…</div>的标签内，然后页面中的所有的“诗”都在共同的标签<div class=”left”>…</div>标签下
初步分析后，我们尝试获取“诗的标题”，修改代码：
import scrapy
from gsw.items import GswItem
class GsSpider(scrapy.Spider):
name = 'gs'
allowed_domains = ['gushiwen.org', 'gushiwen.cn'] # 修改，增加一个相似域名
start_urls = ['https://www.gushiwen.cn/default_1.aspx'] # 修改为起始第一个URL地址，爬虫程序就是从这一页开始数据的
# 该爬虫先从上面起始的第一个URL地址开始发出请求，并得到请求响应的数据，得到响应数据后，数据的解析就用如下的parse函数进行解析
def parse(self, response):
gsw_divs = response.xpath('//div[@class="left"]/div[@class="sons"]') # xpath返回的是列表(每个div sons标签，也就是每首诗)
for gsw_div in gsw_divs: # 对每首诗进行遍历
title = gsw_div.xpath('.//b/text()').extract_first() # xpath返回的是列表(取列表第一个也就是诗的标题)
print(title)
打印输出结果: 结果中含有None说明对应的div中没有<b>标签，说明页面中该部分显示的不是一首诗
接着获取 诗的 作者 和 朝代
import scrapy
from gsw.items import GswItem
class GsSpider(scrapy.Spider):
name = 'gs'
allowed_domains = ['gushiwen.org', 'gushiwen.cn'] # 修改，增加一个相似域名
start_urls = ['https://www.gushiwen.cn/default_1.aspx'] # 修改为起始第一个URL地址，爬虫程序就是从这一页开始数据的
# 该爬虫先从上面起始的第一个URL地址开始发出请求，并得到请求响应的数据，得到响应数据后，数据的解析就用如下的parse函数进行解析
def parse(self, response):
gsw_divs = response.xpath('//div[@class="left"]/div[@class="sons"]') # xpath返回的是列表(每个div sons标签，也就是每首诗)
for gsw_div in gsw_divs: # 对每首诗进行遍历
title = gsw_div.xpath('.//b/text()').extract_first() # xpath返回的是列表(取列表第一个也就是诗的标题)
if title:
source = gsw_div.xpath('.//p[@class="source"]/a/text()').extract() # 获取 作者 和 朝代 的列表
author = source[0] # 获取 作者
dynasty = source[1] # 获取 朝代
接着获取 诗的内容
import scrapy
from gsw.items import GswItem
class GsSpider(scrapy.Spider):
name = 'gs'
allowed_domains = ['gushiwen.org', 'gushiwen.cn'] # 修改，增加一个相似域名
start_urls = ['https://www.gushiwen.cn/default_1.aspx'] # 修改为起始第一个URL地址，爬虫程序就是从这一页开始数据的
# 该爬虫先从上面起始的第一个URL地址开始发出请求，并得到请求响应的数据，得到响应数据后，数据的解析就用如下的parse函数进行解析
def parse(self, response):
gsw_divs = response.xpath('//div[@class="left"]/div[@class="sons"]') # xpath返回的是列表(每个div sons标签，也就是每首诗)
for gsw_div in gsw_divs: # 对每首诗进行遍历
title = gsw_div.xpath('.//b/text()').extract_first() # xpath返回的是列表(取列表第一个也就是诗的标题)
if title:
source = gsw_div.xpath('.//p[@class="source"]/a/text()').extract() # 获取 作者 和 朝代 的列表
author = source[0] # 获取 作者
dynasty = source[1] # 获取 朝代
content_lst = gsw_div.xpath('.//div[@class="contson"]//text()').extract() # 获取 诗的文本内容
content = ''.join(content_lst).strip() # 列表中的每个元素用空串拼接，去除列表并用strip()方法移除字符串头尾指定的字符
至此 诗的 标题、作者、朝代、内容 这些数据都拿到了。。。
接下来实现翻页并保存数据
用item封装提取到的数据并传递给管道
来看下scrapy项目的目录结构
gs.py：是我们实现的爬虫文件
items.py：是实现数据的封装，提前定义好要爬取的数据内容
pipelines.py：是实现数据的保存
settings.py：是scrapy项目相关的设置
middlewares.py：以后用到再讲
我们在items.py里定义好我们要爬取的内容
# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html
import scrapy
class GswItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
author = scrapy.Field()
dynasty = scrapy.Field()
content = scrapy.Field()
pass
然后在爬虫文件里面导入这个items.py里面定义的数据类GswItem
导入方式有两种：
1.从项目最开始目录开始一级一级导入
from projectRootDir.demo.gsw.gsw.items import GswItem
2.将创建scrapy项目的目录作为根目录 Mark Directory as -> Source Root
from gsw.items import GswItem
然后在爬虫文件里面创建items对象并把数据赋值给items对象，赋值的方式见源码，最后把数据传递给管道文件pipelines.py
import scrapy
from gsw.items import GswItem
class GsSpider(scrapy.Spider):
name = 'gs'
allowed_domains = ['gushiwen.org', 'gushiwen.cn'] # 修改，增加一个相似域名
start_urls = ['https://www.gushiwen.cn/default_1.aspx'] # 修改为起始第一个URL地址，爬虫程序就是从这一页开始数据的
# 该爬虫先从上面起始的第一个URL地址开始发出请求，并得到请求响应的数据，得到响应数据后，数据的解析就用如下的parse函数进行解析
def parse(self, response):
gsw_divs = response.xpath('//div[@class="left"]/div[@class="sons"]') # xpath返回的是列表(每个div sons标签，也就是每首诗)
for gsw_div in gsw_divs: # 对每首诗进行遍历
title = gsw_div.xpath('.//b/text()').extract_first() # xpath返回的是列表(取列表第一个也就是诗的标题)
if title:
source = gsw_div.xpath('.//p[@class="source"]/a/text()').extract() # 获取 作者 和 朝代 的列表
author = source[0] # 获取 作者
dynasty = source[1] # 获取 朝代
content_lst = gsw_div.xpath('.//div[@class="contson"]//text()').extract() # 获取 诗的文本内容
content = ''.join(content_lst).strip() # 列表中的每个元素用空串拼接，去除列表并用strip()方法移除字符串头尾指定的字符
# 方式一
# item = GswItem() # 创建items对象并赋值
# item['title'] = title
# item['author'] = author
# item['dynasty'] = dynasty
# item['content'] = content
# 方式二
item = GswItem(title=title, author=author, dynasty=dynasty, content=content) # 创建items对象并赋值
yield item # 将item数据传给管道 pipelines
注意：item与管道之间数据传递时，需要在settings.py里面把item pipelines相关的设置项打开
# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'gsw.pipelines.GswPipeline': 300,
}
管道文件里实现数据的保存
接下来我们到pipelines.py文件中处理数据的保存，简单数据保存如下
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
# useful for handling different item types with a single interface
from itemadapter import ItemAdapter
import json
class GswPipeline:
def open_spider(self, spider):
self.fp = open('gsw.txt', 'w', encoding='utf-8')
# item 是从爬虫文件传递过来的数据，是GswItem类的一个实例化对象
def process_item(self, item, spider):
item_json = json.dumps(dict(item), ensure_ascii=False)
self.fp.write(item_json + '\n')
return item
def close_spider(self, spider):
self.fp.close()
实现其他页面数据的爬取---翻页
实现自动翻页一般有两种方法：
1.在页面中找到下一页的地址；
2.自己根据URL的变化规律构造所有页面地址；
一般情况下我们使用第一种方法，第二种方法适用于页面的下一页地址为JS加载的情况。我们现在只说第一种方法。
首先到首页的最底部找到下一页的按钮，然后点击右键检查，会自动定位到“下一页”按钮元素位置处。
通过第一页请求响应到的response数据解析到下一页的链接：
next_href = response.xpath('//a[@id="amore"]/@href').get().get())
然后重新调用scrapy.Request(next_url)函数发出下一页数据的请求，重新走一遍和第一页数据请求一样的完整流程（爬虫请求 爬虫引擎 调度器 爬虫引擎 下载器 爬虫引擎 爬虫响应 管道 …）
注意：scrapy.Request第二个参数callback是响应数据解析处理函数，下一页的数据解析函数和第一页是相同的（parse）所以可以省略不写，如果不同就需要另外编写比如每首诗的详情页，后面补充。。。
翻页的逻辑代码实现如下：
# 翻页逻辑处理
next_href = response.xpath('//a[@id="amore"]/@href').get()
if next_href:
# next_url = 'https://www.gushiwen.cn' + next_href[0] # URL第一种补全方式
next_url = response.urljoin(next_href) # URL第二种补全方式(urljoin可以进行URL地址的补全)
yield scrapy.Request(next_url) # 爬虫程序重新通过 爬虫引擎 调度器 下载器 请求下一页的数据
# yield scrapy.Request(url=next_url, callback=self.parse) # 或者这种方式请求
完整的爬虫程序如下：
import scrapy
from gsw.items import GswItem
class GsSpider(scrapy.Spider):
name = 'gs'
allowed_domains = ['gushiwen.org', 'gushiwen.cn'] # 修改，增加一个相似域名
start_urls = ['https://www.gushiwen.cn/default_1.aspx'] # 修改为起始第一个URL地址，爬虫程序就是从这一页开始数据的
# 该爬虫先从上面起始的第一个URL地址开始发出请求，并得到请求响应的数据，得到响应数据后，数据的解析就用如下的parse函数进行解析
def parse(self, response):
gsw_divs = response.xpath('//div[@class="left"]/div[@class="sons"]') # xpath返回的是列表(每个div sons标签，也就是每首诗)
for gsw_div in gsw_divs: # 对每首诗进行遍历
title = gsw_div.xpath('.//b/text()').extract_first() # xpath返回的是列表(取列表第一个也就是诗的标题)
if title:
source = gsw_div.xpath('.//p[@class="source"]/a/text()').extract() # 获取 作者 和 朝代 的列表
author = source[0] # 获取 作者
dynasty = source[1] # 获取 朝代
content_lst = gsw_div.xpath('.//div[@class="contson"]//text()').extract() # 获取 诗的文本内容
content = ''.join(content_lst).strip() # 列表中的每个元素用空串拼接，去除列表并用strip()方法移除字符串头尾指定的字符
# 方式一
# item = GswItem() # 创建items对象并赋值
# item['title'] = title
# item['author'] = author
# item['dynasty'] = dynasty
# item['content'] = content
# 方式二
item = GswItem(title=title, author=author, dynasty=dynasty, content=content) # 创建items对象并赋值
yield item # 将item数据传给管道 pipelines
# 翻页逻辑处理
next_href = response.xpath('//a[@id="amore"]/@href').get()
if next_href:
# next_url = 'https://www.gushiwen.cn' + next_href[0] # URL第一种补全方式
next_url = response.urljoin(next_href) # URL第二种补全方式(urljoin可以进行URL地址的补全)
yield scrapy.Request(next_url) # 爬虫程序重新通过 爬虫引擎 调度器 下载器 请求下一页的数据
# yield scrapy.Request(url=next_url, callback=self.parse) # 或者这种方式请求
程序运行结果：
打开在管道文件中创建的“gsw.txt”发现有50首诗，总共有5页，每页10首，数据爬取正确。
结尾和补充
1.当爬取的范围不一样的时候（域名不一样的时候）
allowed_domains = ['gushiwen.org', 'gushiwen.cn'] 可以加多个
2.注意处理列表为空的数据（通过非空判断，通过try语句等）
3.翻页处理（1.可以找页数的规律；2.直接找下一页的URL，然后yield scrappy.Request(next_url)）
4.遇到URL不全的时候，建议补全URL地址（1.拼串；2.urljoin() 这个是scrapy提供的）
5.在settings.py里面除了打开item pipelines配置项外，也需要修改默认请求头，增加User-Agent请求头
# Override the default request headers:
DEFAULT_REQUEST_HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
}
配置打印级别：LOG_LEVEL = 'WARNING'
Obey rules改成False：ROBOTSTXT_OBEY = False
BOT_NAME = 'gsw'
SPIDER_MODULES = ['gsw.spiders']
NEWSPIDER_MODULE = 'gsw.spiders'
LOG_LEVEL = 'WARNING'
# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'gsw (+http://www.yourdomain.com)'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
