该文是Python相关英文新书下载链接一文的代码实现部分，虽然有作者做过，但我还是自己重新用Scrapy实现了下，思路大致都差不多。
-
与前面的 新手向爬虫（三）别人的爬虫在干啥 和 绘制你的简书曲线 相比其实差别不大，多的地方在于
- 使用
scrapy.Request函数的meta参数来在两次请求的响应中传值 - 对于动态js页面的处理：此次，网页是在加载之后自动执行js代码来修改html元素的属性，添加链接。首先我想到的是按着js代码来改出相应的python代码，用python代码的运算得到最终想要获取的值，虽然速度会快，但是比较繁琐，而且不够通用，也有可能有潜藏的问题，于是还是选择了最通用的selenium来控制浏览器加载页面，再获取自动运行js后的页面，然后利用正则分析页面，这样稍微慢一些，但是比较比较便捷稳定。
- 使用
此外，此次爬取的网盘它的资源是放在不同的服务器上的，对应的是wwwxy.zippyshare.com，xy是数字来区别不同的服务器，所以在页面上获取到相对路由后要加上正确的服务器域名；还有就是这个网站的网盘资源链接具有时效性，过一段时间后它会重置资源的获取路径，而原来的资源链接会重新路由到下载界面；关于后处理中的迅雷下载，我采用了将所有链接放在一个txt文件里的方法，复制所有链接时迅雷会侦听到并询问下载，同时也生成了另一篇文章中的markdown文件方便挑选。另外，还有个小bug就是scrapy会打开两个浏览器窗口，但是只用一个，不影响功能，暂时没管，有朋友赐教的话，非常感谢。
Scrapy爬虫
我命名文件为book1.py，使用scrapy runspider book1.py -o 2.json运行。
用的是selenium操作Chrome浏览器，Chromedriver下载，使用时要指定该可执行文件的位置。
修改第7行的search_what获取其它资源的所有相关书籍链接，这里我选的是python。
# -*- coding: utf-8 -*-
import scrapy
from selenium import webdriver
import re
search_what = 'python'
browser = webdriver.Chrome(r'E:\python\Scrapy2\book\book\spiders\chromedriver') # 指定Chromedriver.exe的位置
class Book1Spider(scrapy.Spider):
name = "book1"
allowed_domains = ["foxebook.net", "zippyshare.com"]
down_base_url = ".zippyshare.com" # wwwxy,xy为数字代表不同服务器
search_url = "http://www.foxebook.net/search/{}/page/{}"
book_base_url = "http://www.foxebook.net"
wd = browser # 获得浏览器对象
reg = re.compile('<a id="dlbutton" href="(.*)">')
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36",
}
num = 0 # 页数
def start_requests(self): # 默认的开始函数，用于提供要爬取的链接
yield scrapy.Request(self.search_url.format(search_what, 0),
headers = self.headers,
callback = self.first_parse)
def first_parse(self, response):
max_page = response.css('.next a::attr("href")').extract_first().split('/')[-2]
print(int(max_page))
while self.num < int(max_page):
self.num += 1
yield scrapy.Request(self.search_url.format(search_what, self.num),
headers = self.headers,
callback = self.list_parse)
def list_parse(self, response):
title = response.css('h3 a::text').extract()
img = response.css('.img-responsive::attr("src")').extract()
download = response.css(' .btn-info::attr("href")').extract()
info = response.css('.info~ .info+ .info i::text').extract()
for t, im, d, inf in zip(title, img, download, info):
meta = {}
# 使用 meta参数 传值
meta['title'] = t
meta['img'] = im
meta['info'] = inf
yield scrapy.Request(self.book_base_url + d,
meta = meta,
headers = self.headers,
callback = self.book_parse)
def book_parse(self, response):
book_url_list = response.css('.table-hover a::attr("href")').extract()
for i in book_url_list:
book_url = 'http' + i.split('http')[-1]
if 'zip' in book_url: # 网盘名包含zip，以此做判断，其它网盘效果一般，不采用
self.wd.get(book_url) # 在浏览器中打开，通过self.wd.page_source获取浏览器里的响应内容
try:
down_url = book_url.split('.')[0] + self.down_base_url + re.findall(self.reg, self.wd.page_source)[0]
except:
break
yield {
'title':response.meta['title'],
'img':response.meta['img'],
'info':response.meta['info'],
'down_url':down_url,
'web_pan':book_url,
}
else:
pass
# Debug
# from scrapy.shell import inspect_response
# inspect_response(response, self)
# scrapy runspider book1.py -o 2.json
数据后处理
# -*- coding: utf-8 -*-
import json
with open('2.json','r') as f:
data = json.load(f)
data = sorted(data, key =lambda x: x['info'][2:12], reverse=True)
# 以出版日期对文章进行排序
with open("1.txt", 'w') as t:
# 生成便于迅雷下载的链接文件
# 先打开迅雷，再复制该文件内容，迅雷会自动弹出询问是否下载所有链接
for i in data:
t.write(i['down_url']+'\n')
with open('1.md', 'w') as m: # 书籍有可能重复，但是链接是不同的，指向不同服务器
m.write('### 英文Python电子书籍下载链接：\n')
for i in data:
m.write('- **[{title}]({down_url})** \n *{info}*\n  \n --- \n'.format(**i))
# **i 表示解包字典
#import datetime
#datetime.datetime.strptime(x, '%Y-%m-%d')
