爬虫初探-Scrapy
Scrapy 资料
官方文档永远是首选，建议把 tutorial 完整的过一遍。
爬取步骤
-
我们准备爬取宅男女神排行榜的所有女神相册，首先看看入口是怎么样的。
20171024-goddessrank -
可以看到这里有5页，每页有20个女神，所以我们的爬虫逻辑应该是：
-
遍历这20个女神，进入到各自的主页，获取它们主页的个人信息。
- 从女神主页进入她的相册写真集页面（如果某女神写真集较少，则直接在主页进入相册），把各相册中图片下载下来，这里要注意某个写真相册有很多页，每页有好几张图片，在这里同样需要遍历每一页。
遍历这5页，重复上述动作。
-
-
进入第一个女神：夏美酱的主页，可以看到有她的一些个人信息，以及写真集。
20171024-xiameijiang 好的，大致信息已经知道了，我们从简单的个人信息爬取开始。
爬取个人信息
-
首先从简单的做起，爬取排行榜所有女神的个人信息，如姓名、生日、年龄、三围、出生，在女神的主页，通过谷歌浏览器的开发者工具，可以看到这样的代码：
20171024-xiameijianginfo -
于是 spider 中爬取女神个人信息的代码是这样的：
import scrapy import re class GoddessSpider(scrapy.Spider): name = "goddess" start_urls = ['https://www.nvshens.com/rank/sum/'] def parse(self, response): # follow links to goddess pages for href in response.css('div.rankli_imgdiv a::attr(href)'): yield response.follow(href, self.parse_goddess) # follow pagination links # ... def parse_goddess(self, response): def util(self, l): if l is not None and len(l) != 0: return l[0] else: return None dic = dict(zip(response.css('div.infodiv td::text').extract()[0::2], response.css('div.infodiv td::text').extract()[1::2])) dic['姓名'] = response.css('div.div_h1 h1::text').extract()[0] yield dic解释：用 'div.infodiv td::text' 找到的既包含了“年龄”又包含了“20(属牛)”，而且是按顺序存储的，所以调用 extract() 方法把 Selector 对象变成列表后，把这个列表的奇数项作为 key （如：年龄、生日、星座...），偶数项作为 value （如：20(属牛)、1997-09-22、处女座）。然后再用 zip 函数，就可以做到两个列表转为字典。很实用的功能。
姓名在女神主页的 h1 中可以找到，最后加进字典中即可。 -
输出类似下面这样：
2017-10-24 13:43:16 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.nvshens.com/girl/24410/> {'年 龄：': '22 (属猪)', '生 日：': '1995-10-01', '星 座：': '天秤座', '身 高：': '165', '三 围：': 'B88 W60 H86', '出 生：': '中国 上海徐汇区', '职 业：': '平面模特、主播', '兴 趣：': '旅游、时尚、文艺、美食', '姓名': '周于希dummy(Dummy Zhou)'} 2017-10-24 13:43:16 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://www.nvshens.com/girl/19705/> (referer: https://www.nvshens.com/rank/sum/) 2017-10-24 13:43:16 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.nvshens.com/girl/20440/> {'年 龄：': '22 (属狗)', '生 日：': '1994-12-24', '星 座：': '魔羯座', '身 高：': '165', '三 围：': 'B90(F75) W60 H88', '出 生：': '中国 浙江杭州', '职 业：': '钢管舞老师、模特', '兴 趣：': '舞蹈', '姓名': '于姬(Una)'} -
刚才只爬取了第一页的女神主页，还有4页需要爬取，查看入口的分页器代码，并没有像 Scrapy 官方教程那么简单，在官方教程中，“下一页”的按钮有明确的 class 或者 id 唯一标识，但在这里没有，如下：
20171024-goddesspages 可以看到，“”的按钮并没有定义 class 或者 id，这就和其他的页数按钮混在一起了，那要怎么判断下一页呢？可以看到，当前页（图中也就是第1页）是比较特别的，因为它被 class='cur' 唯一标识了，而跳转第2页看看，class='cur' 就变成第二页的标识了，显然，这里就是突破口。
-
进入 Scrapy 的 shell 窗口，调试一下：
## 读取分页条的所有按钮（也就是 a 链接） >>> response.css('div.pagesYY a::attr(href)') [<Selector xpath="descendant-or-self::div[@class and contains(concat(' ', normalize-space(@class), ' '), ' pagesYY ')]/descendant-or-self::*/a/@href" data='1.ht ml'>, <Selector xpath="descendant-or-self::div[@class and contains(concat(' ', normalize-space(@class), ' '), ' pagesYY ')]/descendant-or-self::*/a/@href" data= '2.html'>, <Selector xpath="descendant-or-self::div[@class and contains(concat(' ', normalize-space(@class), ' '), ' pagesYY ')]/descendant-or-self::*/a/@href" data='3.html'>, <Selector xpath="descendant-or-self::div[@class and contains(concat(' ', normalize-space(@class), ' '), ' pagesYY ')]/descendant-or-self::*/a/@h ref" data='4.html'>, <Selector xpath="descendant-or-self::div[@class and contains(concat(' ', normalize-space(@class), ' '), ' pagesYY ')]/descendant-or-self::* /a/@href" data='5.html'>, <Selector xpath="descendant-or-self::div[@class and contains(concat(' ', normalize-space(@class), ' '), ' pagesYY ')]/descendant-or-se lf::*/a/@href" data='2.html'>, <Selector xpath="descendant-or-self::div[@class and contains(concat(' ', normalize-space(@class), ' '), ' pagesYY ')]/descendant- or-self::*/a/@href" data='5.html'>] ## 读取分页条的当前页数按钮 >>> response.css('div.pagesYY a.cur::attr(href)') [<Selector xpath="descendant-or-self::div[@class and contains(concat(' ', normalize-space(@class), ' '), ' pagesYY ')]/descendant-or-self::*/a[@class and contai ns(concat(' ', normalize-space(@class), ' '), ' cur ')]/@href" data='1.html'>] -
可以看到，当前页数的 Selector 对象并不与上面相同（因为选择器不同），即不能简单用 in 关键字判断（if 'a' in 'abc'），利用正则表达式来寻找 X.html，比较一下就行了，下面是代码：
def parse(self, response): # follow links to goddess pages for href in response.css('div.rankli_imgdiv a::attr(href)'): yield response.follow(href, self.parse_goddess) # follow pagination links next_page = None L = len(response.css('div.pagesYY a::attr(href)')) for i in range(L): tmp_page = re.findall(r"[1-5].html", str(response.css('div.pagesYY a::attr(href)')[i])) print("tmp_page=", tmp_page) cur_page = re.findall(r"[1-5].html", str(response.css('div.pagesYY a.cur::attr(href)'))) print("cur_page=", cur_page) if tmp_page == cur_page and cur_page != ['5.html']: next_page = response.css('div.pagesYY a::attr(href)')[i+1] # Attention: next_page = cur_page + 1 print("next_page=", next_page) break if next_page is not None: print("--------------------------------------------------------------------") yield response.follow(next_page, self.parse)
爬取图片
好了，前面把整个框架搭好了，现在要进入女神主页的相册，有点小兴奋呢:)
-
这里有个问题了，有些女神的相册很多，主页只能显示最近6个相册，在相册 div 的右下角有个按钮用来进入相册集页面（例如夏美酱的相册集 url ：'https://www.nvshens.com/girl/21501/album/'）：
<span class='archive_more'><a style='text-decoration: none' href='/girl/21501/album/' title='全部图片' class='title'>共50册</a></span> 然而有些女神只有少数相册，甚至只有一个相册，右下角也没有上述按钮，如果在地址栏手动输入：XXXX/album/，那么会出现404错误，我们的爬虫当然要“智能”判断这两种情况，实现全部爬取。
-
用简单的 if 判断一下即可，在其中一个分支中要再开一个函数处理：
def parse_goddess(self, response): # get goddess info, like name, age, birthday ... def util(self, l): if l is not None and len(l) != 0: return l[0] else: return None dic = dict(zip(response.css('div.infodiv td::text').extract()[0::2], response.css('div.infodiv td::text').extract()[1::2])) dic['姓名'] = response.css('div.div_h1 h1::text').extract()[0] yield dic # get to the album page (before photo page) or photo page directly if response.css('span.archive_more a::attr(href)') is not None: for archive_more in response.css('span.archive_more a::attr(href)'): yield response.follow(archive_more, self.parse_goddess_album) else: for album_link in response.css('a.igalleryli_link::attr(href)'): yield response.follow(album_link, self.parse_goddess_photo) def parse_goddess_album(self, response): for album_link in response.css('a.igalleryli_link::attr(href)'): yield response.follow(album_link, self.parse_goddess_photo) -
好的，现在就要开始编写 parse_goddess_photo 函数了，我们随便打开一个女神相册进入，再调用检查工具，看一看从哪里突破。
20171025-goddessphotohtml -
图片的 url 地址一目了然，可以用选择器找到外部的 ul#hgallery 标签，然后加个 for 循环即可，注意到爬取图片下载到本地时有两点要注意：
路径：在工程目录下创建一个文件夹，名字就是当前爬取的相册，里面储存该相册的所有图片，同时还可以爬取该相册的介绍信息，保存到相册文件夹的 txt 文件中。而且，要为每个本地图片指定名字，在这里用了正则表达式，把 url 最后的 http://../..//XX.jpg 中的 XX.jpg 作为本地图片的名字。
-
urllib 当前版本下载图片到本地要这样操作：
import urllib.request with open(path + "".join(re.findall(r"..jpg", img_src)), 'wb+') as f_img: conn = urllib.request.urlopen(img_src) f_img.write(conn.read())
这个页面的“下一页”按钮是有 class 标识的，虽然“上一页”和“下一页”按钮的 class 都是 a1，但是无论当前打开哪一页，这两个按钮一直都存在，比如在第一页按上一页，还是第一页的地址，在最后一页按下一页，还是最后一页的地址，又因为 Scrapy 默认不会爬取重复的页面，所以这里很好编写代码。
-
结合下载图片的操作，新创建的 parse_goddess_photo 函数可以按葫芦画瓢写出：
def parse_goddess_photo(self, response): # NOW U ARE IN PHOTO PAGE! # download photo album_title = response.css('h1#htilte::text').extract_first() album_desc = response.css('div#ddesc::text').extract_first() album_info = response.css('div#dinfo span::text').extract_first() + response.css('div#dinfo::text').extract()[1] path = 'goddess_photo/' + album_title + '/' if not os.path.exists(path): os.makedirs(path) with open(path + 'album_info.txt', 'a+') as f: f.write(album_desc) f.write(album_info) for img_src in response.css('ul#hgallery img::attr(src)').extract(): with open(path + "".join(re.findall(r"[0-9]{1,4}.jpg", img_src)), 'wb+') as f_img: f_img.write(urllib.request.urlopen(img_src).read()) print("DOWALOADING img_src:" + img_src) # follow pagination links next_page = response.css('a.a1::attr(href)')[1] if next_page is not None: print("".join(re.findall(r"..html", str(next_page))) + '--> next_page:' + album_title) yield response.follow(next_page, self.parse_goddess_photo)
最终效果
-
第一次写爬虫，也没考虑到效率问题，大概花了5个小时才爬取完，在下载图片时，不同的图片就放在不同的文件夹里，这样很好管理。
20171025-xiaoguo -
所有图片加起来总大小超过7G。
20171025-goddessspace 其实这篇笔记是我边撸代码边写的，写在这里的时候爬虫还在运行，因为之前我没注意要把 setting.py 中的 ROBOTSTXT_OBEY 的值改成 FALSE，所以在爬取到快结束时发现卡住了，后来重新运行，查了下原因才改过来的。
重新开始爬取，我是选择从排行榜第四页进入的，运行了挺久的了，还没爬到新的女神，一直在爬之前爬过的，所以下载的图片自然没有增长，因为 Scrapy 默认开启10个线程，所以那些没有爬过的女神并不是按顺序的。
总之，这篇笔记主要是记录了第一次爬虫的经历，挺好玩的，也有挺多需要注意的地方，下次想想怎么改进爬虫速度，再学习一下应对网站反爬虫的方法。
