爬虫学习
- 目的：爬取壁纸并保存到本地
- 目标网站： http://desk.zol.com.cn/dongman/
- 要求：
1.壁纸必须保存到脚本运行目录下的的 IMAGES文件夹内。
2.保存的图片必须以对应标题名和分辨率来命名，如：秋田君的小漫画 - 1920x1200.jpg。
3.图片分辨率应该是可选分辨率中最高的。
4.提示信息格式：正在下载 (下载数量)：(图片名字)。
5.要有错误处理并给出相应提示，如：图片下载失败、网络超时的处理等。 - 要用到的Python库
requests(需安装)
os
lxml中的etree(xpath)(需安装)
Let's go!
首先，建立一个文件夹来保存图片
folder = os.path.exists("IMAGES")
if not folder:
os.makedirs("IMAGES")
引入所需的库
from lxml import etree
import requests
import os
接下来写一个解析html的函数，参数为要获取的网址，用etree解析目标网页
def get_dom(url):
r = requests.get(url)
r.encoding = r.apparent_encoding
dom = etree.HTML(r.text)
return dom
接着，我们要进入每个图片的下载网页
利用xpath定位下载网页的herf
并且同时找到进入下一页的url
下载网页.png
下一页.png
代码实现如下
next_page_url找不到匹配的URL时代码返回None
def get_images_page(url):
dom = get_dom(url)
image_urls = dom.xpath('//li[@class="photo-list-padding"]//a/@href')
try:
next_page_url = dom.xpath('//a[@id="pageNext"]/@href')[0]
except:
next_page_url = None
return image_urls, next_page_url
可选.png
不可选.png
抓取图片的同时，我们要把图片的名字的像素也抓出来
max_url和max_f的列表取第一项是为了获取其最大分辨率的图片
但是我们发现有的图片的选择框里没有可选项
这时我们就需要直接提取页面中960*600分辨率的大图
我选择使用try语句让代码在爬取不到可选最大分辨率时去选择页面中的大图
（这里也可以利用len函数判断字符串长度是否为零来作为判断条件）
页面中.png
代码如下，通过TRY来使得两种方式选择进行
PS：max_f为图片的分辨率
在获取到图片的SRC之后还需要利用requests获取后再转换为content
def get_image_info_AND_content(url):#提取图片信息及图片的content
dom = get_dom(url)
image_name = dom.xpath('//a[@id="titleName"]/text()')[0]
try:
max_url = dom.xpath('//dd[@id="tagfbl"]//a/@href')[0]
max_f = dom.xpath('//dd[@id="tagfbl"]//a/text()')[0]
max_dom = get_dom( 'http://desk.zol.com.cn' + max_url)
max_src = max_dom.xpath('//img//@src')[0]
r_2 = requests.get(max_src)
content = r_2.content
return image_name, max_f, content
except:
max_src = dom.xpath('//*[@id="bigImg"]/@src')[0]
r_2 = requests.get(max_src)
content = r_2.content
max_f = "960x600"
return image_name,max_f , content
终于终于到了下载环节
def save_image(image_name, content):
with open('IMAGES/%s.jpg'%image_name, 'wb') as f:
f.write(content)
最后是爬虫的主体部分
用一个while True的语句来使代码自然运行结束
再加上一些提示性语句，这个小爬虫就算写完了
O(∩_∩)O
PS：因为爬取出的图片及下一页的链接是缺失host的，需要在这里加上
start_url = '/dongman/1.html'
host = 'http://desk.zol.com.cn'
flag = True
while flag:
image_urls, next_page_url = get_images_page(host+start_url)
for image_url in image_urls:
image_name, max_f, content = get_image_info_AND_content(host+image_url)
try:
save_image(f'{image_name}-{max_f}', content)
print("下载成功：%s"%image_name)
except:
print("下载失败：%s"%image_name)
#此image_name非彼image_name
start_url = next_page_url
if next_page_url == None:
flag = False
最后，附上完整代码
#-*- coding: utf-8 -*
__author__ = 'XZL'
import requests
import os
from lxml import etree
folder = os.path.exists("IMAGES")
if not folder:
os.makedirs("IMAGES")
def get_dom(url):
r = requests.get(url)
r.encoding = r.apparent_encoding
dom = etree.HTML(r.text)
return dom
def get_images_page(url):
dom = get_dom(url)
image_urls = dom.xpath('//li[@class="photo-list-padding"]//a/@href')
try:
next_page_url = dom.xpath('//a[@id="pageNext"]/@href')[0]
except:
next_page_url = None
return image_urls, next_page_url
def get_image_info_AND_content(url):
dom = get_dom(url)
image_name = dom.xpath('//a[@id="titleName"]/text()')[0]
try:
max_url = dom.xpath('//dd[@id="tagfbl"]//a/@href')[0]
max_f = dom.xpath('//dd[@id="tagfbl"]//a/text()')[0]
max_dom = get_dom( 'http://desk.zol.com.cn' + max_url)
max_src = max_dom.xpath('//img//@src')[0]
r_2 = requests.get(max_src)
content = r_2.content
return image_name, max_f, content
except:
max_src = dom.xpath('//*[@id="bigImg"]/@src')[0]
r_2 = requests.get(max_src)
content = r_2.content
max_f = "960x600"
return image_name,max_f , content
def save_image(image_name, content):
with open('IMAGES/%s.jpg'%image_name, 'wb') as f:
f.write(content)
start_url = '/dongman/1.html'
host = 'http://desk.zol.com.cn'
flag = True
while flag:
image_urls, next_page_url = get_images_page(host+start_url)
for image_url in image_urls:
image_name, max_f, content = get_image_info_AND_content(host+image_url)
try:
save_image(f'{image_name}-{max_f}', content)
print("下载成功：%s"%image_name)
except:
print("下载失败：%s"%image_name)
#此image_name非彼image_name
start_url = next_page_url
if next_page_url == None:
flag = False
