制作爬虫的步骤
制作一个爬虫一般分以下几个步骤：
- 分析需求
- 分析网页源代码，配合开发者工具
- 编写正则表达式或者XPath表达式
- 正式编写 python 爬虫代码
需求分析
我们的爬虫至少要实现两个功能：
1. 搜索图片
2. 自动下载
搜索图片：最容易想到的是爬百度图片的结果，我们就上百度图片看看：
随便搜索几个关键字，可以看到已经搜索出来很多张图片：
分析网页
调出开发者工具，查看页面元素，使用左上角那个工具方便选中要查看的元素。
然后选择你想看源代码的地方，可以看到下方的代码区自动定位到了相应的位置。如下图：
复制图片地址，然后到页面源代码里进行搜索，找到图片弟子代码的对应位置，但是可以看到这个图片有不止一个地址，thumbURL，middleURL，hoverURL，objURL到底哪个才是我们需要的呢？
通过分析可以知道，前面两个是缩小的版本，hoverURL 是鼠标移动过后显示的版本，objURL 应该是我们需要的，可以分别打开这几个网址看看，发现 objURL 的那个最大最清晰。
找到了图片地址，接下来我们分析是不是所有的 objURL 都是图片。
发现都是以.jpg或.jpeg格式结尾的图片。
编写正则表达式
pic_url = re.findall('"objURL":"(.*?)",',html,re.S)
编写爬虫代码
这里需要使用 2 个包，一个是正则，一个是 requests 包
#-*- coding:utf-8 -*-
import re
import requests
复制百度图片搜索的链接，传入 requests ，然后把正则表达式写好
url = 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1552730354827_R&pv=&ic=0&nc=1&z=0&hd=0&latest=0©right=0&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word=%E5%BE%AE%E4%BF%A1%E5%A4%B4%E5%83%8F'
# word 的值表示要搜索的内容，可以更换为需要搜索的图片
html = requests.get(url).text
pic_url = re.findall('"objURL":"(.*?)",',html,re.S)
因为有很多张图片，所以要循环，我们打印出结果来看看，然后用 requests 获取网址，由于有些图片可能存在网址打不开的情况，所以加了10秒超时控制。
pic_url = re.findall('"objURL":"(.*?)",',html,re.S)
i = 1
for each in pic_url:
print each
try:
pic= requests.get(each, timeout=10)
except requests.exceptions.ConnectionError:
print('【错误】当前图片无法下载')
continue
接着就是把图片保存下来，我们事先建立好一个 images 目录，把图片都放进去，命名的时候，以数字命名。
dir = '../images/' + keyword + '_' + str(i) + '.jpg'
fp = open(dir, 'wb')
fp.write(pic.content)
fp.close()
i += 1
完整的代码
成果如下：
爬虫执行的过程中，可以看到有的图片没能下载成功，查看链接地址，发现有些确实没了。
因为百度有些图片它缓存到百度的服务器上，所以我们在百度上还能看见它，但它的实际链接已经失效了。
总结
以上，本文介绍的图片下载爬虫就讲完了！当然它不仅能下载百度的图片，依葫芦画瓢进行适当修改，应该可以做很多事情，比如爬取头像，爬取淘宝展示图等等。
