以Python3.6.3为基础，写了一个小爬虫，借鉴了一下大佬的部分思路，代码如下
import urllib
import urllib.request
import re
import os
import time
# ** 指定编码格式 **
import io
import sys
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')
# ** 抓取的地址 **
page_url = "http://www.baidu.com"
# ** 抓取的图片保存的路径 **
# ** 以Mac为例 **
img_save_path = '/Users/a1/Desktop/Spider_Image' + os.sep + time.strftime('%Y%m%d')
# ** 保存到当前程序的根目录 **
# img_save_path = time.strftime('%Y%m%d')
# ** 获取html数据 **
def get_html_page(url):
# 指定请求头，模拟请求设备环境
headers = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10.13; rv:43.0) Gecko/20100101 Firefox/43.0",
"Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
}
# 请求
url_request = urllib.request.Request(url,headers=headers)
# 获取相应数据
url_reponse = urllib.request.urlopen(url_request)
# 读取相应数据
page_data = url_reponse.read()
return page_data
# ** 获取网页中的图片 **
def get_page_image(html_data):
# 判断保存路径是否存在
if not os.path.exists(img_save_path ):
os.makedirs(img_save_path)
# 筛选图片路径的正则表达式
regular = r'http\D://[\S]*\.png'
# 根据包含正则表达式的字符串创建模式对象
pattern = re.compile(regular)
# 返回string中所有与pattern相匹配的全部字串，返回形式为数组
user_get_img = re.findall(pattern,repr(html_data))
img_num = 0
for img in user_get_img:
# 根据img的地址，再次获取html数据
image = get_html_page(img)
# img_trget img的保存路径和名称，’wb‘ 以二进制写模式打开
img_target = img_save_path + os.sep + '{}.jpg'.format(img_num)
with open(img_target,'wb') as img_file:
# 写入文件
img_file.write(image)
print("正在下载第 {} 张图片".format(img_num))
img_num += 1
if not __name__ == '__main':
get_page_image(get_html_page(page_url))
运行结果
[Running] python "/Users/a1/Desktop/python_test/NetSpider.py"
正在下载第 0 张图片
正在下载第 1 张图片
正在下载第 2 张图片
正在下载第 3 张图片
正在下载第 4 张图片
正在下载第 5 张图片
正在下载第 6 张图片
正在下载第 7 张图片
正在下载第 8 张图片
正在下载第 9 张图片
正在下载第 10 张图片
正在下载第 11 张图片
正在下载第 12 张图片
正在下载第 13 张图片
正在下载第 14 张图片
[Done] exited with code=0 in 2.167 seconds
已解决的问题
print函数不能输出中文的问题，可添加如下代码来指定编码格式
# ** 指定编码格式 **
import io
import sys
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')
未解决的问题:
正则表达式匹配图片路径的问题
这个问题稍后修复。
代码的不足之处还请多多指教，谢谢了。
