Scrapy提供了一个 item pipeline ，来下载属于某个特定项目的图片，比如，当你抓取产品时，也想把它们的图片下载到本地。
这条管道，被称作图片管道，在 ImagesPipeline 类中实现，提供了一个方便并具有额外特性的方法，来下载并本地存储图片:
Pillow 是用来生成缩略图，并将图片归一化为JPEG/RGB格式，因此为了使用图片管道，你需要安装这个库。 Python Imaging Library (PIL) 在大多数情况下是有效的，但众所周知，在一些设置里会出现问题，因此我们推荐使用 Pillow 而不是 PIL.
- 首先在setting中激活以下
ITEM_PIPELINES = {
'chinazproject.pipelines.ChinazProjectImagePipeline': 299, # 激活图片下载管道
}
- pipelines
from scrapy.contrib.pipeline.images import ImagesPipeline
import scrapy
from chinazproject.items import ChinazprojectWebInfoItem,ChinazprojectTagItem
import os
# 取出配置文件
from scrapy.utils.project import get_project_settings
# os.remove()# 重命名
# 获取settings文件的信息
images_store = get_project_settings().get('IMAGES_STORE')
class ChinazProjectImagePipeline(ImagesPipeline):
def get_media_requests(self,item,info):
"""
根据图片的url地址，构造requuests请求
:param item:
:param info:
:return:
"""
if isinstance(item,ChinazprojectWebInfoItem):
# 获取图片地址，发起请求
img_url = 'http:'+item['coverImage']
print('获取图片地址', img_url)
yield scrapy.Request(img_url)
# 如果有多个图片地址,item['coverImage']对应的是一个列表
# img_urls = item['coverImage']
# return [scrapy.Request(x) for x in img_urls]
def item_completed(self,results,item,info):
"""
图片下载之后的回调结果
:param results: [(True/False,{'path':'图片下载之后的一个储存路径','url':'图片的url地址','ckecksum':'经过HASH加密的一个字符串'})]:图片下载成功还是失败
:param item:
:param info:
:return:
"""
if isinstance(item,ChinazprojectWebInfoItem):
paths = [result['path'] for status,result in results if status]
print('图片下载结果',results)
if len(paths)>0:
print('图片下载成功')
# 使用os的rename方法修改文件的名称
os.rename(images_store+'/'+paths[0],images_store+'/'+item['title']+'.jpg')
image_path = images_store+'/'+item['title']+'.jpg'
print('修改后的路径',image_path)
item['locakImgePath'] = image_path
else:
# 如果没有成功获取到图片，将这个item丢弃
from scrapy.exceptions import DropItem
raise DropItem('没有获取到图片，遗弃item')
# 获取图片地址，交给下一个管道处理
return item
