用理工科思维看待这个世界
初学者，尽力实现最小化学习系统
如何实现项目图片的下载
0：学习理念
推荐阅读
简书：学习方法论
我觉得对我有帮助，多问自己为什么从来不是什么坏毛病。学习理念
作为初学者，独自在摸索中的过程中，往往会遇到各种各样的问题，
第一遍的学习往往就算呈现的是正确答案，往往也不能全部理解，这歌层次需要知道：是什么？；
第二遍的学习需要知道：怎么做？；
第三遍的学习需要知道：如何实现已知的？；
第四步的学习需要知道：如何实现自己的？。
实现了自己的这步是实现最小可行性系统的关键，但往往容易陷入误区，错把最后一步的操作当做完全正确的答案，为避免陷入误区，应该在实现了最小可行性系统上，再次查阅最接近正确答案的文档，尤其是自学的过程中，推荐阅读官方文档
写不明白，差不多也就没学明白；
写的自己明白，差不多只学到了7成；
写的别人都能明白，差不多学到了9成；
剩下的是知识盲区。需要持续不断的精进。
- 学习动机
某动漫爱好者知道我会爬虫，想要我给写个程序抓取某网站图片。当然我不可能错过这个装X的机会。所以就使用多线程实现了网页图片链接的下载，总共6万个左右。存在很大的bug，时间紧，就草草结束。后来回过头想要使用Scrapy框架实现，于是有了你看到的这篇文章。
1：原理分解
使用Scrapy的ImagePipeline类提供的一种方便的方式来下载和存储图片，需要PIL库的支持，图片管道，在 ImagesPipeline 类中实现，提供了一个方便并具有额外特性的方法，来下载并本地存储图片:
-
主要特征：(可以实现对图片进行怎样的操作)
- 转换格式
- 避免重复下载
- 缩略图下载
- 指定过滤大小的图片
-
工作流程：(ImagesPipeline类是如何实现图片下载的)
- Scrapy 爬取的大致步骤是：items.py 设置抓取目标；Spiders/ 实现抓取的代码；pipelines.py 实现对抓取内容的处理
- 爬取一个Item , 将图片的链接放入
image_urls字段 - 从Spider 返回的Item，传递到Item pipeline
- 当Item传递到ImagePipeline，将调用Scrapy 调度器和下载器完成image_urls中的url的调度和下载。ImagePipeline会自动高优先级抓取这些url，于此同时，item会被锁定直到图片抓取完毕才被解锁。
- 图片下载成功结束后，图片下载路径、url和校验和等信息会被填充到images字段中。
如图示：下载成功界面显示：
最终效果：
2：实际操演
目标网站
是它，是它，就是它
网站采用了异步加载，那就抓取一页先好了，具体的异步加载处理以后写图片
url的xpath：首页存在30张图片
//div[@class="photo-item"]//img/@src
-
items.py文件: 定义Item
class ImagesItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
image_urls = scrapy.Field()
images = scrapy.Field()
image_paths = scrapy.Field()
pass
-
spider/image_spider.py文件：爬取规则
# -*- coding:utf-8 -*-
from scrapy.spiders import CrawlSpider,Rule
from images.items import ImagesItem
from scrapy.selector import Selector
class Download(CrawlSpider):
name = "image"
allowed_domains = ["https://stocksnap.io/"]
start_urls = ["https://stocksnap.io/",]
def parse(self, response):
print(response)
hxs = Selector(response)
imgs = hxs.xpath('//div[@class="photo-item"]//img/@src').extract()
item = ImagesItem()
item['image_urls']=imgs
return item
- 设置
settings.py
可以设置：- 开启图片管道：
ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline': 1} - 存储路径：
IMAGES_STORE = '/path/to/valid/dir' - 还可以设置一些图片失效：
IMAGES_EXPIRES = 90；缩略图生成：需要设置 IMAGES_THUMBS 字典,这时会创建缩略图格式的文件夹<IMAGES_STORE>/thumbs/<size_name>/<image_id>.jpg; 设置过滤小图片IMAGES_MIN_HEIGHT,IMAGES_MIN_WIDTH
- 开启图片管道：
ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline': 1} # 开启图片管道
IMAGES_STORE=r"C:\Users\Wuxiaoshen\Desktop\history\tupian"# 存储路径
IMAGES_EXPIRES = 90 # 图片失效日期
- 实现定制图片管道
主要处理的是：ImagePipeline类下的get_media_requests(item, info)和item_completed(results, items, info)方法
“
正如工作流程所示，Pipeline将从item中获取图片的URLs并下载它们，
所以必须重载get_media_requests，并返回一个Request对象，
这些请求对象将被Pipeline处理，当完成下载后，
结果将发送到item_completed方法，
这些结果为一个二元组的list，
每个元祖的包含(success, image_info_or_failure)。
success: boolean值，true表示成功下载 image_info_or_error：如果success=true，image_info_or_error词典包含以下键值对url：原始URL path：本地存储路径 checksum：校验码。失败则包含一些出错信息。
”
from scrapy.contrib.pipeline.images import ImagesPipeline
from scrapy.exceptions import DropItem
from scrapy.http import Request
class ImagesPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
for image_url in item['image_urls']:
yield Request(image_url)
def item_completed(self, results, item, info):
image_paths = [x['path'] for ok, x in results if ok]
if not image_paths:
raise DropItem("Item contains no images")
item['image_paths'] = image_paths
return item
运行效果：
本地图片显示：存储在本地设置的路径下full文件下，图片的名字使用图片url的SHA1 hash(这样的值很少会重复，所以可以实现重复判断，数据库中的去重操作的主键也常使用消息摘要算法)
示例：图片的url = https://snap-photos.s3.amazonaws.com/img-thumbs/280h/07EK7KIUOV.jpg 网站显示
import hashlib
print(hashlib.sha1(b"https://snap-photos.s3.amazonaws.com/img-thumbs/280h/07EK7KIUOV.jpg").hexdigest())
# 显示：'1c42553dbeb111970e504d07f8fdc0597de4c9ee'
图片显示：
全部图片：
3：总结与参考
第一次接触，就算是正确答案，你也不能完全的明白，所以参考文献的多次重复可以让你渐渐的明白原理和操作
任何实用性的东西都解决不了你所面临的实际问题，但为什么还要看？为了经验，为了通过阅读抓取别人的经验，虽然还需批判思维看待
如果你忍不住的想要和我交朋友：email: 1156143589@qq.com
