这是一个练习项目，这里要感谢简书的向右奔跑，从开始学习scrapy开始，跟向右奔跑老师学习了很多，这个项目也是向右奔跑老师的建议练习项目之一。
使用Scrapy ItemLoaders爬取整站图片
在老师的基础上自己做了一些修改。本案例没有用到item，setting也只有增加了USER_AGENT（有些网站反爬，模拟浏览器）和DOWNLOAD_DELAY（设置访问频率），因此直接上spider代码（直接在代码中说明学习过程中遇到的问题和解决方法）：
from scrapy.selector import Selector
from scrapy.spiders import CrawlSpider
from scrapy.http import Request
import re #需要用到正则表达式提取数字
import urllib.request #下载图片的需要用到这个模块，我个人不会用pipelines下载
class MeiziSpider(CrawlSpider):
name = 'meizi'
#重写入口
def start_requests(self): #重新写了入口url，一开始用递归写的，发现写出来好多重复访问（不会去重），效率太低，后来改成正常的函数调用了，虽然麻烦了点。
return [Request('http://www.meizitu.com/a/list_1_1.html',callback=self.parse)]
#访问分页 #parse主要是提取分页的规格，获取分页最大的页码，循环分页访问分页url
def parse(self,response):
cel = Selector(response)
cel2 = cel.xpath('//div[@id="wp_page_numbers"]/ul/li')
for info in cel2:
text = info.xpath('a/text()').extract()
if len(text):
text = text[0]
if text == '末页':
page = info.xpath('a/@href').extract()[0] #xpath获得的是list，需要加[0]
page = re.findall(r'list_1_(\d+).html',page)[0] #获得最大的页码，用到re模块，findall获得的是list，需要加[0]
break
for each in range(int(page)):
pageurl = 'http://www.meizitu.com/a/list_1_%s.html'% str(each+1)
print(pageurl)
yield Request(url=pageurl,callback=self.sceond_parse)
#访问第二层页面
def sceond_parse(self,response):
cel = Selector(response)
cel1 = cel.xpath('//ul[@class="wp-list clearfix"]/li/div/div/a/@href').extract()
for info in cel1: for循环分页访问分页上缩略图片的详细地址，获得详细图片的url，并访问
image_url = info
yield Request(url=image_url,callback=self.image_urlparse)
#保存图片
def image_urlparse(self,response):
cel = Selector(response)
name = cel.xpath('//div[@id="picture"]/p/img/@alt').extract()
pic = cel.xpath('//div[@id="picture"]/p/img/@src').extract()
for i in range(len(name)):
print(name[i],pic[i]) #测试用
#以下代码是模拟浏览器，urllib模块的headers需要单独增加，settings中的headers对urllib无效。
opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]
urllib.request.install_opener(opener)
#以下代码保存图片。
try:
urllib.request.urlretrieve(pic[i],r'C:\Users\ABC\Desktop\meizi\pic\%s.jpg'% name[i]) #下载到后面的page时发现每张图片的名字一样，导致后面的图片会把之前的图片覆盖，name还需要重新修改，以后有时间在修改。
except:
print('--no---image--')
效果：
Paste_Image.png
存在的问题：
1.重复命名：后面分页图片地址对应的name一样，导致会少掉很多图片，后续要重写命名规则。
![`4KW)BQFAQ3Q62(NM47T]6P.png](http://upload-images.jianshu.io/upload_images/4568344-ba5463e22a3f702e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
2.还不会使用pipelines下载。
3.此站不需要登陆，没有涉及到模拟登陆的内容，后续需要继续学习的内容。
4.解析网站花了好多时间，对网站结构不是很清楚，xpath也不是很熟悉，使用的时候经常出现问题。
