声明：此开发只用于学习交流，方便朋友们下载观看，禁止用于商业用途和牟利。以下正文：
开发环境
第一次学习网络爬虫，经验和水平还有限。算法还不算通用，很多地方使用了硬编码，程序还不算健壮对异常处理还不够全面，以及网络响应失败没有处理。
使用的环境是：电脑版的树莓派系统，python3，wget、uniq、sort(linux),vbox:share
先上几张截图
下载目录截图，主程序是first_spider.py，图片保存在各自目录下
车模文件夹截图
清纯文件夹截图
日韩文件夹截图
图片文件截图
下载终端提示
*目录大小，目前已经运行8*24小时了，大盖还需运行两周
主要思路
首先分析https://uumtu.com.com/zt/页面，获得所有分类的索引，然后把所有索引保存到目录
进行分析。
https://www.uumtu.com/zt/
专题页面的美女页面
获得美女专题的图片，共计175个页面：自拍，白领啊什么的，这个可以称之为祖父页面
然后获得分类索引目录之后，获得各索引的所有页面，之后获得所有页面的每个妹子的主页面。
各专题页面的链接，获得关键词，然后尝试访问，直到不能访问为止，这个是父页面
最后获得妹子主页面及各图片保存页面，使用wget程序下载到文件夹，这里楼主使用虚拟机下载到共享文件夹，直接在windows中访问。
每个妹子主页面的链接，共计41677，也就是子页面
对上面的使用linux的uniq、sort命令进行处理，剩下17119个,发现美女图片主要有6个目录，清纯、丝袜、车模、日韩、性感、自拍，其他的均索引到这些图片，分析后台应该是直接使用文件夹或用图片链接从数据库提取图片
主要算法
担心大家直接下载使用，所以这里只上传主要算法
1.使用到的库
requests、beautifulsoup、os、time
分别用来获得网页，分析网页，把链接保存到内存、读取到内存，统计程序运行时间。
2.关键程序
A:爬虫通用框架
所有算法均使用这个页面进行测试
B:获得专题页面的所有链接
对专题页面进行分析，获得特征美女下的所有链接，使用这个函数处理字符串，获得链接，并通过os写入文件
C：获得所有父页面的链接
对所有祖父页面进行访问，并看祖父页面是否有下一页，如果有通过index++的方式获得下一页面，并测试，指导找不到下一页面或访问不同，然后把list写入文件，这个应该加入异常处理。
C：获得所有美女图片链接
所有有title或taglisttitle的链接为图片首页链接
flag用于判断是手机页面还是电脑页面，对父页面的所有链接进行分析，如果找到titel或taglisthtitle的，则获得链接，否则不处理，然后通过测试，看每个美女图片共有多少个页面，也写入文件
D:获得所有美女的图片链接
美女图片页面的概览信息
图片链接信息，通过分号进行分解
从概览信息获得美女图片title等信息，然后对该美女图片的所有页面进行查询，看是否有title信息，有就获得链接，保存到list
E：保存到文件，即主程序，这里没有添加另外一个函数
从文件读取所有美女图片链接，然后从制定页面开始访问，首先通过美女图片橄榄信息获得文件夹名称，类别+美女图片标题，如"qingchun/清纯少女的居家图片"，然后通过美女图片页面链接获得美女图片链接，使用os模块调用wget函数下载图片
好了，基本思路就是这样，希望对大家有用，我去看图了，羞羞！！
