拓展：多线程的展开--完结
一、实验说明
1. 环境登录
无需密码自动登录，系统用户名shiyanlou
2. 环境介绍
本实验环境采用带桌面的Ubuntu Linux环境，实验中会用到桌面上的程序：
1.Xfce 终端: Linux命令行终端，打开后会进入 Shell 环境，可以使用Linux命令
- Firefox：浏览器，可以用在需要前端界面的课程里，只需要打开环境里写的HTML/JS页面即可
- GVim：非常好用的编辑器，最简单的用法可以参考课程Vim编辑器
3. 环境使用
使用GVim编辑器输入实验所需的代码及文件，使用终端运行所需命令进行操作。
实验报告可以在个人主页中查看，其中含有每次实验的截图及笔记，以及每次实验的有效学习时间（指的是在实验桌面内操作的时间，如果没有操作，系统会记录为发呆时间）。这些都是您学习的真实性证明。
实验楼虚拟机，自带了python2.X和python3.X版本，无需安装 该实验建议使用 python2.7 版本， 也就是默认版本
二、课程介绍
本节课程主要讲解下 python 的 threading 模块
本次爬虫的速度取决于图片下载速度和链接打开速度，如果你将前面三节的代码连起来下载，你会发现速度不算快，不会超过120k吧。但是呢，一个爬虫多个分身一起工作，那就能大大提高效率
三、实验代码
import re
import urllib2
import meizi_series_nextpage
import threading
def loadurl(url):
try:
conn = urllib2.urlopen(url,data=None,timeout=5)
html = conn.read()
return html
except urllib2.URLError:
return ''
except Exception:
print("unkown exception in conn.read()")
return ''
def meizi(url,path):
reTagContent = '<div.*?class="tags">.*?<span>(.*?)</span>'
reTagUrl = '<a.*?href="(.*?)".*?>'
print 'start open meiziwang'
html = ''
while True:
html = loadurl(url)
if html == '':
print 'load', url,'error'
continue
else:
break
tagContent = re.findall(reTagContent, html, re.S)
taglists = re.findall(reTagUrl, tagContent[0], re.S)
taglists = sorted(list(set(taglists)))
print 'open meiziwang over'
#print len(taglists)
threads = []
for url in taglists:
t =threading.Thread(target=meizi_series_nextpage.nextpage,args=(url,path))
threads.append(t)
for t in threads:
t.start()
for t in threads:
t.join()
代码其实是基础课最后一节的代码
#导入threading模块
import threading
#创建线程列表，这里的缩进，直接和上面对应，看仔细
threads = []
#循环，tag的url对应一个线程，传入参数，引用Thread函数，再加入到线程列表中，像不像高阶函数？
for url in taglists:
t =threading.Thread(target=meizi_series_nextpage.nextpage,args=(url,path))
threads.append(t)
#启动线程列表中的线程，start()
for t in threads:
t.start()
#等待线程列表中的线程自动结束---如果没有这段代码，在这个函数(def meizi(url,path))结束，其余的线程会乖乖的结束
for t in threads:
t.join()
现在你可以将前面几个小节的代码改为多线程的了。
现在查看下网速，是不是火力全开下图片？
十兆网-火力全开
四、课程总结
本次爬虫的讲解，到这里就全部结束了(单线程到上一节结束)，主要知识点分几个：
- urllib2模块，获得HTML代码
- re模块，解析HTML代码，获得我们想要的
- os模块和内置函数open，写文件和操作文件夹
- threading模块，增加线程以达到加速爬虫效率的目的
这些模块的使用，都不难，难的是思路，第一、二、三、四节大量讲了函数之间的参数传递（文件路径和url链接路径的拆解、合并），只有这一节主要精力放在代码上。
对爬虫感兴趣，建议学习scrapy 这个爬虫框架，传送门
Python3教程、项目网站--传送门
