这一次分析主要是针对上 分布式爬虫笔记（一）- 非框架实现的Crawlspider 的一次改进，从单机的爬虫改成多线程和多进程爬虫~~~
多线程和多进程的区别
参考文章 单线程、多线程和多进程的效率对比测试
1 多线程核心点说明
这一次对爬虫代码的修改其实主要是getQueneURL和start_crawl函数函数的处理。（建议比较难比较的小伙伴可以通过类似 git -diff 的方式来对文件进行分析）
1.1 getQueneURL函数
如果获取不到网页不做任何处理直接返回Null，这部分的处理交给theading处理那一块负责。
getQueneURKL
1.2 start_crawl函数
- if url is None 对空队列进行替换
- threads = [] 创建一个线程池来管理线程。
- is_alive() 进程是否存活
- remove() 删除进程
- setDaemon() 可直接退出主进进程
- start() 启动进程
- is_root_page 当爬取首页的时候，队列为空，单独处理
核心点就是以上的这几个，在代码中有很详细的注释
start_crawl
完整的代码如下，可以通过 Github 下载
2 多进程核心点说明
有兴趣的小伙伴可以通过Git -diff 将多线程和多进程两份代码对比下
- 其实核心的方法就是将deque队列换成了mysql数据（process_dbmanager.py就是mysql抽象出来的一个数据库操作的文件，在多进程爬虫里面直接调用mysql的方法就可以了）
- 之前用于计算md5和url的方法都已经去掉了，mysql键值唯一的方法就可以实现去重
完整的代码如下，可以通过 Github 下载 - 这里更正一下，多进程需要多开启几个py文件来执行，可以看第三步的结果
3 多线程 vs 多进程对比
多线程.jpg
多线程+多进程.jpg
以上都是我的个人观点，如果有不对，或者有更好的方法，欢迎留言指正~~~
