写在前面
为什么选用多进程而不选用多线程，这是考虑到了诸多的实际情况最终做出的选择。
在python环境下，多进程稍稍比多线程好实现好理解一点。
因为爬虫大多数都是运行在linux内核的服务器上面，而在linux操作系统下，多进程要比多线程更加合适，因为调度开销和多线程差不多，但是进程性能更好。如果在windows系统下跑爬虫的话，建议使用框架或者使用多线程。
爬虫毕竟不是服务器交互，没有人会开1k的线程去跑这个，所以一般情况下我们把自己爬虫的效率提升几倍即可。
有兴趣的同学可以去看一下进程和线程的区别，据说面试容易被问喔我们今天就讲一下简单的多进程的实现就好了，如果你想深入爬虫效率研究可以好好研究一下多进程和多线程相关
代码预览
#coding:utf-8
import multiprocessing
from bs4 import BeautifulSoup
import requests
def pageUrls(url):
web_data = requests.get(url)
soup = BeautifulSoup(web_data.text, 'lxml')
sum = int(soup.select('span.total > em:nth-of-type(1)')[0].get_text())
pageNum = sum/50
return [url+'/loupan/s?p={}'.format(str(i)) for i in range(1, pageNum+2, 1)]
def detailPage(myurl):
urls = pageUrls(myurl)
for url in urls:
web_data = requests.get(url)
soup = BeautifulSoup(web_data.text, 'lxml')
titles = soup.select('div.list-results > div.key-list > div > div.infos > div > h3 > a')
for title in titles:
print url
print title.get_text()
print title.get('href')
def main(urls):
pool = multiprocessing.Pool(multiprocessing.cpu_count())
for url in urls:
pool.apply_async(detailPage, (url, ))
# pool.map(detailPage, urls)
pool.close()
pool.join()
if __name__ == "__main__":
startUrl = 'http://tj.fang.anjuke.com/?from=navigation'
web_data = requests.get(startUrl)
soup = BeautifulSoup(web_data.text, 'lxml')
urls = [url.get('href') for url in soup.select('.city-mod > dl > dd > a')]
main(urls)
代码剖析
if __name__ == "__main__":
startUrl = 'http://tj.fang.anjuke.com/?from=navigation'
web_data = requests.get(startUrl)
soup = BeautifulSoup(web_data.text, 'lxml')
urls = [url.get('href') for url in soup.select('.city-mod > dl > dd > a')]
main(urls)
在这里讲一个小知识点，if name == "main":这段代码的作用是保证在这个py文件被import的时候不会被运行，只有主动执行它的时候才会运行。
这次我们扒取的是安居客的住房信息，上面那一段代码相信大家都能看懂，从入口进入，取到全国各地城市的链接，然后进入main函数
pool = multiprocessing.Pool(multiprocessing.cpu_count())
multiprocessing是python中标准的多进程库，上面代码的意思是创建一个进程池，进程个数为cpu内核数。这里有个小知识，电脑的cpu有多少内核便可以同时执行多少个进程，当然你也可以填的很多，只是作用不大而已，并不是进程数越多就会执行的越快。
pool.apply_async(detailPage, (url, ))
apply_async函数从进程池中取出一个进程执行func，args为func的参数，我们这段代码不断地从进程池中取出进程去执行我们的detailPage方法。当然，也可以采用下面哪种方式：
pool.map(detailPage, urls)
map方法，将detailPage()函数作用到表的每个元素上，表中每个元素都会被作用到。这两种方式都可以~
pool.close()关闭进程池，进程池不会再创建新的进程
pool.join()wait进程池中的全部进程,也就是用来等待进程池中的worker进程执行完毕，防止主进程在worker进程结束前结束
这样，对于我的电脑来说等于开了8个进程去并行爬虫（没做反扒一会就会被封了哈哈），经过我测试速度比单个进程快了4倍左右，还是很有用的~
剩下的两个函数我就不多赘述了pageUrls，根据页面上数据量的多少生成page分页的url，detailPage扒取每个page分页的所有楼盘的标题信息。
今天我们介绍了多进程，同时，实践了如何从网站的一个入口延伸进而抓取整个网站的内容。当然，每个人写代码的习惯不同，当你多多练习的时候自然有自己的方式去实现你想要的功能。
ps：今天突然想起来，大家在做爬虫的时候尽量先扒到链接，存在数据库之后再去扒分页里面的详细内容，因为这样速度不慢而且容错率很高，也很容易做断点续扒~
