1 基础版本
1.1 预备 && 思路
-
进入迁木网排名页面
迁木网排名页面 -
获取每个学校的具体信息
依次点击学校名称下的链接，进入详情页。以麻省理工大学为例：
麻省理工大学 爬虫爬取页面中表格信息
1.2 代码实现
思路不难，和昨天的爬虫类似，主要还是xpath的使用。实现过程中遇到了两个小问题。
- 部分表格的左侧或右侧有多行文字。直接用‘......//text()’会导致报错：out of range。解决办法是以行、列查找，再按照行列复制给key, value。
rows = selector.xpath('//*[@id="wikiContent"]/div[1]//td[1]')
cols = selector.xpath('//*[@id="wikiContent"]/div[1]//td[2]')
keys = []
values = []
print(data['name'])
for row in rows:
keys.append(' '.join(row.xpath('.//text()')))
for col in cols:
values.append(' '.join(col.xpath('.//text()')))
- 解决第一个问题之后，出现了第二个问题，即部分学校左边多个但云哥对应右边一个合并单元格。在不破坏1中逻辑的前提下，我只能选择丢弃这一小部分学校。
麦吉尔大学
if len(keys) != len(values):
continue
贴出完整代码：
import requests
from lxml import etree
ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' \
'AppleWebKit/537.36 (KHTML, like Gecko) ' \
'Chrome/80.0.3987.116 Safari/537.36'
headers = {'User-Agent': ua}
r = requests.get("http://www.qianmu.org/ranking/1528.htm", headers=headers)
# 访问迁木网首页，提取出排名首页的大学链接
et = etree.HTML(r.text)
links = et.xpath('//*[@id="page-wrapper"]/div/div[2]/div/div/div/div[2]/div/div[5]/table//td[2]//@href')
university = []
# 依次从大学链接中获取大学的具体信息
for link in links:
resp = requests.get(link, headers=headers)
selector = etree.HTML(resp.text)
data = {}
data['name'] = selector.xpath('//*[@id="wikiContent"]/h1/text()')[0]
rows = selector.xpath('//*[@id="wikiContent"]/div[1]//td[1]')
cols = selector.xpath('//*[@id="wikiContent"]/div[1]//td[2]')
keys = []
values = []
print(data['name'])
for row in rows:
keys.append(' '.join(row.xpath('.//text()')))
for col in cols:
values.append(' '.join(col.xpath('.//text()')))
if len(keys) != len(values):
continue
for i in range(len(keys)):
data[keys[i]] = values[i]
university.append(data)
print(university)
基础版本结束~
2 多线程版本
基础版本虽然能够实现基本的功能，但是还是存在一个很严重的问题：太慢了。这对一只小爬虫来说无疑是致命的。所以来升级一下这只小爬虫。
2.1 重构代码
基础班的代码有点丑，而且不符合模块化编程的思想。在引入多线程之前，先对丑代码进行一下重构。
简化代码：
- cols rows的处理
# 处理之前
for row in rows:
keys.append(' '.join(row.xpath('.//text()')))
for col in cols:
values.append(' '.join(col.xpath('.//text()')))
# 处理之后
keys = [' '.join(row.xpath('.//text()')) for row in rows]
values = [' '.join(col.xpath('.//text()')) for col in cols]
2.2 多线程处理
这一块理解不深刻，多写几个例子
import time
import threading
from queue import Queue
import requests
from lxml import etree
start_url = 'http://www.qianmu.org/ranking/1528.html'
links_queue = Queue()
threads = []
thread_num = 100
page_num = 0
# 网络连接，返回response
def step_net(url):
ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' \
'AppleWebKit/537.36 (KHTML, like Gecko) ' \
'Chrome/80.0.3987.116 Safari/537.36'
headers = {'User-Agent': ua}
resp = requests.get(url, headers=headers)
return resp.text.replace('\t', '')
def link_handle():
et = etree.HTML(step_net(start_url))
links = et.xpath('//*[@id="page-wrapper"]/div/div[2]/div/div/div/div[2]/div/div[5]/table//td[2]//@href')
for link in links:
# 将所有链接存入队列
links_queue.put(link)
def parse_university(link):
# link = links_queue.get()
resp = step_net(link)
selector = etree.HTML(resp)
data['name'] = selector.xpath('//*[@id="wikiContent"]/h1/text()')[0]
rows = selector.xpath('//*[@id="wikiContent"]/div[1]//td[1]')
cols = selector.xpath('//*[@id="wikiContent"]/div[1]//td[2]')
keys = [' '.join(row.xpath('.//text()')) for row in rows]
values = [' '.join(col.xpath('.//text()')) for col in cols]
data.update(zip(keys, values))
return data
def process_data(data):
if data:
print(data['name'])
print(data)
def download():
while True:
link = links_queue.get()
if link is None:
break
data = parse_university(link)
process_data(data)
global page_num
page_num += 1
links_queue.task_done()
print("剩余未下载内容：%s,当前线程数：%s, threads线程池长度：%s" % (links_queue.qsize(),
len(threading.enumerate()),
len(threads)))
pass
if __name__ == '__main__':
data = {}
start_time = time.time()
link_handle()
for i in range(thread_num):
t = threading.Thread(target=download)
t.start()
threads.append(t)
# 阻塞队列直到所有队列被清空
links_queue.join()
# 向队列发送N个none以通知线程退出。
for i in range(thread_num):
links_queue.put(None)
# 退出线程
for t in threads:
t.join()
lasted = time.time() - start_time
print("下载了%s个页面，花费%s秒钟" % (page_num, lasted))
