目录
- 目的
- 分析需求
- 分析网页
- 重复之道
- 与爬虫结合
- 附加题
写在前面：
从现在开始，教程可能会变成这样：
好，让我们开始吧
1. 目的
我已经知道如何收集 & 解析 网页数据了，那么问题来了，如果有很多很多的网页等待着我收集，难道我要每次都去修改“目标URL”再运行一次程序吗？
是时候发挥程序的作用了：
- 函数化
- 循环作业
2. 分析需求：一个实战任务
我希望收集ACM的Fellow的基础信息，做一些基础的统计，那么我将：
-
首先，抽取这些fellow的基本信息，以及他们的对应的Digital Library的档案信息 (https://awards.acm.org/fellows/award-winners)
ACM的fellow列表 -
其次，在Digital Library的档案信息中，这两个地方是我即将收集的信息点——专家的“单位”信息，以及他/她过往出版物的统计信息 (https://dl.acm.org/author_page.cfm?id=81100622053)
对应的DL档案信息
3. 分析网页
我可以直接访问“Fellow”列表的网页，抽取这些专家的基础信息（姓名/年份/来源），但是我也需要抽取每个人对应的Digital Library数据中的档案信息。
所以，使用“右键->检查”查看鼠标点击出对应的元素的具体源代码：
使用BeautifulSoup解析网页
t_table = soup.find(
'table', attrs={'summary': 'Awards Winners List'})
如果我没说清楚的话，那么在看一次。
我需要抽取档案信息的Affiliation History 信息，在这行字上点击鼠标右键，再选中“检查”：
这样我们就知道了我们即将抽取的标签的路径
使用BeautifulSoup解析网页
tableList_pub = soup.find_all(
'table',
attrs={'width': '90%', 'style': 'margin-top: 1px; margin-bottom: 10px',
'border': '0', 'align': 'left'})
4. 重复之道
函数化：定义一种动作
将一个常见的动作（代码）固定下来，每次只改变想更改的部分即可。“函数化”还可以使代码块的
print('I fetch apple')
print('I fetch pencil')
print('I fetch your heart')
print('I fetch your love in my dream')
以上代码等价于：
def fetch(something):
print('I fetch ' + something)
fetch('apple')
fetch('pencil')
fetch('your heart')
fetch('love in my dream')
循环：迈向自动化
循环可以让某些动作重复，而不用代码一次次地重复写
print('0')
print('1')
print('2')
print('3')
print('4')
print('5')
print('6')
print('7')
以上代码等价于：
for i in range(8):
print(str(i))
5. 与爬虫结合
当我找到<table><tbody>里的所有<tr>标签后，我应该遍历每一个tr标签，找到目标信息点：
我当然不会一个个写代码抽取它们，所以使用“循环”：
fellowList = [] # 初始化一个空的列表，用于存放数据
# 对于每一个找到的‘tr’标签，循环处理
for tr in t_table.tbody.find_all('tr', attrs={'role': 'row'}):
tdList = tr.find_all('td') # 找到‘tr’中的‘td’标签
name = tdList[0].string # 第一个‘td’标签是 姓名
year = tdList[2].string # 第三个‘td’标签是 年份
nation = tdList[3].string # 第四个‘td’标签是 来源
dlLink = tdList[4].a['href'] # 第五个‘td’标签是 对应的Digital Library 的档案链接
fellowList.append([name, year, nation, dlLink]) # 把这些标签的内容放置于列表中
当然我还要清理抽取内容中的乱码，所以以上代码进一步更改为：
# 清理网页文本数据
def cleanStr(text):
''' 清理网页字符串里的无用字符'''
# 清理 空格
# 'Masinter,\xa0Larry\xa0M' -> 'Masinter, Larry M'
# \xa0 是 html 里的空格
text.replace('\xa0', ' ')
text.replace('\t', '') # 清理 回车
text.replace('\n', '') # 清理 退格
return text
# 使用一个列表放置数据
fellowList = []
# 对于每一个找到的‘tr’标签，循环处理
for tr in t_table.tbody.find_all('tr', attrs={'role': 'row'}):
# 找到‘tr’中的‘td’标签
tdList = tr.find_all('td')
# 第一个‘td’标签是 姓名
name = tdList[0].string
cleanStr(name)
# 第三个‘td’标签是 年份
year = tdList[2].string
cleanStr(year)
# 第四个‘td’标签是 来源
nation = tdList[3].string
cleanStr(nation)
# 第五个‘td’标签是 对应的Digital Library 的档案链接
dlLink = tdList[4].a['href']
# 把这些标签的内容放置于列表中
fellowList.append([name, year, nation, dlLink])
6. 附加题
- 这些代码可以进一步精简，但是为了增加可读性，保持一定的冗余也是好的
- 完整代码将在下一章给出
