概要
了解了爬虫原理和网页构造后，我们知道了爬虫的任务就是两件事：请求网页和解析提取信息。
主要涉及的知识点如下：
- Python第三方库：学会Python第三方库的概念及安装方法
- Requests库：学会Requests库的使用原理和方法
- BeautifulSoup库：学会BeautifulSoup库的使用原理和方法
- Requests 和 BeautifulSoup库组合使用：通过最后给出的实例，演示如何利用这两大库进行爬虫的方法和技巧。
正文
1. Python第三方库
1.1 Python第三方库的概念
Python之所以强大并逐渐流行起来，一部分原因要归功于Python强大的第三方库。这样用户就不用了解底层的思想，用最少的代码写出最多的功能。
就像制造自行车一样，需要：
- 铁矿石
- 橡胶
- 扳手等工具
如果没使用第三方库的话，就需要从原始材料开始，一步步制造下去，一个车轮子都不知道要造多久呢！而使用第三方库就不一样了，车轮子和车身都已经制造好了，拼接一下就可以使用了。这种拿来即用的就是Python第三方库。
1.2 Python第三方库的安装方法
安装步骤以Windows 7 系统为准
在Pycharm中安装
打开Pycharm，在菜单栏中选择File|Default Settings命令。
在弹出的对话框中选择左侧的Project Interpreter选项，在窗口右方选择Python环境。
单击加号按钮添加第三方库。
输入第三方库名称，选中需下载的库。
勾选Install to users site复选框，然后单击Install Package按钮。
在安装完成后，Pycharm会有成功提示。
1.3 Python第三方库的使用方法
当成功安装Python第三方库后，就可通过下面的方法导入并使用第三方库了。
import xxxx
#xxxx为导入的库名，例如import requests
注意： 导入BeautifulSoup库的写法为 from bs4 import BeautifulSoup
2. 爬虫三大库
讲过了Requests、Lxml和BeautifulSoup库的安装后，将依次讲解各个库的说明和使用方法。
2.1 Requests库
Requests库的官方文档指出，让HTTP服务人类。Requests库的作用就是请求网站获取网页数据的，让我们从简单的实例开始，讲解Requests库的使用方法。
import requests
res = requests.get("http://bj.xiaozhu.com/")
print(res)
#<Response [200]>,说明请求网址成功。
print()
print(res.text)
#如下图所示结果
这时，打开Chrome浏览器，进入http://bj.xiaozhu.com/，在空白处右击，在弹出的快捷菜单中选择“查看网页源代码”命令，可以看到代码返回的结果就是网页的源代码。
有时爬虫需要加入请求头来伪装成浏览器，以便更好地抓取数据。在Chrome浏览器中按F12键打开Chrome开发者工具，刷新网页后找到User-Agent进行复制，如下图：
import requests
headers = {
'User-Agent': 'Mozilla/5.0 '
'(Windows NT 6.1; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/69.0.3497.100 Safari/537.36'}
res = requests.get("http://bj.xiaozhu.com/", headers=headers)
# get方法加入请求头
print(res)
print()
print(res.text)
Requests库不仅有get()方法，还有post()等方法。post()方法用于提交表单来爬取需要登录才能获得数据的网站。学习get()方法足够我们爬取大部分的网站了。
Requests库请求并不会“一帆风顺”，当遇到一些情况时，Requests库会抛出错误或者异常，Requests库的错误和异常主要有以下4种。
Requests抛出一个
ConnectionError异常，原因为网络问题（如DNS查询失败、拒绝连接等）Response.raise_for_status()抛出一个HTTPError异常，原因为HTTP请求返回了不成功的状态码（如网页不存在，返回404错误）
Requests抛出一个Timeout异常，原因为请求超时。
Requests抛出一个TooManyRedirects异常，原因为请求超过了设定的最大重定向次数。
所有Requests显示抛出的异常都继承自requests.exceptions.RequestException，当发现这些错误或异常进行代码修改重新再来时，爬虫的程序又开始重新运行了，爬取到的数据又会重新爬取一次，这对于爬虫的效率和质量来说都是不利的。这时，便可通过Python中的try来避免异常了，具体使用方法如下：
import requests
headers = {
'User-Agent': 'Mozilla/5.0 '
'(Windows NT 6.1; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/69.0.3497.100 Safari/537.36'}
res = requests.get("http://bj.xiaozhu.com/", headers=headers)
# get方法加入请求头
try:
print(res.text)
except ConnectionError:
print("拒绝连接")
通过try和except，如果请求成功了，会打印网页的源代码。如果请求出现了ConnectionError异常，则会打印“拒绝连接”，这样程序就不会报错，而是给编程者一个提示，不会影响下面代码的运行。
2.2 BeautifulSoup库
BeautifulSoup库是一个非常流行的Python模块。通过BeautifulSoup库可以轻松地解析Requests库请求的网页，并把网页源代码解析成Soup文档，以便过滤提取数据。
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 '
'(Windows NT 6.1; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/69.0.3497.100 Safari/537.36'}
res = requests.get("http://bj.xiaozhu.com/", headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
# 对返回的结果进行解析
print(soup.prettify())
输出的结果如下图所示：
看上去与Requests库请求返回的网页源代码类似，但通过BeautifulSoup库解析得到的Soup文档按照标准缩进格式的结构输出，为结构化的数据，为数据的过滤提取做好准备。
BeautifulSoup库除了支持Python标准库中的HTML解析器外，还支持一些第三方的解析器。
如下列出了BeautifulSoup库的主要解析器及相应的优缺点。
| 解析器 | 使用方法 | 优点 | 缺点 |
|---|---|---|---|
| Python标准库 | BeautifulSoup(markup,"html.parser") | Python的内置标准库执行速度适中，文档容错能力强 | Python2.7.3 or Python 3.2.2前的版本中文档容错能力差 |
| lxml HTML解析器 | BeautifulSoup(markup,"lxml") | 速度快,文档容错能力强 | 需要安装C语言库 |
| Lxml XML解析器 | BeautifulSoup(markup,["lxml","xml"]) BeautifulSoup(markup,"xml") | 速度快，唯一支持XML的解析器 | 需要安装C语言库 |
| html5lib | BeautifulSoup(markup,"html5lib") | 最好的容错性，以浏览器的方式解析文档，生成HTML5格式的文档 | 速度慢，不依赖外部扩展 |
注意： BeautifulSoup库官方推荐使用
lxml作为解析器，因为效率更高。
解析得到的Soup文档可以使用find()和find_all()方法及selector()方法定位需要的元素了。
find()和find_all()两个方法用法相似，BeautifulSoup文档中对这两个方法的定义是这样的：
find_all(name=None, attrs={}, recursive=True, text=None,limit=None, **kwargs)
find(name=None, attrs={}, recursive=True, text=None,**kwargs):
常用的是前两个参数，熟练运用这两个参数，就可以提取出想要的网页信息。
1.find_all()方法
soup.find_all('div', 'item')
# 查找div标签，class="item"
res = soup.find_all('div', attrs={"class": "item"})
# attrs参数定义一个字典参数来搜索包含特殊属性的tag
2.find()方法
find()方法与find_all()方法类似，只是
find_all()方法返回的是文档中符合条件的所有Tag，是一个集合（class 'bs4.element.ResultSet'）
find()方法返回的是一个Tag（class 'bs4.element.Tag'）
3.selector()方法
soup.select(div.item > a > h1)
# 括号内容通过Chrome复制得到
该方法类似于中国>江苏省>泰兴市，从大到小，提取需要的信息，这种方式可以通过Chrome复制得到，如下图：
（1）鼠标定位到想要提取的数据位置，右击，在弹出的快捷菜单中选择“检查”命令。
（2）在网页源代码中右击所选元素
（3）在弹出的快捷菜单中选择Copy selector。这时便能得到：
#page_list > ul > li:nth-child(1) > div.result_btm_con.lodgeunitname > span.result_price > i
通过代码即可得到房子价格：
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 '
'(Windows NT 6.1; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/69.0.3497.100 Safari/537.36'}
res = requests.get("http://bj.xiaozhu.com/", headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
res = soup.select('#page_list > ul > li:nth-child(1) > div.result_btm_con.lodgeunitname > span.result_price > i')
# 定位元素位置并通过select方法提取
print(res)
注意：
li:nth-child(1)在Python中运行会报错，需改为li:nth-of-type(1)
此时的li:nth-of-type(1)为选择的一个价格，为了做短租房的平均价格分析，当然是要把所有的房租价格全部提取出来。把selector改为：
# page_list > ul > li > div.result_btm_con.lodgeunitname > span.result_price > i
就可以得到整个页面的所有价格，这样提取的信息为列表，可以通过循环分别打印出来也可以存储起来。
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 '
'(Windows NT 6.1; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/69.0.3497.100 Safari/537.36'}
res = requests.get("http://bj.xiaozhu.com/", headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
prices = soup.select('#page_list > ul > li > div.result_btm_con.lodgeunitname > span.result_price > i')
# 此时prices为列表，需循环遍历
for price in prices:
print(price)
读者会发现，提取的信息为<i>328</i>这种标签，而我们只需要其中的数据，这时用get_text()方法即可获得中间的文字信息。
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 '
'(Windows NT 6.1; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/69.0.3497.100 Safari/537.36'}
res = requests.get("http://bj.xiaozhu.com/", headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
prices = soup.select('#page_list > ul > li > div.result_btm_con.lodgeunitname > span.result_price > i')
# 此时prices为列表，需循环遍历
for price in prices:
print(price.get_text())
这时程序就已经爬取了一页中所有的房价信息，这时就需要构造URL列表。
2.3 Lxml库
Lxml库是基于libxml2这一个XML解析库的Python封装。该模块使用C语言编写，解析速度比BeautifulSoup更快，具体在后面讲到。
3.综合案例1----爬取北京地区短租房信息
利用Requests和BeautifulSoup第三方库，爬取小猪短租网北京地区租房的信息。
3.1爬虫思路分析
（1）爬取小猪短租网北京地区短租房13页的信息。通过手动浏览，以下为前4页的网址：
http://bj.xiaozhu.com
http://bj.xiaozhu.com/search-duanzufang-p2-0/
http://bj.xiaozhu.com/search-duanzufang-p3-0/
http://bj.xiaozhu.com/search-duanzufang-p4-0/
然后把第一页的网址改为http://bj.xiaozhu.com/search-duanzufang-p1-0/后也能正常浏览，因此只需更p后面的数字即可，以此来构造出13页的网址。
（2）本次爬虫在详细页面中进行，因此需要先爬取进入详细页面的网址链接，进而爬取数据。
（3）需要爬取的信息有：标题，地址，价格，房东名称，房东性别和房东头像的链接。如下图：
3.2 爬虫代码及分析
爬虫代码如下：
import requests
from bs4 import BeautifulSoup
import time
# 导入相应的库文件
# 加入请求头
headers = {
'User-Agent': 'Mozilla/5.0 '
'(Windows NT 6.1; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/69.0.3497.100 Safari/537.36'}
def judgment_sex(class_name):
# 定义判断用户性别的函数
if class_name == 'member_ico1':
return '女'
else:
return '男'
def get_links(url):
# 定义获取详细页URL的函数
wb_data = requests.get(url, headers=headers)
soup = BeautifulSoup(wb_data.text, "lxml")
links = soup.select("#page_list > ul > li > a")
# links为URL列表
for link in links:
href = link.get("href")
# print(href)
get_info(href)
time.sleep(0.5)
def get_info(url):
wb_data = requests.get(url, headers=headers)
soup = BeautifulSoup(wb_data.text, "lxml")
titles = soup.select("div.pho_info > h4 ")
# print(titles[0].get_text().strip())
addresses = soup.select('div.pho_info > p > span')
# print(addresses[0].get_text())
prices = soup.select('div.day_l > span')
# print(prices[0].get_text())
imgs = soup.select('div.member_pic > a > img')
# print(imgs[0].get('src'))
names = soup.select('div.w_240 > h6 > a')
# print(names[0].get_text())
sexs = soup.select('div.member_pic > div')
# print(sexs[0].get('class')[0])
# 性别返回的是两种结果：member_ico,member_ico1
for title, address, price, img, name, sex in zip(titles, addresses, prices, imgs, names, sexs):
# print(title.get_text())
# print(address)
# print(price)
# print(img)
# print(name)
# print(sex)
data = {'title': title.get_text().strip(),
'address': address.get_text().strip(),
'price': price.get_text(),
'img': img.get('src'),
'name': name.get_text(),
'sex': judgment_sex(sex.get('class')[0])
}
print(data)
# get_links("http://bj.xiaozhu.com/")
# get_info('http://bj.xiaozhu.com/fangzi/31531500903.html')
if __name__ == '__main__':
# 为程序的主入口
urls = ['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(number) for number in range(1, 14)]
# 构造多页URL
# print(urls)
for single_url in urls:
get_links(single_url)
time.sleep(1)
代码分析：
（1）第1~3行导入程序需要的库，Requests库用于请求网页获取网页数据。BeautifulSoup用于解析网页数据。time库的sleep方法可以让程序暂停。
（2）第5~8行通过Chrome浏览器的开发者工具，复制User-Agent，用于伪装为浏览器，便于爬虫的稳定性。
（3）第16~22行定义了get_links()函数，用于获取进入详细页的链接。
传入URL后，进行请求和解析。通过Chrome浏览器的“检查”并“Copy selector”，可以找到进入详细页的URL链接，但URL链接并不是嵌套在标签中，而是在标签的属性信息中，如下图：
前面说到可用get_text()方法获取标签中的文本信息，但标签中的属性信息需要通过get("attr")方法获取得到，URL链接在href中，这时用get("href")便可得到网页的URL.
最后调用get_info()函数，传入的参数为获取到的网页详细页的链接。
（4）第24~42行定义get_info()函数，用于获取网页信息并输出信息。
传入URL后，进行请求和解析。通过Chrome浏览器的“检查”并“Copy selector”，获取相应的信息，由于信息数据为列表数据结构，可以通过多重循环，构造出字典数据结构，输出并打印出来。
注意：字典中的sex调用了
judgment_sex()函数。
（5）第10~14行定义judgment_sex()函数，用于判断房东的性别。
def judgment_sex(class_name):
# 定义判断用户性别的函数
if class_name == 'member_ico1':
return '女'
else:
return '男'
如下图所示，可以看出房东的性别区分
在图中所示位区域通过Chrome浏览器的“检查”可以发现，女房东的信息为<div class="member_ico1"></div>，男房东的信息为<div class="member_ico"></div>，这时就可以通过class属性来判断房东的性别。
（6）第44~49行为程序的主入口，通过对网页URL的观察，利用列表的推导式构造13个URL，并依次调用get_links()函数，time.sleep(2)的意思是每循环一次，让程序暂停2s，防止请求网页频率过快而导致爬虫失败。
4.综合案例2----爬取酷狗TOP500的信息
利用Requests和BeautifulSoup第三方库，爬取酷狗网榜单中酷狗TOP500的信息。
4.1 爬虫思路分析
（1）爬取的内容为酷狗网榜单中酷狗TOP500的音乐信息，如下图：
（2）网页版酷狗不能手动翻页进行下一步的浏览，但通过观察第一页的URL：http://www.kugou.com/yy/rank/home/1-8888.html?from=rank
这里尝试把数字1换为数字2，再进行浏览，恰好返回的是第2页的信息，如下图。
进行多次尝试后，发现更换不同的数字即为不同页面，因此只需更改home/后面的数字即可。由于每页显示的为22首歌曲，所以总共需要23个URL。
（3）需要爬取的信息有排名情况、歌手、歌曲名和歌曲时间，如下图：
4.2 爬虫代码及分析
import requests
from bs4 import BeautifulSoup
import time
# 导入相应的库文件
# 加入请求头
headers = {
'User-Agent': 'Mozilla/5.0 '
'(Windows NT 6.1; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/69.0.3497.100 Safari/537.36'}
def get_info(url):
# 定义获取信息的函数
wb_data = requests.get(url, headers=headers)
soup = BeautifulSoup(wb_data.text, "lxml")
ranks = soup.select("#rankWrap > div.pc_temp_songlist > ul > li > span.pc_temp_num")
# print(ranks[0].get_text())
titles = soup.select('#rankWrap > div.pc_temp_songlist > ul > li > a')
# print(titles[0].get('title').strip())
times = soup.select('#rankWrap > div.pc_temp_songlist > ul > li > span.pc_temp_tips_r > span')
# print(times[0].get_text().strip())
for rank, title, time in zip(ranks, titles, times):
data = {'rank': rank.get_text().strip(),
'singer': title.get_text().strip().split('-')[0],
'song': title.get_text().strip().split('-')[1],
'time': time.get_text().strip(),
}
print(data)
# get_info('http://www.kugou.com/yy/rank/home/1-8888.html?from=rank')
if __name__ == '__main__':
# 为程序的主入口
urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format(number) for number in range(1, 24)]
# 构造多页URL
# print(urls)
for single_url in urls:
get_info(single_url)
time.sleep(1)
