最近买了本英语单词书要下载音频，数量多下起来麻烦所以打算用爬虫来实现。网页如下：
http://download.dogwood.com.cn/online/stgdlx/index.html
第一步：获取网页信息
利用requests库实现一个获取网页信息的通用函数。
def get_url(url):
获取网页信息，url:网页链接
try:
html = requests.get(url, headers=headers, timeout=30) # 用requests库向网页发送get请求
html.raise_for_status() # 访问失败时raise状态码
html.encoding = html.apparent_encoding # 用requests库判断的编码格式解码
return html
except:
print('fail')
get方法中的headers是访问时的http请求头，它是一个字典，用来伪装我们的爬虫，在浏览器开发者工具界面network中的request headers中可以找到当前浏览器的请求头。
headers = {'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'}
timeout则是设置的最长响应时间。
第二步：从网页信息里定位音频链接
通过request.get()得到的html对象有一个text属性，打印它就能看到网页的源码。当然也可以直接在浏览器的开发者选项中查看源码。
print(html.text)
接下来就是从在源码中找到音频的链接了，可以看到所有的音频链接都在属性为"info"的div标签中。
然后就到了BeautifulSoup登场的时候了，它是一个用于解析HTML的库。首先将网页源码实例化为一个BeautifulSoup对象。
soup = BeautifulSoup(text, "html.parser") # 实例化网页代码为bs对象
使用find_all方法得到所有class="info"的div标签列表。
div = soup.find_all('div', attrs={'class' : 'info'}) # 找到所有class=info的div标签内容
对列表中的元素找到第一个a标签的herf属性就是需要的链接了
for elem in div:
link = elem.find('a')['href'] # 找到每个音频链接
第三步，根据链接下载内容
下载还是用requests库实现，调用第一步的get_url()函数，返回的requests对象有个content属性，他就是二进制形式的网页内容，所以下载的实现方法如下：
link = get_url(link)
with open(filepath + str(i) + '.mp3', 'wb') as f:
f.write(link.content)
完整代码
import requests
from bs4 import BeautifulSoup
link = 'http://download.dogwood.com.cn/online/stgdlx/index.html'
filepath = r'F:/'
headers = {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'}
def get_url(url):
# 获取网页信息，url:网页链接
try:
html = requests.get(url, headers=headers, timeout=30) # 用requests库向网页发送get请求
html.raise_for_status() # 访问失败时raise状态码
html.encoding = html.apparent_encoding # 用requests库判断的编码格式解码
return html
except:
print('fail')
def find_mp3(text):
soup = BeautifulSoup(text, "html.parser") # 实例化网页代码为bs对象
div = soup.find_all('div', attrs={'class' : 'info'}) # 找到所有class=info的div标签内容
for elem in div:
link = elem.find('a')['href'] # 找到每个音频链接
link = get_url(link)
with open(filepath + str(i) + '.mp3', 'wb') as f:
f.write(link.content)
text = get_url(link).text
find_mp3(text)
