Beautifulsoup主要的功能是从网页抓取数据，相对于正则表达式来说，更简便，具体实例如下：
本文的主要目的是从赛希网下载历年试题，使用Beautifulsoup之前一定要分析网页结构，soup.select和soup.find_all返回的都是列表结构，想要从列表中获取相应的数据，需要遍历列表。此处获取URL仅仅用一句话URL = soup.find_all(href=re.compile("pdf"))就能够实现。非常简便。
再标记一下enumerate()函数，函数传入的是一个序列、迭代器或其他支持迭代对象，返回的是 enumerate(枚举) 对象。
# -*- coding:utf-8 -*-
import re
import sys
import requests
from bs4 import BeautifulSoup
def Download_URL_List():
url = 'http://www.educity.cn/rk/zhenti/test/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers = { 'User-Agent' : user_agent}
try:
html = requests.get(url,headers=headers)#连接
except Exception as e:
print(e)
content = html.text#获取内容，自动转码unicode
soup = BeautifulSoup(content,"lxml")
URL = soup.find_all(href=re.compile("pdf"))
return URL
def Download_File(URL):
pattern = re.compile(r'[a-zA-z]+://[^\s]*.pdf')
for i,pdf_url in enumerate(URL):
download_url = ((pattern.search(str(pdf_url))).group(0))
req = requests.get(download_url)
string = str(i+1)+'.pdf'
with open(string,'wb') as pdf:
pdf.write(req.content)
if __name__ == '__main__':
Download_File(Download_URL_List())
