今天的Demo假设我们想把一个网页中所有的链接地址提取出来。
比如，要获取"https://www.jianshu.com/"网页上的所有链接，我们可以通过如下程序实现：
import re
import urllib.request
import urllib.error
def get_link(url):
#伪装成浏览器,在浏览器调试模式下可得到信息，例子为QQ浏览器
headers = ("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400")
#创建opener对象
opener = urllib.request.build_opener()
#加入头部信息
opener.addheaders = [headers]
#将opener安装为全局变量
urllib.request.install_opener(opener)
#打开网页并读取信息
html_info = urllib.request.urlopen(url).read()
#转换为字符串
html_info = str(html_info)
#根据需求构建好链接表达式，过滤所需的网址信息
pat = '(https?://[^\s)";]+\.(\w|/)*)'
link = re.compile(pat).findall(html_info)
# 去除重复元素
link = list(set(link))
return link
#要爬取的网页链接
url = "https://www.jianshu.com/"
#获取对应网页中包含的链接地址
link_list = get_link(url)
#通过for循环分别遍历输出获取到的链接地址到屏幕上
for link in link_list:
#link为一个元组
print(link)
#提取link的第一个元素
print(link[0])
其实连接和图片的抓取原理都是相同的，只不过在于信息的提取，正则表达式的编写。
