爬虫里面，我们不可避免的要用urllib中的urlopen()方法去请求或获取一个网页的内容,这里面的区别在于urlopen打开URL网址，url参数可以是一个字符串url或者是一个Request对象，返回的是http.client.HTTPResponse对象.http.client.HTTPResponse对象大概包括read()、readinto()、getheader()、getheaders()、fileno()、msg、version、status、reason、debuglevel和closed函数，其实一般而言使用read()函数后还需要decode()函数，这里一个巨大的优势就是：返回的网页内容实际上是没有被解码或的，在read()得到内容后通过指定decode()函数参数，可以使用对应的解码方式。
接下来我们以爬取百度首页为例：
引入库
import urllib.request
方式一：使用url直接请求百度网址
def use_get1(url):
html = urllib.request.urlopen(url).read()#请求并读取
data = html.decode("utf-8") #解码
return data
#调用
url = "http://www.baidu.com"
response = use_get1(url)
print(response)
#执行 python urlopenget-1.py (在命令行中进入爬虫文件所在的目录)
方式二：使用 Request 对象并设置请求头
def user_get2(url):
req = urllib.request.Request(url)
#添加请求头
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36")
html = urllib.request.urlopen(req).read()#读取
#写入文件中
with open("C:\\Users\\Administrator\\Desktop\\feiniu\\lcy.html", "wb") as f:
f.write(html)
#调用
url = "http://www.baidu.com"
user_get2(url)
带有关键字查询的get请求
def use_get_key(url, key):
new_url = url + urllib.request.quote(key) #对关键字部分进行编码
req = urllib.request.Request(new_url)
#添加请求头
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36")
html = urllib.request.urlopen(req).read()
#写入文件
with open("C:\\Users\\Administrator\\Desktop\\feiniu\\yin.html", "wb") as f:
f.write(html)
#调用
url = "http://www.baidu.com/s?wd="
key = "飞牛冲天"
use_get_key(url, key)
