Requests是python的一个HTTP客户端库，跟python内置的urllib，urllib2类似，那为什么要用requests而不用urllib2呢？官方文档中是这样说明的：
python的标准库urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一个简单的功能就需要一大堆代码。
废话不多说，直接开始。
如果你还没用安装的话，你需要先安装，我的Mac系统使用pip3 install requests，其他系统请自行百度。
安装之后我们看下几个常用的方法，体验一下Requests的方便之处。
一、发送请求
1、发送一个get请求
import requests
response = requests.get('https://book.douban.com/')
2、发送一个post请求
import requests
r = requests.post('http://httpbin.org/post', data = {'key':'value'})
3、发送其他 HTTP 请求类型：PUT，DELETE，HEAD 以及 OPTIONS
>>> r = requests.put('http://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('http://httpbin.org/delete')
>>> r = requests.head('http://httpbin.org/get')
>>> r = requests.options('http://httpbin.org/get')
4、在url里构建传递参数，例如，http://bin.org/get?key=val。 Requests 允许你使用 params 关键字参数，以一个字符串字典来提供这些参数
举个栗子:
payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get("http://httpbin.org/get", params=payload)
通过打印输出该 URL，你能看到 URL 已被正确编码：
print(r.url)
>>> http://httpbin.org/get?key2=value2&key1=value1
还可以将一个列表作为值传入
>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
>>> r = requests.get('http://httpbin.org/get', params=payload)
>>> print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3
二、获取响应内容
requests发送请求之后返回一个Respone对象,我们可以从Respone对象中获取像status_code、url、encoding、text、content、json、raw、headers、cookies、raw、
import requests
response = requests.get('https://book.douban.com/')
print(response)
>>> <Response [200]>
| key | 对应内容 |
|---|---|
| status_code | 状态码, |
| url | 经request构建之后的url, 通过 r.url获得 |
| encoding | 获取响应内容的编码方式，通过 r.encoding获得，我们还可以设置编码方式r.encoding = 'utf-8' |
| text | 响应的文本形式内容，通过 r.text获得 |
| content | 响应的二进制形式内容,比如图片、音视频等，可以把图片写入本地进行存储，通过 r.content获得 |
| json | 响应的json形式内容,通过r.json()获取 |
| raw | 响应的原始内容 |
| headers | 请求头内容 |
| cookies | cookies内容，栗子: r.cookies['example_cookie_name'] |
| request.headers | 请求头内容，通过r.request.headers获取 |
| headers | 响应头内容, 通过r.headers获取，注意和请求头区分 |
| ..... | 未完待续... |
三、定制特殊参数
我们还可以在发送请求时进行一些特殊配置，比如配置请求头的user-agent 、cookies 等内容，也可以设置超时时间timeout，配置代理proxies，由于大部分网站都有反爬措施，这些设置在进行爬虫操作时就显得很重要了。
1、定制请求头headers。
伪装请求头部是爬虫(采集)时经常用的
payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get("http://httpbin.org/get", params=payload)
print( r.request.headers['User-Agent']) #打印
>>> python-requests/2.18.4 #此处打印的内容为request自带的'User-Agent'，可能会被网站限制，下面我们伪装为浏览器访问
headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get("http://httpbin.org/get", params=payload, headers=headers)
print(r.request.headers['User-Agent'])
>>> Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36
2、代理访问。
采集时为避免被封IP，经常会使用代理。requests也有相应的proxies属性。
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://www.zhidaow.com", proxies=proxies)
如果代理需要账户和密码，则需这样：
proxies = {
"http": "http://user:pass@10.10.1.10:3128/",
}
3、设置超时时间
requests.get('http://github.com', timeout=10)
4、设置cookies
又一个栗子走起:
发送一个含有代理ip和带参数的post请求，然后打印出返回内容，
proxies = {
"http": 'http://101.236.23.202:8866',
"https": 'https://221.1.205.74:8060',
}
data = {
'name':'jack',
'age':'23'
}
r = requests.post("http://httpbin.org/post", proxies=proxies, data=data)
print(r.text)
结果看下面截图
22222.png
