1requests基本使用
主要有get/post/put三种方式，返回的是响应对象（response object）:
res = resquests.get/post/put(url,params,data,...)
对于每种方式（method），其可传递的参数包括以下 额 好多种：
| 参数 | 说明 | 煮个小栗子 |
|---|---|---|
| url | 待获取页面的url链接 | requests.get("http://tieba.baidu.com") |
| params | 将字典或字节序列作为参数添加到url中 | kw={"kw":"李毅"} requests.get(url,params=kw) # 得到的res为“http://tieba.baidu.com/f?kw=李毅” |
| data | 字典，字节序列或文件对象，作为res的内容 | 待补充 |
| headers | 字典，HTTP定制头 | header = {"User-Agent":"Mozilla/5.0"} resq.get(url,headers=header) |
| timeout | 设定超时时间，单位为秒 | |
| proxies | 字典类型，设定访问代理服务器 | proxie={"http:":"http://12.34.56.79:9527"} resq.get(url,proxies=proxie) |
| verify | 认证SSL证书开关，默认为False | |
| json | JSON格式的数据，作为resquests的内容 | |
| auth | 元祖，支持HTTP认证功能 |
1.1 基本get请求
# ===============1、基本GET请求---百度搜索页=====================
kw = {'wd':'花梨'}
res_1 = requests.get('https://www.baidu.com/',params=kw,headers=headers)
# 网页内容乱码，默认编码是ISO-8859-1，修改
res_1.encoding = 'utf-8'
# 查看返回对象类型和内容---response对象
print(type(res_1)) # <class 'requests.models.Response'>
print(res_1.text) # 返回的是Unicode格式的str数据
print(res_1.content) # 返回的是二进制字节流(bytes)数据
#查看完整url地址，，响应头部字符编码 和响应码
print(res_1.url) # https://www.baidu.com/
print(res_1.encoding) # utf-8
print(res_1.status_code) # 200
1.2 基本POST请求
对于POST请求，一般需要增加一些参数，最基本的利用data参数
# =======2、基本post请求，有道词典翻译==============
formdata = {
"type":"AUTO",
"i":"i love python",
"doctype":"json",
"keyfrom":"fanyi.web",
"ue":"utf-8",
"action":"FY_BY_ENTER",
"typeResult":"true"
}
url_2 = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc&sessionFrom=null"
res_2 = requests.post(url_2,data=formdata,headers=headers)
print(res_2.text)
print(res_2.json()) # json文件可以直接显示
1.3 与urllib urllib2的区别
- （1）输入kw等参数时
在requests中，params可以接收字典类型的参数
kw={"kw":"李毅"}
requests.get(url,params=kw) # 此时requests自动将kw自动转为url形式
但是在urllib中：
kw={"kw":"李毅"}
kw = urllib.urlencode(kw) #将字典形式转换为url编码格式（字符串）
newurl = url +"?"+ kw
- （2）返回html内容时
在得到response对象后，res可以以两种形式返回网页内容
html = res.text # 返回的是str格式的文本内容
html = res.content # 返回的是bytes格式的二进制字节流，可以用来存储图片等内容
而在urllib中，
res = urllib.request.urlopen(url) # response对象
html = res.read()
print(type(html)) # <class 'bytes'>
print(html) # bytes格式
html = html.decode() # 将bytes格式转为str
print(html) # str格式
2 XPath解析html页面
2.0 前提知识
关于DOM、HTML、XML的简单概念和关系参考我写的另一篇杂文DOM 及 HTML和XML
2.1 基本流程
从url到content.png
