爬取网页的通用代码框架
Requests库的异常
image.png
image.png
爬取网页的通用代码框架
import requests
def getHTMLText(url):
try:
r=requests.get(url,timout=30)
r.raise_for_status()#如果状态不是200，引发HTTPError异常
r.encoding=r.apparent_encoding
return r.text
except:
return "产生异常"
if __name__ =="_main_":
url="http://www.baidu.com"
print(getHTMLText(url))
协议
HTTP
http://host[:port][path]
host:合法的internet主机域名或IP地址
port:端口号，缺省端口为80
path:请求资源的路径
http url:相当于存取资源的Internet路径，一个URL对应一个数据资源
image.png
PATCH强调的是局部
PUT强调的是全部
HTTP协议对资源的操作
image.png
实例
向URL POST一个字典自动编码为form（表单）
image.png
向URL POST一个字符串自动编码为data
image.png
