在编写爬虫进行网页数据,有时候需要添加请求头,去找并添加很麻烦。下面介绍一个python下非常好用的伪装请求头的库:fake-useragent,具体使用说明如下:
安装: pip install fake-useragent
获取各个浏览器的headers:
from fake_useragent import UserAgent
ua=UserAgent() #实例化
print(ua.chrome) #获取谷歌浏览器的headers,每次打印结果是不一样的
#请求头就可以写成
headers={"User-Agent":ua.random}