在爬虫的时候,我们要在代码中设定http请求的Header,会重复复制粘贴这种工作。我们要经常伪装不同的浏览器来欺骗服务器来完成我们的请求。最近发现了一个可以用来伪装请求Header的库,让我们从这种简单的复制粘贴中解放出来。
安装
pip install fake-useragent
浏览器的user-agent值,由于一目了然,直接上代码。
fromfake_useragentimportUserAgent
ua = UserAgent(verify_ssl=False)
print(ua.ie)
print(ua.opera)
print(ua.chrome)
print(ua.firefox)
print(ua.safari)
print(ua.random)
print(ua.random)
print(ua.random)
执行结果如下:
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 3.0)
Opera/9.80 (Windows NT 6.1; U; en-US) Presto/2.7.62 Version/11.01
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20130331 Firefox/21.0
Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.3 Safari/533.19.4
Mozilla/5.0 (Windows NT 5.1; rv:31.0) Gecko/20100101 Firefox/31.0
Mozilla/5.0 (Windows; U; Windows NT 6.0; tr-TR) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.67 Safari/537.36
具体用法大家可以自由发挥。