emm,学Python的时候看见别人写爬虫去爬表情包了,就自己也想写一个来玩。找的十个比较简单的网站。
首先肯定用到的是requests包了 import requests
中间用了正则匹配,正则的包也要一下 import re
看了一下,斗图啦的图有1700多页,构造一下url列表:
有了url,就用requests里面的get去获取页面
自己试了一下发现直接爬被forbidden了,模拟一下浏览器,加一个User-Agent,为了装得像一点,加了一些别的字段,本来还加了别的,文件类型加上gzip之后要弄解压有点烦就不弄了,别的加多了反而更容易被封,就后来删掉了
然后可以获取到页面了,东西都存在imgList里面了,处理一下,把图的信息存到txt里面
最后把范围定一下,运行
中间也遇到过一些问题,爬着爬着被禁了,爬的速度太快有被封,自己也查了一些办法,像做ip代理什么的,自己也用了随机生成User-Agent来骗它
最后试了半天,用sleep弄可以了。。很奇妙的是下午还不行的,晚上就行了,但是结果是有点慢,效率歇逼
还有一些更傻的东西。。
然后说起效率,本来想弄个多线程的,但是ip代理弄不好,还是会被封,很奇妙,读写加锁的问题也没想好,晚点看能不能把多线程的版本弄出来