最近被一个ip池搞的有点崩...
一个活生生的到手的ip隔几秒钟就挂掉了..
不知道什么情况...
先把锅丢给苏男神让他慢慢 debug去...
python的Multiprocess算是一个不错的库了.
然后IP池推荐一下https://github.com/jhao104/proxy_pool
封装的很好,首先数据库既提供了SSDB也提供了REDIS的接口,甚至还自己写了个自动检验应该用哪个...
里面用了很多高深的技术,例如meta class...
大概我也就只能勉勉强强看懂= =
另外代码写的优美看的是真的享受!!!
今天胖哥把爬虫代码给我的时候我是崩溃的!!
image.png
image.png
.]
...
给你们参考一下...
简直天了个噜了...
写个if name=="main" 会掉几斤肉嘛?
封装个类的api接口会麻烦多少嘛?
将一些xpath做成一个list或者dict看着不会更舒服嘛?
我的天啦!
看他这一页的代码
比我看那ip池8,9 个文件还费劲,,
大家一定要杜绝如此歪风邪气
写优美的代码hhhh
