获取代理直接使用了Github上的proxy_pool。
将代码包下载下来并解压。
首先要安装好基于python的支持库,可以如同README.md中的指令一样,在cmd中使用指令pip install -r requirements.txt一键安装,也可以一个一个安装所需要的库——这样可以获得最新的库——亲测没有版本适配问题。
修改项目文件Config/setting.py如:
127.0.0.1代表本地服务器/容器
还可以选择提供代理的网站,依情况可以将最后几个取消注释:
随后在cmd中进入RUN目录,使用python运行main.py就开始获取代理了,那一行红字应该可以无视:
除非被强制中断,程序会一直进行下去。怎么查看已经获取的代理呢?Github上有一款叫做RedisClient的图形界面可以很方便地查看Redis的状态。RedisClient的Github主页上提供了exe和jar两种环境的程序,选择一种下载下来直接运行,填写好容器名、主机名和端口(教程中未设定密码)就可以查看Redis状态了:
可以发现数据库中有raw和useful两种类型的代理,并且数目在不断发生着变化。说明程序在持续获取、验证、更新代理池中的代理。