昨天闲来无事，实现了一个代理工厂，该程序自动从网上抓取免费代理（实现了9个代理网站哦）,并对代理的可用性和匿名性进行检查，同时定时检查有效代理和无效代理，对于多次检查始终无效的代理，做放弃处理。同时检查函数可以自定义指定，用来针对不同的检查结果做出不同的反应。当然代理网站也可以自定义，简单的几行代码几条配置信息，实现最大限度的free-style。
网上抓取免费代理的小程序已经很多了，那为什么我还要写呢，原因只有一个，用起来简单，免费代理这东西，你指望他用来看电影，就是扯蛋，网速都贼慢。说白了，用他只是为了提供给我们广大程序员一个可用ip罢了，那么这个程序肯定是程序员怎么用起来方便怎么写。pip一键安装，守护进程的方式启动，剩下的不需要你操心了，直接去redis中获取有效代理即可。
原理什么的不讲了，都差不多，直接说使用方法
使用docker一键启动！
docker run -d -e REDIS_HOST=192.168.200.150 cnaafhvk/proxy-factory product start
如果你不喜欢用docker的话，那么请往下看。
安装
# python3 以上版本
pip install proxy-factory
# 依赖 redis(必须), tesseract-ocr（可选）
运行
product start
1分钟后看看你本地redis中good_proxies字段，是不是已经有了不少代理？
超简单有木有
但是！
理想很丰满，现实很骨感。如果你运气好一个坑都没有踩到，那么请点右上角（或左上角）x，我们下次再见。但是我很清楚，99%的盆友都会遇到各种安装坑，所以如何躲坑也是我下面即将讲述的重点，支起耳朵来吧！
首先
程序使用到了redis做为存储，如果你电脑上正好安装有redis同时也启动着，那么恭喜你，这个坑不会撂倒你。如果没有，那么请安装
#ubutnu & pi
apt-get install redis-server
其它平台请自行google。
其次
程序使用到了 tesseract-ocr 这个google开源的验证码识别程序，代理网站mimvp很坑爹，端口使用图片，于是乎只能机器识别了。当然，不安装ocr也没有关系，无非放弃这个网站喽。
#ubutnu & pi
apt-get install tesseract-ocr
最后
还是上面那个垃圾网站的坑，因为要识别验证码，我对图片进行了处理，所以需要pillow，pillow的安装请自行查看pillow官网，如果想放弃这个网站，打开我的源码，把这个网站相关的代码注释掉即可。
如果你是windows平台，相信我，千万坑总有一个能把你撂倒，珍爱生命，远离windows。
好了，坑讲解完毕。
下面讲启动方式。
启动方式
程序虽小，功能挺全。
先贴下指令
usage: proxy factory [-h] [-s SETTINGS] [-cm CHECK_METHOD] [-sm SPIDER_MODULE]
[-d]
[{stop,start,restart,status}]
positional arguments:
{stop,start,restart,status}
optional arguments:
-h, --help show this help message and exit
-s SETTINGS, --settings SETTINGS
local settings.
-cm CHECK_METHOD, --check-method CHECK_METHOD
proivde a check method to check proxies.
eg:module.func
-sm SPIDER_MODULE, --spider-module SPIDER_MODULE
proivde a module contains proxy site spider methods.
eg:module
-d, --daemon
####################################################################
- product start： 程序开始(阻塞式)
- product -d start: 程序开始(守护进程模式)
- product restart 程序重启(守护进程模式)
- product stop 程序关闭(守护进程模式)
- product status 程序状态(守护进程模式)
- product -s localsettings 指定一个自定义配置模块。(只要在sys.path中就可以找到)
- product -cm check-method 指定一个自定义检查方法。(只要在sys.path中就可以找到)
- product -sm spider-module 指定一个自定义的spider模块，存放自定义的spider方法。(只要在sys.path中就可以找到)
自定义检查方法
def check(self, proxy):
"""
自义定检查方法
:param self: ProxyFactory对象
:param proxy: 代理
:return: True则代理可用，否则False
"""
import requests
resp = requests.get("http://2017.ip138.com/ic.asp", proxies={"http": "http://%s"%proxy})
self.logger.info(resp.text)
....
return resp.status_code < 300
将检查方法保存成python文件，比如check，然后-cm check.check指向他即可。
自定义代理网站
def fetch_custom(self, page=5):
"""
自定义代理网站抓取
:param self:ProxyFactory对象
:param page: 可以在里记录一些可选参数，但是方法只能接收一个必选参数
:return: set类型的代理列表，ip:port
"""
proxies = set()
url_tmpl = "http://www.kxdaili.com/dailiip/1/%d.html"
for page_num in range(page):
url = url_tmpl % (page_num + 1)
soup = BeautifulSoup(get_html(url, self.headers), "html")
table_tag = soup.find("table", attrs={"class": "segment"})
trs = table_tag.tbody.find_all("tr")
for tr in trs:
tds = tr.find_all("td")
ip = tds[0].text
port = tds[1].text
latency = tds[4].text.split(" ")[0]
if float(latency) < 0.5: # 输出延迟小于0.5秒的代理
proxy = "%s:%s" % (ip, port)
proxies.add(proxy)
return proxies
将代理网站方法保存成python文件，比如proxy_sites.py 然后-sm proxy_site指向他即可。
配置模块
REDIS_HOST = "0.0.0.0"
REDIS_PORT = 6379
# 质量不好的代理检查的时间间隔
BAD_CHECK_INTERVAL = 60
# 质量不好的代理连续检查失败次数的最大值，超过则丢弃
FAILED_TIMES = 5
# 质量好的代理检查的时间间隔
GOOD_CHECK_INTERVAL = 60
# 抓取新代理的时间间隔
FETCH_INTERVAL = 60
LOG_LEVEL = 'DEBUG'
LOG_MAX_BYTES = 1024*1024*10
LOG_BACKUPS = 5
LOG_DIR = "/home/pi/logs"
LOG_STDOUT = False
LOG_JSON = False
将配置模块信息保存成localsettings.py，然后-s 指向他就可以。同时，程序还支持环境变量配置，只要将字段保存为环境变量信息，如 export GOOD_CHECK_INTERVAL = 120，配置即可生效，优先级关系：环境变量>localsettings>defaultsettings。
redis中的状态
127.0.0.1:6379> keys *
1) "good_proxies"
2) "bad_proxies"
127.0.0.1:6379> type good_proxies
set
127.0.0.1:6379> type bad_proxies
hash
127.0.0.1:6379> smembers good_proxies
1) "110.77.227.20:51552"
2) "46.8.243.89:65205"
3) "118.193.107.175:80"
4) "223.99.214.21:53281"
5) "119.41.200.20:53281"
6) "120.198.224.7:8080"
7) "110.77.177.116:51552"
8) "36.37.219.198:53281"
9) "138.197.230.116:55555"
10) "219.138.58.59:3128"
11) "192.158.236.58:3128"
12) "58.26.10.67:8080"
13) "60.208.44.228:80"
14) "120.198.224.5:8080"
15) "103.231.218.126:53281"
16) "186.215.148.228:80"
17) "210.26.125.142:8080"
18) "31.145.111.12:65103"
19) "218.201.98.196:3128"
20) "61.160.208.222:8080"
21) "101.200.45.131:3128"
22) "120.198.224.6:8080"
23) "52.66.155.0:80"
24) "195.234.87.211:53281"
25) "192.117.146.110:80"
26) "106.14.51.145:8118"
27) "106.75.25.3:80"
28) "177.24.31.129:8080"
29) "203.153.113.226:51552"
30) "118.193.107.222:80"
31) "112.13.93.43:8088"
32) "114.215.103.121:8081"
33) "118.193.107.240:80"
34) "111.56.5.41:80"
35) "118.193.107.138:80"
36) "118.193.107.182:80"
37) "183.215.140.117:8118"
38) "110.77.227.35:51552"
39) "137.74.254.242:3128"
40) "110.77.239.184:51552"
41) "94.177.201.18:80"
42) "110.77.210.182:51552"
43) "202.51.188.170:53281"
44) "124.133.230.254:80"
45) "120.198.224.5:8088"
46) "118.193.107.180:80"
47) "121.69.45.162:8118"
48) "118.193.107.100:80"
127.0.0.1:6379>
9个代理网站，有反爬机制的只有2个，一个是mimvp，使用图片端口反爬，一个是goubanjia，使用js混淆反爬，有兴趣的可以研究一下。
欢迎交流指导
Python学习交流群：834179111，群里有很多的学习资料。欢迎欢迎各位前来交流学习。
本文转自网络 如有侵权 请联系小编删除
