Python 代理IP检测 匿名性 有效性

作为一个python小白,到处踩坑是家常便饭,经常为了一个问题,花费几个小时,到处百度,谷歌找解决方案。有些问题对很多IT高手来说是小儿科的事儿,不屑去写,所以每次翻看了几十篇文章才终于找到自己想要的答案,运行成功的那一刹那,真的泪流满面啊。次数多了,也就有了想把遇到的坑写下来,留个纪念的想法。

Python一大功能就是写爬虫,使用代理IP,是绕不过的坑,代理IP除了使用有效性以外,最重要的一点就是匿名性,碰到透明代理,把你的信息全部转发出去,就一点意义都没有了。

以下这个检测方法原理是通过代理连接http://icanhazip.com/这个网站,通过网站返回的值与使用的代理IP做比较来确定是否匿名。

连接icanhazip网站,返回IP地址,如图所示:


微信图片_20190324191432.png

此处的坑是:网站返回的信息除了代理IP,还有一行空行,需要使用strip()函数去除空行

写法一
代理IP来源:自建IP代理池
数据格式:TXT格式
每次提取数量:随机提取1个
代码如下:

def confirm(self):
    url = "http://XXX.XXX.XXX.XXX:5010/get/" #自建代理IP池提取的IP,可以替换成自己的。
    r = requests.get(url).text  #获得代理IP
    print(r)
    proxy_info = r.split(':') #把IP和PORT拆分,生成列表
    print(proxy_info)
    proxy_ip = proxy_info[0] #从列表中,取第一个值作为IP
    proxy_port = proxy_info[1] #从列表中,取第二个值作为PORT
    thisProxy = "http://" + proxy_ip + ':' + str(proxy_port)
    # 使用取出的IP和PORT,重组成完整的代理
    print(thisProxy)
    requests.adapters.DEFAULT_RETRIES = 2 #设置请求数
    nnn=requests.get(url="http://icanhazip.com/",timeout=8,proxies={"http":thisProxy}).text
    #通过代理IP发出连接请求
    return_info=nnn.strip()
    #网站返回具体信息(IP),此处有坑!ICANHAZIP网站返回的信息除了IP,还会多一行空行,需要strip()函数去除空行
    print(return_info)
    if proxy_ip == return_info:
    #用代理IP(不含PORT)和返回的IP做比较,一致为有效,否则为无效
        print("代理IP:'" + thisProxy + "'有效!")
    else:
        print("代理IP无效!")

执行结果如下:


微信截图_20190324193722.png

写法二:
代理IP来源:某收费代理
数据格式:JSON格式
每次提取数量:随机提取1个
代码如下:

def confirm(self):
    url = "http://XXX.XXXXX.XXXXXX.com/proxy/api/get_ip_bs?appKey=14737f96f82b4f4b94c0876f0f922262&count=1&expiryDate=0&format=1&newLine=2"
    r = requests.get(url)
    print(r.text)
    proxy_ip = r.json()['msg'][0]['ip']
    print(proxy_ip)
    proxy_port = r.json()['msg'][0]['port']
    thisProxy = "http://" + proxy_ip + ':'+ str(proxy_port)
    print(thisProxy)
    requests.adapters.DEFAULT_RETRIES = 3
    nnn=requests.get(url="http://icanhazip.com/",timeout=8,proxies={"http":thisProxy}).text
    return_info=nnn.strip()
    print(return_info)
    if proxy_ip == return_info:
        print("代理IP:'" + thisProxy + "'有效!")
    else:
        print("代理IP无效!")

为了查看每步代码的正确性,多处使用print()打印结果,代码也未优化,只提供了思路,实际使用可以自行调整优化,希望能给大家带来帮助。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,830评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,992评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,875评论 0 331
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,837评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,734评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,091评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,550评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,217评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,368评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,298评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,350评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,027评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,623评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,706评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,940评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,349评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,936评论 2 341

推荐阅读更多精彩内容

  • Swift1> Swift和OC的区别1.1> Swift没有地址/指针的概念1.2> 泛型1.3> 类型严谨 对...
    cosWriter阅读 11,076评论 1 32
  • 名词延伸 通俗的说,域名就相当于一个家庭的门牌号码,别人通过这个号码可以很容易的找到你。如果把IP地址比作一间房子...
    杨大虾阅读 20,576评论 2 57
  • 网络 理论模型,分为七层物理层数据链路层传输层会话层表示层应用层 实际应用,分为四层链路层网络层传输层应用层 IP...
    FlyingLittlePG阅读 745评论 0 0
  • v . 当纽约时报的记者杰森·布莱尔被发现,他的报道剽窃其他记者,并且在报道中,伪造引文和详细资料时,布莱尔带着耻...
    毛旭天阅读 225评论 0 0
  • 今天参加了书友会的活动,这一期共读书目是木心的《哥伦比亚的倒影》。 从题目看是猜不到内容写什么的,并且一开始我以为...
    鹅鹅鹅鹅鹅鹅阅读 608评论 0 0