# -*- coding: utf-8 -*-
import urllib2
from bs4 import BeautifulSoup
url = "http://www.ip181.com/"
# url="http://www.baidu.com/"
try:
proxy_support = urllib2.ProxyHandler({'http': '117.43.1.83'})
# 参数是一个字典{'类型':'代理ip:端口号'}
opener = urllib2.build_opener(proxy_support)
# 定制opener
opener.add_handler = [
('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')]
# add_handler给加上伪装
urllib2.install_opener(opener)
response = urllib2.urlopen(url)
html_cont = response.read()
soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8')
jw = soup.find('div',class_="col-md-12", style="font-size:16px;" )
print jw
except urllib2.URLError,e:
print e.reason
# -*- coding: utf-8 -*-
# 代理池处理
# import urllib2
# import random
# ip_list=['119.6.136.122','114.106.77.14']
# #使用一组ip调用random函数来随机使用其中一个ip
# url = "http://www.ip181.com/"
# proxy_support = urllib2.ProxyHandler({'http':random.choice(ip_list)})
# #参数是一个字典{'类型':'代理ip:端口号'}
# opener = urllib2.build_opener(proxy_support)
# #定制opener
# opener.add_handler=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')]
# #add_handler给加上伪装
# urllib2.install_opener(opener)
# response = urllib2.urlopen(url)
# print response.read().decode('gbk')
python爬虫防止被封ip代理测试
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 在编写爬虫爬取数据的时候，因为很多网站都有反爬虫措施，所以很容易被封IP，就不能继续爬了。在爬取大数据量的数据时更...
- 今天做了个随机变换IP的功能由于今天懒得写爬虫爬取西刺网 (http://www.xicidaili.com/wt...
- 【作者：0han 未经授权请不要转载】 8/29更新： 由于发现昨天的代码所爬的网站资源太少，而且没有翻页，所以换...
- 上一篇简单介绍了爬取代理ip的案例，获取到ip之后发现免费的代理ip质量不高，就得要验证这些代理ip的可用性，下面...
