一 爬虫为什么要设置代理？
写爬虫，大家都知道，抓的网站和数据多了，如果爬虫抓取速度过快，免不了触发网站的防爬机制，几乎用的同一招就是封IP。解决方案有2个：
- 1 同一IP，放慢速度(爬取速度慢)
- 2 使用代理IP访问(推荐)
第一种方案牺牲的就是时间和速度，那肯定是我们所不能忍受的。所以第二种方案是推荐的，那么从哪里能找到这么多代理IP呢？今天无意中发现了一个网站国内高匿代理IP，经测试，发现可用性蛮高的。
二 爬取代码
我用的requests和Beautifulsoup爬的，最后写入文本文件。代码如下：
import requests
import os
from bs4 import BeautifulSoup
os.chdir(r'C:\Users\Administrator\Desktop\scrapy\proxy')
headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}
url = 'http://www.xicidaili.com/nn/1'
s = requests.get(url,headers = headers)
soup = BeautifulSoup(s.text,'lxml')
ips = soup.select('#ip_list tr')
fp = open('host.txt','w')
for i in ips:
try:
ipp = i.select('td')
ip = ipp[1].text
host = ipp[2].text
fp.write(ip)
fp.write('\t')
fp.write(host)
fp.write('\n')
except Exception as e :
print ('no ip !')
fp.close()
最后类似这种
QQ截图20170228180121.png
三 代理检验
有很多ip是不可用的，我们可以检验下，代码如下：
import requests
import os
from bs4 import BeautifulSoup
os.chdir(r'C:\Users\Administrator\Desktop\scrapy\proxy')
# headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}
url = 'https://www.baidu.com'
fp = open('host.txt','r')
ips = fp.readlines()
proxys = list()
for p in ips:
ip =p.strip('\n').split('\t')
proxy = 'http:\\' + ip[0] + ':' + ip[1]
proxies = {'proxy':proxy}
proxys.append(proxies)
for pro in proxys:
try :
s = requests.get(url,proxies = pro)
print (s)
except Exception as e:
print (e)
结果如下：
QQ截图20170228180922.png
从结果看，可用的还是蛮多的。
爬虫代理上手
养兵千日用兵一时，有了代理以后，终于可以派上用场了，我把代理加到了我的爬虫中，代码如下：
def get_detail(cols,book,sheet,proxys):
index = 1
headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'}
for url in cols:
print (url)
print (random.choice(proxys))
try:
s = requests.get(url,headers = headers,proxies=random.choice(proxys))
soup = BeautifulSoup(s.text,'lxml')
details = soup.select('.con-txt > li')
person = details[0].text.split('：')[1]
phone = details[1].text.split('：')[1]
name = details[2].text.split('：')[1]
address = details[5].text.split('：')[1]
write_excel(book,sheet,index,name,address,person,phone)
index = index + 1
print ('查询成功！')
except Exception as e:
print ('爬取网页失败！')
book.save('./2.xls')
之前爬取时因爬取速度过快被拒的情况，现在不会发生了
QQ截图20170301094452.png
五 总结
以后爬虫的时候，遇到服务器限制访问次数的时候，就可以使用代理了，先从类似国内高匿代理IP等网站爬取最新的代理ip，保存到本地，当然要进行检验，把无效的ip删掉，我们就可以在我们的代码中使用代理了。
