Python如何优雅的设置爬虫重试次数
工作中经常碰到的问题就是，当我们在使用爬虫发送请求的时候。某个方法出现了异常，重试几次循环重复一个方法是很常见的。一提到重复操作，我们第一反应就是使用循环。接下来咱们用while看一下示例代码：
import requests url ="www.baidu.com" i=0 total=2000 while i < total: try: result=requests.get(url) return result.status_code except: i+=1
在代码外面在加一层循环。这个代码看起来已经不是丑的问题了。那接下来我们使用一个优雅的方式。python retrying模块。retrying是一个python的重试包，可以用来自动重试一些可能运行失败的程序段，retrying提供一个装饰器函数retry，被装饰的函数就会在运行失败的情况下重新执行，默认只要一直报错就会不断重试。首先安装一下
pip install retrying
下面是示例代码：
from retrying import retry @retry(stop_max_attempt_number=2000) def test(): url ="www.baidu.com" result=requests.get(url) return result.status_code test()
我们原来的代码没有进行任何修改，只是说在这个函数之前，我们加上了这么一个装饰器这样看起来是不是很优雅。那除此之外，我们还可以设置retrying其他的参数
-
重试之间等待 2 秒。
@retry(wait_fixed=2000) def test(): url ="www.baidu.com" result=requests.get(url) return result.status_code test()
-
stop_max_delay 设置失败重试的最大时间, 单位毫秒，超出时间，则停止重试
@retry(stop_max_delay =1000) def test(): url ="www.baidu.com" result=requests.get(url) return result.status_code test()
-
两次retrying之间的停留最短时间wait_random_mint和两次retrying之间的停留最长时间wait_random_max
@retry(wait_random_min=100, wait_random_max=2000) def test(): url ="www.baidu.com" result=requests.get(url) return result.status_code test() ```
-
wait_exponential_multiplier间隔时间倍数增加，wait_exponential_max最大间隔时间
@retry(wait_random_min=100, wait_random_max=2000) def test(): print("test %d" % int(time())) url ="www.baidu.com" result=requests.get(url) return result.status_code test()
其它参数咱们可以看 官方文档
