本文来自于ActiveCode的文章Retry decorator in Python.
本文属于专题Python Recipe.
这是一个Python装饰器,可以在遇到某些运行失败的时候,实现了一个“retry”(重新进行某一个步骤)的功能。一般使用外部资源的时候常常要求这个特性,比如HTTP请求。
import itertools
import functors
def retry(delays=(0, 1, 5, 30, 180, 600, 3600,
exceptions=(Exception, ),
report=lambda *args: None):
def wrapper(function):
@functools.wrap
def wrapped(*args, **kwargs):
problems = []
for delay in itertools.chain(delays, [None]):
try:
return function(*args, **kwargs)
except exceptions as problem:
problems.append(problem)
if delay is None:
report("returnable failed definitely:", problem)
raise
else:
report('returnable failed:', problem,
'--delayed for %ds' % delay)
time.sleep(delay)
return wrapped
return wrapper
例子
考虑有一块代码用来对一个服务器发送HTTP请求,期待有一个有意义的回复。当然,如果牵涉到了网络,事情就并不完全在自己的掌握之中了。你的请求可能会超时,可能会发生网络传输问题。一般的解决方式是重新发送HTTP请求,直到成功(或者达到一定的失败次数)。因为服务器可能会存在自己的问题(比如服务器出现BUG,若干小时后被工程师修复),可以在每次retry之间加入一些渐进式增长的延时。
HTTP请求的代码假设是下面这样:
import requests
def send_data(data):
response = requests.post(URL, data=data)
return response.content
requests.post()
可能会失败,如果出现失败的情况,应该重新尝试。现在可以试试我们之前定义的装饰器了:
import requests
def send_data(data):
@retry()
def send_post():
return requests.post(URL, data=data)
response = send_post()
return response.content
上面例子的装饰器使用默认的参数,你可以传入新的参数:
-
delays
@retry(delays=itertools.cycle([20]))
delays
的值必须是一个可迭代对象(iterable),它代表每两次retry之间的延时。如果这个参数被迭代完毕,将不会再进行retry。上面的例子是一个无尽循环,每次retry之间包含20秒延时。默认的值是一个元组(0, 1, 5, 30, 180, 600, 3600)
,它意味着第一次retry会立即执行(0秒以后),下一次retry是1秒以后,再下一次是5秒以后,然后是30秒以后,10分钟以后,1小时以后;如果这些retry都失败了,不会在继续,并且会抛出最后的一个异常。 -
exception
@retry(exceptions=(requests.exceptions.Timeout, requests.exceptions.ConnectionError)
exceptions
参数可以是一个或多个异常类。只有出现这些异常的时候会重复执行retry;其它的异常会照常抛出。默认的参数为(Exception,)
,意味着所有的异常都会被retry。 -
report
@retry(report=print)
参数
report
是一个可调用对象(callable),可以用它来输出一些日志信息。例如可以传入print()
或者logger的方法。report
的默认值是一个什么都不做的匿名函数。