PythonRecipe--Python装饰器"retry"

本文来自于ActiveCode的文章Retry decorator in Python.

本文属于专题Python Recipe.

这是一个Python装饰器,可以在遇到某些运行失败的时候,实现了一个“retry”(重新进行某一个步骤)的功能。一般使用外部资源的时候常常要求这个特性,比如HTTP请求。

import itertools
import functors


def retry(delays=(0, 1, 5, 30, 180, 600, 3600,
                exceptions=(Exception, ),
                report=lambda *args: None):
    def wrapper(function):
        @functools.wrap
        def wrapped(*args, **kwargs):
            problems = []
            for delay in itertools.chain(delays, [None]):
                try:
                    return function(*args, **kwargs)
                except exceptions as problem:
                    problems.append(problem)
                    if delay is None:
                        report("returnable failed definitely:", problem)
                        raise
                    else:
                        report('returnable failed:', problem,
                                  '--delayed for %ds' % delay)
                        time.sleep(delay)
        return wrapped
    return wrapper

例子

考虑有一块代码用来对一个服务器发送HTTP请求,期待有一个有意义的回复。当然,如果牵涉到了网络,事情就并不完全在自己的掌握之中了。你的请求可能会超时,可能会发生网络传输问题。一般的解决方式是重新发送HTTP请求,直到成功(或者达到一定的失败次数)。因为服务器可能会存在自己的问题(比如服务器出现BUG,若干小时后被工程师修复),可以在每次retry之间加入一些渐进式增长的延时。

HTTP请求的代码假设是下面这样:

import requests


def send_data(data):
    response = requests.post(URL, data=data)
    return response.content

requests.post()可能会失败,如果出现失败的情况,应该重新尝试。现在可以试试我们之前定义的装饰器了:

import requests


def send_data(data):
 
    @retry()
    def send_post():
        return requests.post(URL, data=data)

    response = send_post()
    return response.content

上面例子的装饰器使用默认的参数,你可以传入新的参数:

  • delays

    @retry(delays=itertools.cycle([20]))

    delays的值必须是一个可迭代对象(iterable),它代表每两次retry之间的延时。如果这个参数被迭代完毕,将不会再进行retry。上面的例子是一个无尽循环,每次retry之间包含20秒延时。默认的值是一个元组(0, 1, 5, 30, 180, 600, 3600),它意味着第一次retry会立即执行(0秒以后),下一次retry是1秒以后,再下一次是5秒以后,然后是30秒以后,10分钟以后,1小时以后;如果这些retry都失败了,不会在继续,并且会抛出最后的一个异常。

  • exception

    @retry(exceptions=(requests.exceptions.Timeout, requests.exceptions.ConnectionError)

    exceptions参数可以是一个或多个异常类。只有出现这些异常的时候会重复执行retry;其它的异常会照常抛出。默认的参数为(Exception,),意味着所有的异常都会被retry。

  • report

    @retry(report=print)

    参数report是一个可调用对象(callable),可以用它来输出一些日志信息。例如可以传入print()或者logger的方法。report的默认值是一个什么都不做的匿名函数。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容

  • 国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 ...
    庭说阅读 10,862评论 6 13
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,594评论 18 139
  • 韩非子,战国时代法家学派代表人物。职场人都知道,要做好向上管理,最核心的地方是“有效沟通”。 韩非子在著作《韩非子...
    风信子逸轩阅读 3,084评论 2 25
  • 好久没有回家了,快两个月了。这条乡道前段时间在翻修,如今已是好了。我是今晚才和星光伯伯确认这一点的。昨天我回来花...
    静梦辰光阅读 315评论 4 2