python redis事务源码及应用分析

在多个客户端同时处理相同的数据时,不谨慎的操作很容易导致数据出错。一般的关系型数据库中有事务保证了数据操作的原子性,同样Redis中也设置了事务,可以理解为“将多个命令打包,然后一次性、按顺序执行”,防止数据出错,同时提升性能。

Redis事务

关系型数据库中,要使用事务,首先向数据库服务器发送BEGIN,然后执行各个相互一致的写操作和读操作,最后,用户可以选择发送COMMIT来确认之前所做的修改,或者发送ROLLBACK来放弃那些修改。

同样,Redis中也有简单的方法处理一连串相互一致的读操作和写操作。首先是以MULTI命令开始事务,后续跟着一连串命令,最后以EXEC结束事务或者以DISCARD命令撤销所有命令并结束事务。Redis官方文档中对于事务以及事务常用命令做了详细介绍。

事务原子性

Redis事务中的所有命令能够保证被顺序执行(FIFO),中间不会被其他客户端打断。它本身应对外部请求是单任务的,也是多线程安全的。关系型数据库的事务具有原子性特点,而Redis事务就没法确定说是原子性的。看一下官方文档中Errors inside a transaction一节,事务中有两种command errors

  • 一种是在MULTI之后,EXEC执行之前,由于命令的语法错误或者服务器内存不够等原因,命令根本不会被放入暂存队列,Redis会拒绝执行接下来的EXEC操作,这和我们理解的原子性原理是一致的;
  • 另外一种是在EXEC之后,当队列中的某条命令执行失败,Redis也会继续执行完其他命令,且不支持回滚,最关键的地方反而还不支持原子性!

Redis官方文档中对其不支持回滚的特性也做了说明,Redis命令只会在语法错误或者对某个Key执行了不属于该类型的相应操作,而这些错误应该是在开发过程中就避免的 = =;Reids也正是因为不支持回滚所以才能更简单快速(好傲娇~)

所以我们在使用Redis事务过程中一定要注意:Redis事务所指的原子性仅仅只针对将命令加入执行队列的过程,Redis事务不支持在命令执行过程中的错误回滚《Redis设计与实现》中对Redis事务的ACID特性做了全面的讲解。

Redis事务锁Watch

WatchRedis提供的事务锁,是一种乐观锁。在MULTI命令之前执行WATCH命令,当EXEC提交之后,在实际执行任何命令之前,如果发现被Watchedkey值发生了改变,整个事务被丢弃,返回为空。

个人理解,使用Redis事务结合Watch命令,只是能保证在事务内被watchedkey不会被重复错误修改,一定程度上能够保证原子性,但也只是针对被watchedkey

Python Redis事务

python中通过管道Pipeline实现Redis事务。当我们要使用事务时,首先实例化一个Pipeline类,可以先实例化StrictRedis类,然后调用实例的pipeline()方法;也可以直接实例化Pipeline类。两种方法都会创建BasePipeLine实例。Redis事务中对应的MULTIEXEC, DISCARD, WATCH操作都对应到BasePipeLine中的相应方法。

# 1
redis = Redis(host='127.0.0.1', port=6379)
pipe = redis.pipeline()

# 2
pipe = Pipeline(host='127.0.0.1', port=6379)

在python中使用事务的流程也基本不变,建立Pipeline以后,调用multi()方法,表示事务开始,然后依次执行所有redis命令,然后调用execute()方法提交事务。同样在事务开始之前,可以调用watch()方法监控keys

try:
    pipe.watch('key1')
    pipe.multi()
    pipe.set('key2', 2)
    pipe.incr('key1')
    pipe.set('key3', 3)
    pipe.execute()
except redis.exceptions.WatchError:
    # 发生watcherror时业务应该怎样处理,丢弃事务或者重试
    pass

看一下python中execute()方法的源码:

def execute(self, raise_on_error=True):
        "Execute all the commands in the current pipeline"
        stack = self.command_stack
        if not stack:
            return []
        if self.scripts:
            self.load_scripts()
        if self.transaction or self.explicit_transaction:
            execute = self._execute_transaction
        else:
            execute = self._execute_pipeline

        conn = self.connection
        if not conn:
            conn = self.connection_pool.get_connection('MULTI',
                                                       self.shard_hint)
            # assign to self.connection so reset() releases the connection
            # back to the pool after we're done
            self.connection = conn

        try:
            return execute(conn, stack, raise_on_error)
        except (ConnectionError, TimeoutError) as e:
            conn.disconnect()
            if self.watching:
                raise WatchError("A ConnectionError occured on while watching "
                                 "one or more keys")
            return execute(conn, stack, raise_on_error)
        finally:
            self.reset()

命令执行后,程序会捕获ConnectionErrorTimeoutError,当连接超时并且没有设置重试retry_on_timeout参数,异常直接抛出,否则会进行一次重试。最终调用reset()重置所有参数。

redis-benchmark

Pipeline能够将一堆命令先收集起来,再一起发送给Redis服务器处理,减少了和Redis的连接通信次数。但当Pipeline中命令的数量过大,管道中所有命令和执行结果会被缓存到Redis内存,同时也会造成网络通信变慢,得不偿失。那么,Pipeline每次接收的命令数量是多少才能达到最优的执行效率(How many commands could redis-py pipeline have?)?

Redis提供了redis-benchmark命令,模拟N个客户端同时发送M条命令,并返回执行统计结果。我们可以通过参数设置模拟客户端数量,请求总数,是否使用Pipeline以及Pipeline中命令数量,指定命令类型等。
首先模拟无Pipeline情况下执行情况,假设给定100000条请求,模拟getset请求,执行结果如下。普通情况下,平均每秒执行102145.05条SET请求,平均每秒执行98716.68条GET请求。

$ redis-benchmark -n 100000 -t set,get -q
SET: 102145.05 requests per second
GET: 98716.68 requests per second

加入Pipeline,每个Pipeline执行100条命令,执行结果如下。执行效率显著提高了,尤其是对于GET请求。

$ redis28-benchmark -n 100000 -t set,get -P 100 -q
SET: 552486.19 requests per second
GET: 800000.00 requests per second

如果把Pipeline的最大执行命令数设置到10000,执行结果如下。这种情况下,对效率没有显著提升了,而且如果每条命令数据所占的字节数变大,执行效率更低。

$ redis-benchmark -n 100000 -t set,get -P 10000 -q
SET: 118764.84 requests per second
GET: 150602.42 requests per second

到底应该把Pipeline的命令数设置为多大才合适,没有确定的答案,有的人给的建议是100-1000,具体设置为多大需要在当前Redis连接状况,Redis内存大小等基础上不断测试找到那个sweet spot

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,732评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,496评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,264评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,807评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,806评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,675评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,029评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,683评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,704评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,666评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,773评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,413评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,016评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,204评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,083评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,503评论 2 343

推荐阅读更多精彩内容