浅谈接口幂等性

前言

幂等性,是开发人员在日常开发中必须要考虑的,尤其是转账、支付等涉及金额交易的场景,如果出现幂等性的问题,造成的后果是非常严重的。

本文将分享一下什么是幂等性以及如何保证幂等性。

什么是幂等性

幂等(idempotent、idempotence)是一个数学与计算机学概念,常见于抽象代数中。

在编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数,或幂等方法,是指可以使用相同参数重复执行,并能获得相同结果的函数。这些函数不会影响系统状态,也不用担心重复执行会对系统造成改变。

幂等性产生原因

  • 前端未做限制,导致用户重复提交

  • 使用浏览器后退,或者按F5刷新,或者使用历史记录,重复提交表单

  • 网络波动,引起重复请求

  • 超时重试,引起接口重复调用

  • 定时任务设置不合理,导致数据重复处理

  • 使用消息队列时,消息重复消费

如何保证幂等性

1.前端处理

  • 提交按钮点击置灰,或者增加loading

  • 页面重定向(PRG),PRG模式即POST-REDIRECT-GET,当用户进行表单提交时,会重定向到另外一个提交成功页面,而不是停留在原先的表单页面。这样就避免了用户刷新导致重复提交。同时防止了通过浏览器按钮前进/后退导致表单重复提交。

2.先select后insert + 唯一索引冲突

在保存数据前,我们需要先select一下数据是否存在。如果数据已存在,则返回失败(具体操作视业务情况而定),如果数据不存在,则执行insert操作。

但在高并发的场景下,可能会出现两个请求select的时候,都没有查到数据,然后都执行了insert操作,所以此时会有重复数据产生,因此在数据库中,我们需要添加唯一索引来保证幂等。

流程图如下:

先查后插+唯一索引.png

此方案适用于新增操作的接口,如用户注册。

3.建去重表

某些业务场景,是允许重复数据存在的,仅在流程的某个环节才不允许出现重复数据,这种情况直接在表中添加唯一索引是不合适的,所以就需要创建一张去重表。

CREATE TABLE `table_name` (
  `id` bigint(15) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  `order_id` varchar(100) NOT NULL COMMENT '订单号',
  `create_time` datetime DEFAULT NULL COMMENT '创建时间',
  PRIMARY KEY (`id`),
  UNIQUE KEY `index_order_id` (`order_id`),
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='去重表';

流程图如下:

去重表.png

特别注意,防重表与业务表必须在同一数据库,并且操作要在同一事务中。

此方案适用于在业务中有唯一标识的插入场景中,比如在支付业务中,若一个订单只会支付一次,则订单ID可以作为唯一标识。

4.使用悲观锁

悲观锁,正如其名,具有强烈的独占和排他特性。它指的是对数据被外界(包括本系统当前的其他事务,以及来自外部系统的事务处理)修改持保守态度,因此,在整个数据处理过程中,将数据处于锁定状态。悲观锁的实现,往往依靠数据库提供的锁机制(也只有数据库层提供的锁机制才能真正保证数据访问的排他性,否则,即使在本系统中实现了加锁机制,也无法保证外部系统不会修改数据)。

在交易场景中,用户账户余额有100元,转出50元,正常情况下用户的余额剩余50元。

update account set amount-50 where id = 123;

如果此时有多个相同的请求,可能会导致用户的金额变为负数。所以此时可以使用悲观锁,将用户的行数据锁住,在同一时刻只允许一个请求获得锁,其他请求等待。

select * from account where id = 123 for update;

流程图如下:

悲观锁.png

需要特别注意的是:如果使用的是mysql数据库,存储引擎必须用innodb,因为它才支持事务。此外,这里id字段一定要是主键或者唯一索引,不然会锁住整张表。

因为悲观锁是需要在同一事务中锁住一行数据,所以如果事务比较长,会造成大量请求等待,影响接口性能。

5.使用乐观锁

乐观锁( Optimistic Locking ) 相对悲观锁而言,乐观锁机制采取了更加宽松的加锁机制。悲观锁大多数情况下依靠数据库的锁机制实现,以保证操作最大程度的独占性。但随之而来的就是数据库性能的大量开销,特别是对长事务而言,这样的开销往往无法承受。而乐观锁机制在一定程度上解决了这个问题。乐观锁,大多是基于数据版本( Version )记录机制实现。何谓数据版本?即为数据增加一个版本标识,在基于数据库表的版本解决方案中,一般是通过为数据库表增加一个 “version” 字段来实现。读取出数据时,将此版本号一同读出,之后更新时,对此版本号加一。此时,将提交数据的版本数据与数据库表对应记录的当前版本信息进行比对,如果提交的数据版本号等于数据库表当前版本号,则予以更新,否则认为是过期数据。

乐观锁主要基于版本标识(version)进行操作,即每次操作查询数据时都要先查询出版本标识(version),然后根据版本标识(version)进行update操作。

select id,amount,version from account id = 123;
update account set amount=amount-50,version=version+1 where id=123 and version = 1;

当多个相同的请求查询信息时,版本标识是相同的,当其中一个请求完成update操作,后续请求影响条数均为0。

流程图如下:

乐观锁.png

6.根据状态机

很多时候,业务流程是有状态流转的,这个时候可以使用状态机来保证幂等性。

如订单业务中,存在状态「1-已下单,2-已支付,3-已完成,4-已取消」,按照业务流程,状态是依次流转的,所以在update操作时,我们就要根据本次的状态来更新下一次的状态。

update order_info set status = 3 where id = 123 and status = 2;

流程图如下:

状态机.png

7.使用分布式锁

分布式锁的逻辑是,每次请求都通过业务唯一ID来尝试获取锁,如果获取成功,就进行后续业务逻辑操作,如果获取失败,就舍弃请求直接返回。

分布式锁通常是基于redis来实现的。

流程图如下:

分布式锁.png

分布式锁是通过设置redis的过期时间来进行控制。如果过期时间设置太短,则无法有效防止重复请求;如果过期时间设置太长,则影响redis存储空间,甚至会影响后续业务操作。因此需要根据具体的业务情况,来设置合理的过期时间。

8.基于token机制

此方案包含两个请求阶段:

1.客户端请求服务端申请获取token

2.客户端携带token再次请求,服务端校验token后进行操作。

流程图如下:

token机制.png

这里有一个注意的点:

服务端验证token是否存在,要使用删除key的方式,即redis.del(key),删除成功则表示校验token通过;

不能使用先查再删的操作,即先redis.get(key),后redis.del(key),这种方式在高并发下无法保证幂等。


参考资料

如何实现接口幂等性

高并发下如何保证接口的幂等性?

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,302评论 5 470
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,232评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,337评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,977评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,920评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,194评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,638评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,319评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,455评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,379评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,426评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,106评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,696评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,786评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,996评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,467评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,043评论 2 341

推荐阅读更多精彩内容

  • 一. 幂等的概念 用在编程领域里, 则意为: 对同一个系统,使用同样的条件,一次请求和重复的多次请求对系统资源的影...
    duenboa阅读 6,277评论 0 3
  • 自考本科是高等教育自学考试[https://baike.baidu.com/item/%E9%AB%98%E7%A...
    知识学者阅读 117评论 0 0
  • 前言 通常,我们拿到一台服务器后使用338端口远程桌面登录windows系统,使用22端口ssh登录linux系统...
    Kayden_龙邵仁阅读 756评论 0 0
  • 一、什么是嵌入式测试 嵌入式软件测试的概念似乎没那么大众,很多人从字面上理解,可能会以为这是个硬件测试,那么嵌入式...
    UTP协同自动化测试阅读 944评论 0 0
  • 战国时期东周这位大臣的辩才确实高明,但有些不太光彩 文\常清君 郑重申明:常清君在自媒体平台发布的每一篇文章,都是...
    此生读写伴阅读 143评论 0 0