1,高并发下的接口幂等性解决方案

1,消息队列使高并发系统中常见的一种组件,他可以将消息生产方和消费方解耦,减少突发流量对于系统的冲击。
2,在编程中,一个幂等操作的特点是其任意多次执行所产生的影响均与第一次执行的影响相同,幂等函数,或者幂等方法,是指可以使用相同参数重执行,并能获得相同结果的函数。
这些函数不会影响系统状态,也不用担心重复执行会对系统造成改变。例如,"getUsername() 和 setTure()" 函数就是一个幂等函数
更复杂的幂等保证是利用唯一交易流水号实现。说白了,幂等就是一个操作,不论执行多少次,产生的效果和返回的结果都是一样的。

3,技术方案,
1,查询操作,查询一次和查询多次,在数据不变的情况下,查询结果是一样的,select是天然的幂等操作;
2,删除操作: 删除操作也是幂等的,删除一次和多次是哪出都是把数据删除。(注意可能返回的结果不一样,删除的数据不存在,返回0,删除多条数据,返回多个0)
3,唯一索引,防止新增脏数据, 比如:支付宝的资金账户,支付宝也有用户账户,每个用户只能有一个资金账户,怎么防止给用户创建多个自己账户,那么给资金账户列表中的用户ID加上唯一的索引,所以一个用户新增成功一个资金账户记录。

要点:
唯一索引或唯一的组合索引来防止新增数据存在脏数据
(当表存在唯一索引,并发时新增报错,在查询一次就可以了,数据应该已经存在了,返回结果即可)

4,token 机制,防止页面重复提交
业务要求:
页面数据只能被点击提交一次,
发生原因:
由于重复点击或者网络重发,或者nginx重发等情况会导致数据重复提交;
解决方法:
集群环境:采用token加redis(redis是单线程的,处理需要排队)
单jvm环境: 采用token加redis或toekn 加jvm内存
处理流程:
1,数据提交前要向服务申请token,token放到redis或jvm内存,token 设置有效时间,
2,提交后后台校验token,同时删除token,生成新的token返回;
token 特点
要申请,一次有效性,可以限流
注意: redis要用删除操作来判断token,删除成功代表token校验成功,如果用select+delete来校验token,存在并发问题,不建议使用。

5,悲观锁:
select * from table_xxx where id='xxx' for update;
注意: id字段一定是主键或者唯一的索引,不然会锁表的,会死人的;
悲观锁使用时一般伴随事务一起使用,数据锁定时间可能会更长,根据实际情况选用
6,乐观锁:
乐观锁只是在更新数据的那一刻锁定表,其他时间不锁表,所以相对于悲观锁,效率更高;
乐观锁的实现方式多种多样,可以通过version 或者其他状态条件:

1,通过版本号实现:
update table_xxx set name=#name#,version=version+1 where version=#Version#;

2,通过条件限制:
Update table_xxx set avaiamount=avaiamount-#subAmount# where avaiamount-#subAmount# >=0

要求:quality -#subQuality#>=, 这个情景适合不同的版本号,只更新是做数据安全校验,适合库存模型,扣份额和回滚份额,性能更高

注意: 乐观锁的更新操作,最好用主键或者唯一的索引来更新,这样是行锁,否则更新时会锁表,上面2个SQL改成下面的2个刚好:
update table_xxx set name=#name#, version=version+1 where id =#id# and version=#version#

update tablexxx set avaiamount =avaiamount- #subAmpount# where id=#id and avai_amount - #subAmount# >0

7,分布式锁:还是那插入的例子来说,如果是分布式系统,构建全局唯一的索引比较困难,例如没有唯一性的字段设法确定
这时候可以引入分布式锁,通过第三方的系统(redis 或zookeeper),在业务系统中插入数据或者更新数据,获取分布式锁,然后做操作,之后释放锁;
这样其实是把多线程并发锁的思路,引入多个系统,也就是分布式系统中的解决思路。
要点:
某个长流程处理过程要求不能并发执行,可以在流程执行之前根据某个标志(用户ID+后缀等)获取获取分布式锁,其他流程执行时获取锁就会失败,也就是同一时间该流程执行时获取锁就会失败,也就是同一时间该流程只能有一个能执行成功,执行完成后,释放分布式锁(分布式锁要第三方系统提供)

8,select +insert
并发不高的后台系统,或者而一些任务job,为了支持幂等,支持重复执行,简单的方法是,先查询下关键数据,判断是否已经执行过,在进行业务处理,就可以了;

9,状态幂等
在设计单据相关的业务,或者是任务相关的业务,肯定会涉及到状态机(状态变更图),就是业务单据上面有个状态,状态在不同的情况下会发生变更,一般情况下存在有限状态机

如果状态机已经处于下一个状态,这时候来了一个上一个状态的变更,理论上是不能够变更的,这样的话,保证了状态机的幂等。
注意:订单等单据类业务,存在很长的状态流转,一定要深刻理解状态机,对业务系统设计能力提高有很大帮助;

10 对外提供接口的api如何保证幂等
如银联提供的付款接口: 需要接入商户提交付款请求时附带:source 来源,seq在数据库里做唯一的索引,防止多次付款,(并发时候只能处理一个请求);

重点: 对外提供接口为了支持幂等调用,接口有2个字段必须传,,1是来源source,一个是来源方序号seq, 这2个字段在提供方系统里面做联合唯一索引;

这样在第三方调用的时候,先在本方系统里面查询下,是否已经处理过,返回相应的处理结果;没有处理过,进行相应处理,返回结果。
注意,为了幂等友好,一定要先查询下,是否处理过该笔业务,不查询直接插入业务系统,会报错,但实际已经处理了

总结:
幂等性应该是合格程序员的一个基因,在设计系统时,是首要考虑的问题,尤其是想支付宝,银行,互联网金融公司等涉及的都是钱的系统,即要高效数据也要准确;所以不能出现多次扣款,多打款等问题。这样会很难处理,用户体验也不好。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容