接口幂等性

作者: CJ21 | 来源:发表于2021-04-30 09:13 被阅读0次

一、概念

当微服务之间调用时服务A向服务B重复发送消息或者用户多次点击导致重复操作数据库。

例如支付订单接口,如果发生网络问题,导致客户端重复请求两次,就会导致扣款两次。
例如向数据库写入数据,重复请求会导致数据库中出现重复的脏数据。
幂等性就是说一个接口需要保证发生多次重复的请求,只有一次请求生效。
①对于每个请求需要有一个唯一的标识,如订单支付请求,需要包含订单的id,一个id最多支付一次
②处理完成后,需要有一个记录标识这个请求已经处理完成。

image.png

二、实现幂等性的思路

  • 1.全局唯一id:需要根据实际业务生成,操作执行成功后生成这个id,每次执行操作前先判断这个id存不存在,存在就是已执行,不存在则添加这个id.
  • 2.去重表:就是利用数据库的唯一约束.如果重复新增某个唯一标识,就会报唯一约束异常,再利用事务回滚.
  • 3.利用版本号控制:多拥有更新操作.每次更新的时候需要在where条件中添加version判断,并更新version.如果版本已更新就无法再次根据原版本号更新了.
  • 4.在并发不高的系统,可以在新增或更新操作执行前先对关键数据进行查询,并根据实际业务设置判断,通过后再执行操作

可以将以上操作编写为自定义注解,方便实现接口幂等性。

三、幂等解决方案

3.1 token机制(适用于下订单等操作)

流程

  1. 在执行业务前,获取token,服务器会把token保存到redis中;
  2. 然后调用业务接口请求时,把token携带过去,一般放在请求头;
  3. 服务器判断token是否存在redis中,存在表示第一次请求,然后删除token,继续执行业务;
  4. 如果判断token不存在redis中,就表示是重复操作,直接返回重复标记给client。保证了不会重复提交。

危险性
先删除token还是后删除token:先删除可能导致业务执行失败后无法再次提交成功需要再次提交表单,后删除可能导致业务处理成功但是没有删除token。采用先删除策略,但是需要保证redis操作的原子性。
解决措施:token获取、比较和删除必须是原子性的。可以使用分布式锁或在redis使用lua脚本完成。
if redis.call('get',KEYS[1]) == ARGV[1] then return redis.call('del',KEYS[1]) else return 0 end
将脚本提交到redis执行,保证原子性。

缺点
对代码的侵入性较强。

3.2 各种锁机制(适用于减库存等操作)

3.2.1 数据库悲观锁

select * from xxx where id = 1 for update;
悲观锁使用时一般伴随事务一起使用,数据锁定时间较长,根据需求选用。
另外需要注意的是,id字段一定是主键或者唯一索引,不然可能造成锁表的结果,处理起来会非常麻烦。

3.2.2 数据库乐观锁

这种方法适合再更新场景中
update t_goods set count = count - 1,version = version + 1 where good_id = 2 and version = 1;
根据version版本,也就是在操作库存前先获取当前商品的version版本号,然后操作的时候带上此version。
详解:我们第一次操作库存时,得到version为1,调用库存服务version变成了2,;但返回给订单服务出现了问题,订单服务又一次发起调用库存服务,当订单服务传入的version还是1,再执行上面的sql语句时,就不会执行;因为version已经变为2了,where条件就不成立。保证了不会重复提交。
乐观锁主要使用于处理读多写少的问题。

3.2.3 分布式锁

多个节点同时处理相同的数据,可以使用分布式锁,锁定此数据,处理完成后释放锁。获取到锁的必须先判断这个数据是否被处理过。

3.3 各种唯一约束

3.3.1 数据库唯一约束

插入数据,应该按照唯一索引进行插入,比如订单号,相同的订单就不可能有两条相同的记录插入。
我们在数据库层面防止重复。
这个机制利用了数据库的主键唯一约束的特性,解决了在insert场景时幂等性等问题。但主键的要求不是自增的主键,这样就需要业务生成全局唯一的主键。
如果是分库分表场景下,路由规则要保证相同请求下,落地在同一个数据库和同一表中,要不然数据库主键约束就不起效果了,因为不同的数据库和表主键不相关。

3.3.2 redis set 防重

很多数据需要处理,只能被处理一次,我们可以计算数据的MD5,将其放入redis的set,每次处理数据,先看这个MD5是否已存在,存在就不处理。

3.4 防重表

使用订单号orderNo作为去重表的唯一索引,把唯一索引插入去重表,再进行业务操作,且他们在同一个事务中。这个保证了重复请求时,因为去重表有唯一约束,导致请求失败,避免了幂等问题。
需要注意的是,去重表和业务表应该在同一库中,这样就保证了在同一个事务中,即使业务操作失败了,也会把去重表的数据回滚。保证了数据一致性。

上述使用的redis防重表同理。

3.5 全局请求唯一id(可以处理feign重复调用,不能处理客户端重复提交)

调用接口时,生成一个唯一id,redis讲数据存储到集合中(去重),存在即处理过。
可以使用nginx设置每一个请求的唯一id;
proxy_set_header X-Request-Id $request_id;

相关文章

  • SpringBoot接口幂等性实现的4种方案!

    目录 什么是幂等性 什么是接口幂等性 为什么需要实现幂等性 引入幂等性后对系统的影响 Restful API 接口...

  • 什么是接口的幂等性,如何实现接口幂等性?一文搞定

    每天一个知识点 什么是接口的幂等性,如何实现接口幂等性? (一)幂等性概念 幂等性原本是数学上的概念,用在接口上就...

  • 接口幂等性

    接口幂等性 什么是接口幂等性? 最简单想到的实现接口幂等性(重复提交)的操作是什么? 最简单稍靠谱的解决方案是什么?

  • 接口幂等性书目录

    1.幂等性定义 1.1 数学定义 1.2 HTTP规范的定义 2. 何种接口提供幂等性 2.1 HTTP支持幂等性...

  • 接口的幂等性的N种考虑

    分布式服务接口的幂等性如何设计 什么是幂等性 一个分布式系统中的某个接口,要保证幂等性,该如何保证?这个事儿其实是...

  • 接口幂等性

    什么是接口幂等性? 幂等是数学和计算机学的概念,常见于抽象代数中,即f(f(x)) = f(x)。简单来讲就是接口...

  • 接口幂等性

    学习缘由 幂等性这个词很高大上,但是又不明白其中含义,因此查资料进行理解学习。参考原文:路人甲java 什么是幂等...

  • 接口幂等性

    一、概念 当微服务之间调用时服务A向服务B重复发送消息或者用户多次点击导致重复操作数据库。 例如支付订单接口,如果...

  • 接口幂等性

    含义:接口可重复调用后,在调用方多次调用的情况下,接口最终得到的结果是一致的。 有些接口天然具备幂等性,如查询接口...

  • 接口幂等性

    描述 幂等性是指一次操作和多次操作产生的结果一致。操作后的结果有三种状态,成功、失败、超时。在超时重试时就需要该操...

网友评论

    本文标题:接口幂等性

    本文链接:https://www.haomeiwen.com/subject/updvahtx.html