【工作篇】接口冪等問題探究

【工作篇】接口冪等問題探究

前言

最近遇到一些問題，表單重復(fù)提交，導(dǎo)致插入重復(fù)數(shù)據(jù)到數(shù)據(jù)庫，這里查詢一些通用的方案，自己都實(shí)踐一下，以后好回顧。

實(shí)踐代碼項(xiàng)目 Github： https://github.com/h-dj/Spring-Learning/tree/master/repeat-submit

一、什么是接口冪等性？

冪等含義

冪等（idempotent、idempotence）是一個(gè)數(shù)學(xué)與計(jì)算機(jī)學(xué)概念，常見于抽象代數(shù)中。

在編程中一個(gè)冪等操作的特點(diǎn)是其任意多次執(zhí)行所產(chǎn)生的影響均與一次執(zhí)行的影響相同。冪等函數(shù)，或冪等方法，是指可以使用相同參數(shù)重復(fù)執(zhí)行，并能獲得相同結(jié)果的函數(shù)。這些函數(shù)不會(huì)影響系統(tǒng)狀態(tài)，也不用擔(dān)心重復(fù)執(zhí)行會(huì)對(duì)系統(tǒng)造成改變。--- 百科

簡(jiǎn)單理解：就是針對(duì)一個(gè)操作，不管做多少次，產(chǎn)生的效果都是一樣的。

舉例：

  • 前端對(duì)同一表單數(shù)據(jù)的重復(fù)提交，后臺(tái)應(yīng)該只會(huì)產(chǎn)生一條記錄
  • 我們發(fā)起一筆付款請(qǐng)求，應(yīng)該只扣用戶賬戶一次錢，當(dāng)遇到網(wǎng)絡(luò)重發(fā)或系統(tǒng) bug 重發(fā)，也應(yīng)該只扣一次錢
  • 發(fā)送消息，也應(yīng)該只發(fā)一次，同樣的短信如果多次發(fā)給用戶，用戶會(huì)崩潰
  • 創(chuàng)建業(yè)務(wù)訂單，一次業(yè)務(wù)請(qǐng)求只能創(chuàng)建一個(gè)，不能出現(xiàn)創(chuàng)建多個(gè)訂單

二、那些情況下會(huì)需要接口冪等性?

對(duì)于業(yè)務(wù)中需要考慮冪等性的地方一般都是接口的重復(fù)請(qǐng)求，重復(fù)請(qǐng)求是指同一個(gè)請(qǐng)求因?yàn)槟承┰虮欢啻翁峤弧?dǎo)致這個(gè)情況會(huì)有以下幾種場(chǎng)景：

  • 前端重復(fù)提交：提交訂單，用戶快速重復(fù)點(diǎn)擊多次，造成后端生成多個(gè)內(nèi)容重復(fù)的訂單。
  • 接口超時(shí)重試：對(duì)于給第三方調(diào)用的接口，為了防止網(wǎng)絡(luò)抖動(dòng)或其他原因造成請(qǐng)求丟失，這樣的接口一般都會(huì)設(shè)計(jì)成超時(shí)重試多次。
  • 消息重復(fù)消費(fèi)：MQ 消息中間件，消息重復(fù)消費(fèi)。

三、接口冪等性解決方案

3.1、一般解決方案了解

前端方面：

  • 控制操作次數(shù)，例如：提交按鈕僅可操作一次（提交動(dòng)作后按鈕置灰）
  • 及時(shí)重定向，例如：下單/支付成功后跳轉(zhuǎn)到成功提示頁面，這樣消除了瀏覽器前進(jìn)或后退造成的重復(fù)提交問題。

后臺(tái)方面：

  • 數(shù)據(jù)庫去重表(唯一索引)：

    • 利用數(shù)據(jù)庫的唯一索引特性，保證唯一的邏輯
    • 使用唯一索引，可以是在原來的業(yè)務(wù)表添加唯一索引，也可以新建一個(gè)特定的去重表

  • 使用分布式鎖：

    • 借助中間件：Redis 、Zookeeper
    • 注意要保證中間件的高可用

  • Token 機(jī)制：

    • 進(jìn)入頁面時(shí)先申請(qǐng) Token，提交表單時(shí)再使用 Token 請(qǐng)求，后臺(tái)根據(jù) Token 判斷是否重復(fù)請(qǐng)求
    • 前端申請(qǐng) Token 和 攜帶 Token 的行為需要進(jìn)行封裝，不然每個(gè)頁面都需要手動(dòng)，比較繁瑣，后臺(tái)的話可以使用 注解+ AOP 統(tǒng)一攔截

  • 分布式項(xiàng)目，依然需要借助中間件：Redis

注意：

  • 一般推薦前端后臺(tái)一起組合接口冪等方案，這樣比較安全高效。

以下準(zhǔn)備使用加入購物車為例，實(shí)現(xiàn)各個(gè)方案

3.2、數(shù)據(jù)庫去重表(唯一索引)

  • 操作步驟

    • 1、通過請(qǐng)求的業(yè)務(wù)參數(shù)，組成唯一 ID
    • 2、通過 ID 查詢?nèi)ブ乇碇惺欠翊嬖谟涗洠嬖趧t拋出 重復(fù)請(qǐng)求異常（是否拋出異常，根據(jù)具體業(yè)務(wù)決定）
    • 3、否則，向去重表插入記錄，如果插入異常，說明有多個(gè)請(qǐng)求同時(shí)執(zhí)行，拋出重復(fù)請(qǐng)求異常
    • 4、去重表插入記錄成功后，執(zhí)行加入購物車操作
    • 5、執(zhí)行加入購物車操作成功后，刪除去重表記錄
    • 注意： 去重表操作 和 業(yè)務(wù)處理要在同一個(gè)事物中，方式業(yè)務(wù)處理失敗后，沒有回滾去重表記錄，導(dǎo)致商品加入購物車后，不能在增加數(shù)量

  • 創(chuàng)建表

DROP TABLE IF EXISTS `cart`;
CREATE TABLE `cart` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `product_id` bigint(20) DEFAULT NULL,
  `product_name` varchar(500) DEFAULT NULL COMMENT '商品名稱',
  `product_sku_id` bigint(20) DEFAULT NULL,
  `member_id` bigint(20) DEFAULT NULL,
  `quantity` int(11) DEFAULT NULL COMMENT '購買數(shù)量',
  `price` decimal(10,2) DEFAULT NULL COMMENT '添加到購物車的價(jià)格',
  PRIMARY KEY (`id`)
)
ENGINE=InnoDB
DEFAULT CHARSET=utf8mb4
COLLATE=utf8mb4_0900_ai_ci
COMMENT='購物車表';

DROP TABLE IF EXISTS `deduplicate`;
CREATE TABLE `deduplicate` (
    id BIGINT(20) auto_increment NOT NULL,
    unique_id varchar(100) NULL COMMENT '唯一ID',
    CONSTRAINT deduplicate_PK PRIMARY KEY (id),
    CONSTRAINT deduplicate_UN UNIQUE KEY (unique_id)  -- 唯一索引
)
ENGINE=InnoDB
DEFAULT CHARSET=utf8mb4
COLLATE=utf8mb4_0900_ai_ci
COMMENT='去重表';
  • 添加到購物車邏輯
@RestController
@RequestMapping("/cart")
public class CartController {
    @Autowired
    private ICartService iCartService;

    @ApiRepeatUniqueIdSubmit(keyExpression = "@cartController.getUserId()+'_'+#cartPO.getProductId() +'_'+#cartPO.getProductSkuId()")
    @PostMapping(value = "/add")
    public String add(@RequestBody CartPO cartPO) throws InterruptedException {
        cartPO.setMemberId(getUserId());
        iCartService.addCart(cartPO);
        return "ok";
    }
    /**
     * 獲取當(dāng)前登錄用戶ID
     *
     * @return
     */
    public Long getUserId() {
        return 1001L;
    }
}

@Transactional(rollbackFor = Exception.class)
@Override
public void addCart(CartPO cartPO) throws InterruptedException {

    LambdaQueryWrapper<CartPO> queryWrapper = Wrappers.<CartPO>lambdaQuery()
        .eq(CartPO::getMemberId, cartPO.getMemberId())
        .eq(CartPO::getProductId, cartPO.getProductId())
        .eq(CartPO::getProductSkuId, cartPO.getProductSkuId());
    //查詢商品，已添加到購物車的，就增加數(shù)量即可(業(yè)務(wù)邏輯冪等)
    //因?yàn)?select 和 save 操作不是串行執(zhí)行的，可能有兩個(gè)線程同時(shí)查詢到商品沒有添加到購物車
    //然后同一個(gè)商品被兩個(gè)線程分別入庫了，導(dǎo)致購物車出現(xiàn)相同商品的兩條記錄
    List<CartPO> list = this.list(queryWrapper);
    //模擬耗時(shí)
    TimeUnit.SECONDS.sleep(1);
    if (list == null || list.isEmpty()) {
        //添加到購物車
        this.save(cartPO);
    } else {
        CartPO updateCartPO = list.get(0);
        //數(shù)量加一
        LambdaUpdateWrapper<CartPO> updateWrapper = Wrappers.<CartPO>lambdaUpdate()
            .eq(CartPO::getId, updateCartPO.getId())
            .setSql("quantity = quantity + 1");

        this.update(updateWrapper);
    }
}
  • 編寫 AOP 攔截處理
@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
public @interface ApiRepeatUniqueIdSubmit {

    /**
     * 唯一key，支持Spring EL 表達(dá)式
     *
     * @return
     * @ 符號(hào)引用 Spring 注冊(cè)的bean
     * # 符合引用方法上的參數(shù)
     * param?.id  其中? 是避免param為空時(shí)，發(fā)生空指針異常
     * @see <a>https://docs.spring.io/spring-framework/docs/3.0.x/reference/expressions.html</a>
     */
    String keyExpression();
}

@Component
@Aspect
public class ApiRepeatSubmitUniqueIdAspect {

    @Autowired
    private ApplicationContext applicationContext;

    @Autowired
    private IDeduplicateService iDeduplicateService;

    @Pointcut("@annotation(cn.hdj.repeatsubmit.aspect.ApiRepeatUniqueIdSubmit)")
    public void pointCut() {
    }
    @Transactional(rollbackFor = Exception.class)
    @Around("pointCut()")
    public Object around(ProceedingJoinPoint joinPoint) throws Throwable {

        Signature signature = joinPoint.getSignature();
        MethodSignature msig = (MethodSignature) signature;
        Method targetMethod = msig.getMethod();
        ApiRepeatUniqueIdSubmit apiRepeatSubmit = targetMethod.getAnnotation(ApiRepeatUniqueIdSubmit.class);
        String keyExpression = apiRepeatSubmit.keyExpression();

        Map<String, Object> argMap = SpringElUtil.getArgMap(joinPoint);
        //獲取業(yè)務(wù)參數(shù)，組成唯一ID
        String uniqueId = SpringElUtil.<String>createElBuilder()
                .setArgMap(argMap)
                .setBeanFactory(applicationContext)
                .setTarget(String.class)
                .setKeyExpression(keyExpression)
                .build();

        LambdaQueryWrapper<DeduplicatePO> queryWrapper = Wrappers.<DeduplicatePO>lambdaQuery()
                .eq(DeduplicatePO::getUniqueId, uniqueId);

        long count = this.iDeduplicateService.count(queryWrapper);
        if (count > 0) {
            throw new DuplicateKeyException("不要重復(fù)提交!");
        }

        //插入去重表
        DeduplicatePO deduplicatePO = new DeduplicatePO();
        deduplicatePO.setUniqueId(uniqueId);
        try {
            this.iDeduplicateService.save(deduplicatePO);
        } catch (Exception e) {
            throw new DuplicateKeyException("不要重復(fù)提交!");
        }

        Object proceed = joinPoint.proceed();

        //執(zhí)行完刪除
        this.iDeduplicateService.removeById(deduplicatePO);

        return proceed;
    }
}
3.3、分布式鎖

分布式鎖可以使用 Redis 和 Zookeeper ，更多關(guān)于 Redis 和 Zookeeper 的使用 請(qǐng)自行查閱資料。以下使用 Redis 來實(shí)現(xiàn)分布式鎖

  • 引入依賴
<dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson-spring-boot-starter</artifactId>
    <version>3.16.6</version>
</dependency>
  • 配置
spring:
  redis:
    # https://github.com/redisson/redisson/wiki/2.-Configuration
    database: '0'
    host: '127.0.0.1'
    port: '6379'
    #password: '123456'
#    ssl:
#    timeout:
#    cluster:
#      nodes:
#    sentinel:
#      master:
#      nodes:
  • 在 AOP 獲取鎖的邏輯
//創(chuàng)建鎖
RLock lock = this.redissonClient.getLock(LOCK_PREFIX + uniqueId);

//判斷是否被搶占了鎖
if (lock.isLocked()) {
    throw new DuplicateKeyException("不要重復(fù)提交!");
}

//嘗試獲取鎖， 默認(rèn)30秒會(huì)超時(shí)過期， 并啟動(dòng)線程監(jiān)聽，自動(dòng)續(xù)簽
//當(dāng)客戶端異常，終止了續(xù)簽線程，超時(shí)后會(huì)刪除鎖，避免發(fā)生死鎖
//如果自己手動(dòng)設(shè)置了超時(shí)過期時(shí)間，則不會(huì)啟動(dòng)線程監(jiān)聽，自動(dòng)續(xù)簽
if (lock.tryLock()) {
    try {
        return joinPoint.proceed();
    } finally {
        //釋放鎖
        lock.unlock();
    }
}
throw new DuplicateKeyException("不要重復(fù)提交!");
3.4、使用 Token 機(jī)制

  • 操作步驟

    • 1、在訪問頁面時(shí)，先獲取 Token ，保持到指定的地方
    • 2、在點(diǎn)擊加入購物車時(shí)，把 Token 放到 Header 或請(qǐng)求參數(shù)中，帶給后臺(tái)
    • 3、后臺(tái)驗(yàn)證 Token 并刪除，表示該 Token 已使用
    • 4、執(zhí)行加入購物車邏輯
    • 5、成功響應(yīng)前端（看業(yè)務(wù)需求，是否需要重新獲取 Token）

  • 創(chuàng)建 Token 生成和驗(yàn)證服務(wù)

@Service
public class TokenServiceImpl implements TokenService {

    public static final String TOKEN_PREFIX = "token_idempotent";
    public static final String TOKEN_HEADER_NAME = "x-token";
    public static final Long TOKEN_EXPIRE_TIME = 5 * 60L;

    @Autowired
    private RedissonClient redissonClient;

    @Override
    public String createToken() {
        String ID = UUID.randomUUID().toString();
        RBucket<String> bucket = this.redissonClient.<String>getBucket(String.format("%s:%s", TOKEN_PREFIX, ID), StringCodec.INSTANCE);
        //默認(rèn)超時(shí)5分鐘
        bucket.trySet(ID, TOKEN_EXPIRE_TIME, TimeUnit.SECONDS);
        return ID;
    }
    @Override
    public boolean checkToken(HttpServletRequest request) {
        // 從請(qǐng)求頭中獲取token信息
        String token = request.getHeader(TOKEN_HEADER_NAME);
        if (!StringUtils.hasLength(token)) {
            //從參數(shù)中獲取token值
            token = request.getParameter(TOKEN_HEADER_NAME);
        }
        if (!StringUtils.hasLength(token)) {
            throw new DuplicateKeyException("重復(fù)提交，提交失敗");
        }

        RBucket<String> bucket = this.redissonClient.getBucket(String.format("%s:%s", TOKEN_PREFIX, token), StringCodec.INSTANCE);

        //獲取，并刪除
        String ID = bucket.getAndDelete();
        //不存在，則重復(fù)提交
        if (ID == null) {
            throw new DuplicateKeyException("重復(fù)提交，提交失敗");
        }
        return true;
    }
}
  • 在 AOP 中檢查
@Component
@Aspect
public class ApiRepeatSubmitTokenAspect {
    @Autowired
    private TokenService tokenService;

    @Autowired
    private HttpServletRequest request;

    @Pointcut("@annotation(cn.hdj.repeatsubmit.aspect.ApiRepeatTokenSubmit)")
    public void pointCut() {
    }
    @Before("pointCut()")
    public void Before(JoinPoint joinPoint) {
        tokenService.checkToken(request);
    }
}
  • 前端進(jìn)入頁面時(shí)是先獲取 Token
$.ajax({
    type: "GET",
    url: "/token/create",
    contentType:'application/json',
    success: function(token){
        sessionStorage.setItem('x-token',token);
    }
});
  • 請(qǐng)求時(shí)帶上 Token
$("#addCart").click(function(){
    //按鈕置灰
    $("#addCart").attr('disabled','disabled');
    $.ajax({
        type: "POST",
        url: "/cart/add",
        headers:{
            //攜帶token
            'x-token':sessionStorage.getItem('x-token')
        },
        data: JSON.stringify({
            productId: $('input[name=product_id]').val(),
            productSkuId: $('input[name=product_sku_id]').val(),
            productName: $('input[name=product_name]').val(),
            price: $('input[name=price]').val(),
            quantity: $('input[name=quantity]').val()
        }),
        contentType:'application/json',
        success: function(msg){
            console.log(msg)
        },
        complete: function(msg){
            $("#addCart").removeAttr('disabled');
        }
    });
});

總結(jié)

以上是較為常見通用的冪等方案，但實(shí)際業(yè)務(wù)可能比較個(gè)性化，需要跟業(yè)務(wù)結(jié)合進(jìn)行考慮，采用合適的方法或結(jié)合使用，例如：

  • 如果該業(yè)務(wù)是存在狀態(tài)流轉(zhuǎn)，可以采用狀態(tài)機(jī)策略進(jìn)行業(yè)務(wù)冪等判斷
  • 如果該業(yè)務(wù)是更新數(shù)據(jù)，可以采用多版本策略，在需要更新的業(yè)務(wù)表上加上版本號(hào)

參考

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容