RedisTemplate批量添加操作教程，利用pipeline批量操作；multiSet()批量操作；for循環(huán)批量操作

一、使用pipeline的好處

了解redis的小伙伴都知道，redis是一個(gè)高性能的單線程的key-value數(shù)據(jù)庫(kù)。它的執(zhí)行過(guò)程為：

（1）發(fā)送命令－〉（2）命令排隊(duì)－〉（3）命令執(zhí)行－〉（4）返回結(jié)果

如果我們使用redis進(jìn)行批量插入數(shù)據(jù)，正常情況下相當(dāng)于將以上四個(gè)步驟批量執(zhí)行N次。（1）和（4）稱為Round Trip Time（RTT，往返時(shí)間）。在一條簡(jiǎn)單指令中，往往（1）（4）步驟之和大過(guò)于（2）（3）步驟之和，如何進(jìn)行優(yōu)化？Redis提供了pipeline管道機(jī)制，它能將一組Redis命令進(jìn)行組裝，通過(guò)一次RTT傳輸給Redis，并將這組Redis命令的執(zhí)行結(jié)果按順序返回給客戶端。

優(yōu)缺點(diǎn)總結(jié)：

• 1、性能對(duì)比：multiSet()>pipeline管道>普通for循環(huán)set
• 2、擴(kuò)展性強(qiáng)，可以支持設(shè)置失效時(shí)間。multiSet()不支持失效時(shí)間的設(shè)置

二、批量操作的工具類

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.dao.DataAccessException;
import org.springframework.data.redis.connection.RedisConnection;
import org.springframework.data.redis.connection.RedisStringCommands;
import org.springframework.data.redis.core.RedisCallback;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.types.Expiration;
import org.springframework.data.redis.serializer.RedisSerializer;
import org.springframework.stereotype.Component;

import java.util.List;
import java.util.Map;

/**
 * @author: huangyibo
 * @Date: 2022/6/23 16:15
 * @Description:
 */

@Component
public class BatchRunRedisUtil {
    
    
    @Autowired
    private RedisTemplate<String, Object> stringRedisTemplate;
    

    /**
     * 批量添加
     * @param map
     */
    public void batchSet(Map<String, String> map) {
        stringRedisTemplate.opsForValue().multiSet(map);
    }
    

    /**
     * 批量添加 并且設(shè)置失效時(shí)間
     * @param map
     * @param seconds
     */
    public void batchSetOrExpire(Map<String, String> map, Long seconds) {
        RedisSerializer<String> serializer = stringRedisTemplate.getStringSerializer();
        stringRedisTemplate.executePipelined(new RedisCallback<String>() {
            @Override
            public String doInRedis(RedisConnection connection) throws DataAccessException {
                map.forEach((key, value) -> {
                    connection.set(serializer.serialize(key), serializer.serialize(value), Expiration.seconds(seconds), RedisStringCommands.SetOption.UPSERT);
                });
                return null;
            }
        }, serializer);
    }
    

    /**
     * 批量獲取
     * @param list
     * @return
     */
    public List<Object> batchGet(List<String> list) {
        List<Object> objectList = stringRedisTemplate.opsForValue().multiGet(list);
        return objectList;
    }
    

    /**
     * Redis批量Delete
     * @param list
     */
    public void batchDelete(List<String> list) {
        stringRedisTemplate.delete(list);
    }

}

三、性能測(cè)試

通過(guò)for循環(huán)來(lái)向redis插入數(shù)據(jù)，通過(guò)pipeline插入數(shù)據(jù)，通過(guò)使用redisTemplate.opsForValue().multiSet(map)插入數(shù)據(jù)查看執(zhí)行時(shí)間。

import com.demo.util.BatchRunRedisUtil;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.CommandLineRunner;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.data.redis.core.RedisTemplate;

import java.util.HashMap;
import java.util.Map;

@SpringBootApplication
public class DemoApplication implements CommandLineRunner {

    public static void main(String[] args) {
        SpringApplication.run(DemoApplication.class, args);
    }

    @Autowired
    private RedisTemplate<String, Object> stringRedisTemplate;

    @Autowired
    private BatchRunRedisUtil batchRunRedisUtil;

    @Override
    public void run(String... args) throws Exception {
        //for循環(huán)批量添加
        long startTime = System.currentTimeMillis();
        for (int i = 0; i < 100000; i++) {
            stringRedisTemplate.opsForValue().set("aaa" + i, "a", 60);
        }
        long endTime = System.currentTimeMillis();
        System.out.println("普通set消耗" + (endTime - startTime) + "毫秒");
        //利用pipeline批量操作
        long startTime2 = System.currentTimeMillis();
        Map map = new HashMap(100000);
        for (int i = 0; i < 100000; i++) {
            map.put("bbb" + i, "b");
        }
        batchRunRedisUtil.batchSetOrExpire(map, 60l);
        long endTime2 = System.currentTimeMillis();
        System.out.println("管道set消耗" + (endTime2 - startTime2) + "毫秒");
        //multiSet()批量操作
        long startTime3 = System.currentTimeMillis();
        Map map2 = new HashMap(100000);
        for (int i = 0; i < 100000; i++) {
            map2.put("ccc" + i, "b");
        }
        batchRunRedisUtil.batchSet(map2);
        long endTime3 = System.currentTimeMillis();
        System.out.println("批量set消耗" + (endTime3 - startTime3) + "毫秒");
    }

}

在本機(jī)分別執(zhí)行了三次結(jié)果：

普通set消耗9010毫秒
管道set消耗1606毫秒
批量set消耗18毫秒

普通set消耗8228毫秒
管道set消耗1059毫秒
批量set消耗14毫秒

普通set消耗8365毫秒
管道set消耗1092毫秒
批量set消耗13毫秒

通過(guò)比較發(fā)現(xiàn)，逐條執(zhí)行時(shí)間是pipeline執(zhí)行平均時(shí)間的8倍！這是在本機(jī)測(cè)試的結(jié)果，理論上，客戶端與服務(wù)端的網(wǎng)絡(luò)延遲越大，性能體能越明顯。

當(dāng)然，pipeline性能提升雖然明顯，但是每次管道里命令個(gè)數(shù)太多的話，也會(huì)造成客戶端響應(yīng)時(shí)間變久，網(wǎng)絡(luò)傳輸阻塞。最好還是根據(jù)業(yè)務(wù)情況，將大的pipeline拆分成多個(gè)小的pipeline來(lái)執(zhí)行。

如果不用設(shè)置失效時(shí)間的話最好使用redisTemplate.opsForValue().multiSet(map)方法來(lái)添加

參考：
https://blog.csdn.net/weixin_41677422/article/details/108626587