手寫Redis客戶端-實(shí)現(xiàn)自己的Jedis

手寫Redis客戶端-實(shí)現(xiàn)自己的Jedis

上一篇，我們?cè)敿?xì)研究了Redis底層使用的協(xié)議——RESP(REdis Serialization Protocol)，這篇我們?cè)诨诶斫饬薘ESP原理的基礎(chǔ)上，手寫一個(gè)Redis客戶端，實(shí)現(xiàn)一個(gè)自己的Jedis（mini版）。
還沒(méi)了解Redis底層RESP協(xié)議 的同學(xué)，可以先移步Redis底層協(xié)議RESP詳解，對(duì)RESP做一個(gè)大致的了解。

Redis分為服務(wù)器端/客戶端，并且客戶端除了CLI終端命令行方式，還支持大多數(shù)主流編程語(yǔ)言；那么可以大膽推測(cè)，這些跨語(yǔ)言的客戶端的實(shí)現(xiàn)，都是遵循RESP協(xié)議規(guī)范的；也都是通過(guò)網(wǎng)絡(luò)通信、與服務(wù)器端進(jìn)行連接和傳輸數(shù)據(jù)的。

RESP回顧

RESP在Redis中用作請(qǐng)求-響應(yīng)協(xié)議的方式如下：

  • 客戶端將命令作為Bulk Strings的RESP數(shù)組發(fā)送到Redis服務(wù)器。

  • 服務(wù)器根據(jù)命令實(shí)現(xiàn)回復(fù)一種RESP類型。

在RESP中，某些數(shù)據(jù)的類型取決于第一個(gè)字節(jié)：

  • “+”代表簡(jiǎn)單字符串Simple Strings

  • “+”代表錯(cuò)誤類型

  • “:”代表整數(shù)

  • “$”代表Bulk Strings

  • “*”代表數(shù)組
    此外，RESP能夠使用稍后指定的Bulk Strings或Array的特殊變體來(lái)表示Null值。
    在RESP中，協(xié)議的不同部分始終以“\r\n”（CRLF）結(jié)束。

通過(guò)攔截TCP傳輸?shù)臄?shù)據(jù)，我們?cè)趓edis-cli客戶端執(zhí)行SET key value ;
攔截到對(duì)應(yīng)的resp通信協(xié)議串

*3
$3
SET
$3
key
$5
value

基于上篇對(duì)RESP的分析，我們應(yīng)該能快速推斷，如果要執(zhí)行SET abc 1234，對(duì)應(yīng)的resp通信協(xié)議串為：

*3
$3
SET
$3
abc
$4
1234

原理其實(shí)很簡(jiǎn)單；我們實(shí)現(xiàn)的客戶端，只要將這個(gè)協(xié)議串，基于socket發(fā)送給redis-server，進(jìn)完成了一個(gè)set操作，在redis-server執(zhí)行了SET abc 1234;
按resp協(xié)議的請(qǐng)求-響應(yīng)模型，如果redis-server執(zhí)行成功，會(huì)返回+OK\r\n；

簡(jiǎn)潔版Jedis

下面，我們基于以上推斷，快速實(shí)現(xiàn)一個(gè)簡(jiǎn)潔版Redis客戶端；

分析：

1、建立連接
SimpleJedis的構(gòu)造方法，完成建立連接；
我們平時(shí)使用Jedis時(shí)，其實(shí)本質(zhì)也是一樣的實(shí)現(xiàn)；

Jedis jedis = new Jedis("172.17.19.22");//創(chuàng)建client
jedis.set("key", "value");//創(chuàng)建socket連接，發(fā)送socket流

2、set 命令
SimpleJedis#set(K, V)方法執(zhí)行set命令；
客戶端發(fā)給redis-server的序列串，就是按前面的分析，分別替換K的長(zhǎng)度和實(shí)際K內(nèi)容，以及V的長(zhǎng)度和V的內(nèi)容；

3、get 命令
get(Key)命令，應(yīng)該給redis-server發(fā)送什么樣的協(xié)議串呢？
這個(gè)需要按 上篇文章那樣，去攔截TCP傳輸?shù)臄?shù)據(jù)，以此來(lái)窺探。攔截get命令的TCP數(shù)據(jù)，就不具體演示了，可以參考上一篇文章。
這里我直接給出結(jié)論；
當(dāng)執(zhí)行 get abc;命令時(shí)，發(fā)送給redis-server的協(xié)議串是：

*2
$3
GET
$3
abc

第一行*2表示這條發(fā)給Redis server的命令是數(shù)組，數(shù)組有2個(gè)元素(其實(shí)就是get、abc、這倆字符串)；
后面的4行數(shù)據(jù)，分別是對(duì)數(shù)組2個(gè)元素的表示，每個(gè)元素用兩行；具體含義可以參見(jiàn)上一篇文章。

最后給出完整示例：

/**
 * 簡(jiǎn)潔版-Redis客戶端
 * A new redis client for Java.
 */
public class SimpleJedis {

    private Socket socket = null;

    public SimpleJedis() {
        try {
            socket = new Socket("127.0.0.1", 6379);

            socket.setReuseAddress(true);
            socket.setKeepAlive(true);
            socket.setTcpNoDelay(true);
            socket.setSoLinger(true, 0);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    public String set(final String key, String value) throws IOException {

        StringBuilder stringBuilder = new StringBuilder();

        stringBuilder.append("*3").append("\r\n");

        stringBuilder.append("$3").append("\r\n");

        stringBuilder.append("SET").append("\r\n");

        stringBuilder.append("$").append(key.length()).append("\r\n");

        stringBuilder.append(key).append("\r\n");

        stringBuilder.append("$").append(value.length()).append("\r\n");

        stringBuilder.append(value).append("\r\n");
        socket.getOutputStream().write(stringBuilder.toString().getBytes());

        InputStream inputStream = socket.getInputStream();
        byte b[] = new byte[inputStream.available()];
        inputStream.read(b);
        return new String(b);
    }

    public String get(final String key) throws IOException {

        StringBuilder sb = new StringBuilder();

        sb.append("*2").append("\r\n");

        sb.append("$3").append("\r\n");

        sb.append("GET").append("\r\n");

        sb.append("$").append(key.length()).append("\r\n");

        sb.append(key).append("\r\n");

        socket.getOutputStream().write(sb.toString().getBytes());

        InputStream inputStream = socket.getInputStream();
        byte b[] = new byte[1024];
        int len = inputStream.read(b);
        return new String(b, 0, len).split("\r\n")[1];
    }

    public static void main(String[] args) throws IOException {
        SimpleJedis myJedis = new SimpleJedis();

        System.out.println(myJedis.set("mt", "2020"));//+OK
        System.out.println(myJedis.get("mt"));// "2020"
    }
}

啟動(dòng)redis-server后，運(yùn)行程序，就能驗(yàn)證結(jié)果了。

進(jìn)化版

朝著架構(gòu)師的目標(biāo)，向前邁一步。一個(gè)可復(fù)用的客戶端組件，應(yīng)該怎樣設(shè)計(jì)、實(shí)現(xiàn)呢！

建立連接后 傳輸數(shù)據(jù)，是redis規(guī)范約定的“協(xié)議”。
我們?cè)谑褂肑edis客戶端時(shí)，直接操作的是API；執(zhí)行set、get操作，并沒(méi)有讓我們自己進(jìn)行按“協(xié)議”拼裝數(shù)據(jù)；
同時(shí)客戶端傳輸數(shù)據(jù)到server端，對(duì)我們使用者來(lái)說(shuō)，也是無(wú)感知的。
因此我們不妨也分層來(lái)實(shí)現(xiàn)。

要實(shí)現(xiàn)一個(gè)redis客戶端，需要考慮

  • 傳輸層 Connection

  • 協(xié)議層 RedisProtocol

  • API層 RedisClient

以下是對(duì)應(yīng)的實(shí)現(xiàn):

傳輸層 Connection

負(fù)責(zé)連接的建立，數(shù)據(jù)發(fā)送與接收；

/**
 * 傳輸層
 * 負(fù)責(zé)連接的建立，數(shù)據(jù)發(fā)送與接收
 */
public class Connection {


    private Socket socket;
    private String host;
    private int port;
    private OutputStream outputStream;
    private InputStream inputStream;

    public Connection(String host, int port) {
        this.host = host;
        this.port = port;
    }

    public Connection connection() {
        try {
            socket = new Socket(host, port);
            outputStream = socket.getOutputStream();
            inputStream = socket.getInputStream();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return this;
    }

    public Connection sendCommand(RedisProtocol.Command command, byte[]... args) {
        connection();
        RedisProtocol.sendCommand(outputStream, command, args);
        return this;
    }

    public String getStatusReply() {
        try {
            byte[] bytes = new byte[1024];
            inputStream.available();
            int len = inputStream.read(bytes);
            return new String(bytes, 0, len);
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }
}
協(xié)議層 RedisProtocol

負(fù)責(zé)RESP協(xié)議串的拼裝；

/**
 * redis客戶端
 * 消息協(xié)議層
 */
public class RedisProtocol {

    public static final String DOLLAR_BYTE = "$";
    public static final String ASTERISK_BYTE = "*";
    public static final String BLANK_STRING = "\r\n";

    /**
     * redis操作命令 枚舉
     */
    public static enum Command {
        PING, SET, GET
    }

    /**
     * 發(fā)送命令
     *
     * @param os
     * @param command
     * @param args
     */
    public static void sendCommand(OutputStream os, Command command, byte[]... args) {
        StringBuffer sb = new StringBuffer();
        sb.append(ASTERISK_BYTE).append(args.length + 1).append(BLANK_STRING);
        sb.append(DOLLAR_BYTE).append(command.name().length()).append(BLANK_STRING);
        sb.append(command.name()).append(BLANK_STRING);

        for (byte[] arg : args) {
            sb.append(DOLLAR_BYTE).append(arg.length).append(BLANK_STRING);
            sb.append(new String(arg)).append(BLANK_STRING);
        }

        try {
            os.write(sb.toString().getBytes());
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}
API層 RedisClient

頂層API，供用戶使用；

public class RedisCilent {


    private Connection connection;

    public RedisCilent(String host, int port) {
        connection = new Connection(host, port);
    }


    public String set(String key, String value) {
        connection.sendCommand(RedisProtocol.Command.SET, key.getBytes(), value.getBytes());
        return connection.getStatusReply();
    }


    public String get(String key) {
        connection.sendCommand(RedisProtocol.Command.GET, key.getBytes());
        return connection.getStatusReply();
    }


    public static void main(String[] args) {
        RedisCilent cilent = new RedisCilent("127.0.0.1", 6379);
        System.out.println(cilent.set("mt", "2011"));
        System.out.println(cilent.get("mt"));
    }
}

舉一反三

我們經(jīng)常使用Jedis，對(duì)Redis進(jìn)行各種操作。一番探究下來(lái)，其實(shí)本質(zhì)就是客戶端程序和服務(wù)端建立連接，在指定的端口傳輸“指令數(shù)據(jù)”；
只是“指令數(shù)據(jù)”，需要按照約定的格式。

Jedis客戶端和redis-server之間就是普通的網(wǎng)絡(luò)通信。特殊之處，就是Redis采用的序列化協(xié)議RESP是非二進(jìn)制、人類可讀的。

其實(shí)，其他組件的客戶端，也是通過(guò)類似的模式；
1、MySQL客戶端，和mysql-server進(jìn)行交互，也是通過(guò)TCP，默認(rèn)在3306端口；
2、Zookeeper客戶端，和server端交互、傳輸指令，也是通過(guò)TCP連接，默認(rèn)在2181端口；
3、……
這些客戶端和對(duì)應(yīng)server的交互，本身就是基于tcp的一個(gè)Request/Response模式。
是不是，可以列舉很多呢。其實(shí)了解了底層原理，一通百通。

我們實(shí)現(xiàn)的mini版 Jedis，只是實(shí)現(xiàn)了最核心的set、get操作；然而對(duì)于操作Redis來(lái)說(shuō)，雖然這是最基礎(chǔ)、最核心的，但真正完備的Redis客戶端，還應(yīng)該支持 諸如連接斷開(kāi)重試、pipeline管道操作等。
但本文的最終目的并不是重復(fù)造一個(gè)輪子，而是通過(guò)對(duì)底層原理的研究，做到反推、和驗(yàn)證，進(jìn)而舉一反三。
（偷偷告訴你，進(jìn)階版Jedis更像Jedis的源碼哦~）

本文首發(fā)于公眾號(hào) 架構(gòu)道與術(shù)(ToBeArchitecturer)，歡迎關(guān)注、共同進(jìn)步~

關(guān)注公眾號(hào)，回復(fù)redis，獲得完整源碼。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • RESP 文章開(kāi)始前，先放出兩道面試題1.Redis底層，使用的什么協(xié)議?2.RESP是什么，在Redis怎么體現(xiàn)...
    消失er閱讀 4,560評(píng)論 1贊 2
  • NOSQL類型簡(jiǎn)介鍵值對(duì)：會(huì)使用到一個(gè)哈希表，表中有一個(gè)特定的鍵和一個(gè)指針指向特定的數(shù)據(jù)，如redis，volde...
    MicoCube閱讀 4,160評(píng)論 2贊 27
  • 1.1 資料 ，最好的入門小冊(cè)子，可以先于一切文檔之前看，免費(fèi)。 作者Antirez的博客，Antirez維護(hù)的R...
    JefferyLcm閱讀 17,322評(píng)論 1贊 51
  • 在使用 Redis 的過(guò)程中經(jīng)常會(huì)好奇，在 Redis-Cli 中鍵入 SET KEY MSG 并回車之后，Red...
    Draveness閱讀 3,365評(píng)論 3贊 10
  • 1. Redis通信協(xié)議 Jedis Client是Redis官網(wǎng)推薦的一個(gè)面向java客戶端，庫(kù)文件實(shí)現(xiàn)了對(duì)re...
    ElevenKing閱讀 295評(píng)論 0贊 0

友情鏈接更多精彩內(nèi)容