綜述
最近筆者閱讀并研究redis源碼，在redis客戶端與服務(wù)器端交互這個內(nèi)容點上，需要參考網(wǎng)上一些文章，但是遺憾的是發(fā)現(xiàn)大部分文章都斷斷續(xù)續(xù)的非系統(tǒng)性的，不能給讀者此交互流程的整體把握。所以這里我嘗試，站在源碼的角度，將redis client/server 交互流程盡可能簡單地展現(xiàn)給大家，同時也站在DBA的角度給出一些日常工作中注意事項。
Redis client/server 交互步驟分為以下6個步驟：
一、Client 發(fā)起socket 連接
二、Server 接受socket連接
三、客戶端 開始寫入
四、server 端接收寫入
五、server 返回寫入結(jié)果
六、Client收到返回結(jié)果
注：為使文章盡可能簡潔，這里只討論客戶端命令寫入的過程，不討論客戶端命令讀取的流程。
在進(jìn)一步閱讀和了解互動流程之前，請大家確保已經(jīng)熟練掌握了Linux Socket 建立流程和epoll I/O 多路復(fù)用技術(shù)兩個技術(shù)點，這對文章內(nèi)容的理解至關(guān)重要。
交互的整體流程
在介紹6個步驟之前，首先看一下redis client/server 交互流程整體的程序執(zhí)行流程圖：
(點擊放大圖像)
上圖中6個步驟分別用不同的顏色箭頭表示，并且最終結(jié)果也用相對應(yīng)的顏色標(biāo)識。
首先看看綠色框里面的循環(huán)執(zhí)行的方法，最末是epoll_wait方法，即等待事件產(chǎn)生的方法。然后再看第2、4、5步驟的末尾都有epoll_ctl方法，即epoll事件注冊函數(shù)。關(guān)于epoll的相關(guān)技術(shù)解析請參看文末一段。
在這里的循環(huán)還有個beforeSleep方法，其實它跟我們這次討論的話題沒有太大的關(guān)系。但是還是想給大家介紹一下。
beforeSleep方法主要做以下幾件事：
執(zhí)行一次快速的主動過期檢查，檢查是否有過期的key
當(dāng)有客戶端阻塞時，向所有從庫發(fā)送ACK請求
unblock 在同步復(fù)制時候被阻塞的客戶端
嘗試執(zhí)行之前被阻塞客戶端的命令
將AOF緩沖區(qū)的內(nèi)容寫入到AOF文件中
如果是集群，將會根據(jù)需要執(zhí)行故障遷移、更新節(jié)點狀態(tài)、保存node.conf 配置文件。
如此，redis整個事件管理器機(jī)制就比較清楚了。接下來進(jìn)一步探討并理解事件是如何觸發(fā)并創(chuàng)建。
交互的六大步驟
下面正式開始介紹redis client/server 交互的6大步驟
一、Client 發(fā)起socket 連接
(點擊放大圖像)
這里以redis-cli 客戶端為例，當(dāng)執(zhí)行以下語句時：
[root@zbdba redis-3.0]# ./src/redis-cli -p 6379 -h 127.0.0.1
127.0.0.1:6379>
客戶端會做如下操作：
1、獲取客戶端參數(shù)，如端口、ip地址、dbnum、socket等
也就是我們執(zhí)行./src/redis-cli --help 中列出的參數(shù)
2、根據(jù)用戶指定參數(shù)確定客戶端處于哪種模式
目前共有：
Latency mode/Slave mode/Get RDB mode/Pipe mode/Find
big keys/Stat mode/Scan mode/Intrinsic latency mode
以上8種模式
例如：stat 模式
[root@zbdba redis-3.0]# ./src/redis-cli -p 6379 -h 127.0.0.1 --stat
------- data ------ --------------------- load -------------------- - child -
keys? ? ? mem? ? ? clients blocked requests? ? ? ? ? ? connections? ? ? ?
1? ? ? ? ? 817.18K? 2? ? ? 0? ? ? 1 (+0)? ? ? ? ? ? ? 2? ? ? ? ?
1? ? ? ? ? 817.18K? 2? ? ? 0? ? ? 2 (+1)? ? ? ? ? ? ? 2? ? ? ? ?
1? ? ? ? ? 817.18K? 2? ? ? 0? ? ? 3 (+1)? ? ? ? ? ? ? 2? ? ? ? ?
1? ? ? ? ? 817.18K? 2? ? ? 0? ? ? 4 (+1)? ? ? ? ? ? ? 2? ? ? ? ?
1? ? ? ? ? 817.18K? 2? ? ? 0? ? ? 5 (+1)? ? ? ? ? ? ? 2? ? ? ? ?
1? ? ? ? ? 817.18K? 2? ? ? 0? ? ? 6 (+1)? ? ? ? ? ? ? 2
我們這里沒有指定，就是默認(rèn)的模式。
3、進(jìn)入上圖中step1的cliConnect 方法，cliConnect主要包含redisConnect、redisConnectUnix方法。這兩個方法分別用于TCP Socket連接以及Unix Socket連接，Unix Socket用于同一主機(jī)進(jìn)程間的通信。我們上面是采用的TCP Socket連接方式也就是我們平常生產(chǎn)環(huán)境常用的方式，這里不討論Unix Socket連接方式，如果要使用Unix Socket連接方式，需要配置unixsocket 參數(shù)，并且按照下面方式進(jìn)行連接：
[root@zbdba redis-3.0]# ./src/redis-cli -s /tmp/redis.sock
redis /tmp/redis.sock>
4、進(jìn)入redisContextInit方法，redisContextInit方法用于創(chuàng)建一個Context結(jié)構(gòu)體保存在內(nèi)存中，如下：
/* Context for a connection to Redis */
typedef struct redisContext {
? ? int err; /* Error flags, 0 when there is no error */
? ? char errstr[128]; /* String representation of error when applicable */
? ? int fd;
? ? int flags;
? ? char *obuf; /* Write buffer */
? ? redisReader *reader; /* Protocol reader */
} redisContext;
主要用于保存客戶端的一些東西，最重要的就是 write buffer和redisReader，write buffer 用于保存客戶端的寫入，redisReader用于保存協(xié)議解析器的一些狀態(tài)。
5、進(jìn)入redisContextConnectTcp 方法，開始獲取IP地址和端口用于建立連接，主要方法如下：
s = socket(p->ai_family,p->ai_socktype,p->ai_protocol
connect(s,p->ai_addr,p->ai_addrlen)
到此客戶端向服務(wù)端發(fā)起建立socket連接，并且等待服務(wù)器端響應(yīng)。
當(dāng)然cliConnect方法中還會調(diào)用cliAuth方法用于權(quán)限驗證、cliSelect用于db選擇，這里不著重討論。
二、Server 接受socket連接
(點擊放大圖像)
服務(wù)器接收客戶端的請求首先是從epoll_wait取出相關(guān)的事件，然后進(jìn)入上圖中step2中的方法，執(zhí)行acceptTcpHandler或者acceptUnixHandler方法，那么這兩個方法對應(yīng)的事件是在什么時候注冊的呢？他們是在服務(wù)器端初始化的時候創(chuàng)建。下面看看服務(wù)器端在初始化的時候與socket相關(guān)的地方
1、打開TCP監(jiān)聽端口
? ? if (server.port != 0 &&
? ? ? ? listenToPort(server.port,server.ipfd,&server.ipfd_count) == REDIS_ERR)
? ? ? ? exit(1);
2、打開unix 本地端口
? if (server.unixsocket != NULL) {
? ? ? ? unlink(server.unixsocket); /* don't care if this fails */
? ? ? ? server.sofd = anetUnixServer(server.neterr,server.unixsocket,
? ? ? ? ? ? server.unixsocketperm, server.tcp_backlog);
? ? ? ? if (server.sofd == ANET_ERR) {
? ? ? ? ? ? redisLog(REDIS_WARNING, "Opening socket: %s", server.neterr);
? ? ? ? ? ? exit(1);
? ? ? ? }
? ? ? ? anetNonBlock(NULL,server.sofd);
? ? }
3、為TCP連接關(guān)聯(lián)連接應(yīng)答處理器(accept)
? for (j = 0; j < server.ipfd_count; j++) {
? ? ? ? if (aeCreateFileEvent(server.el, server.ipfd[j], AE_READABLE,
? ? ? ? ? ? acceptTcpHandler,NULL) == AE_ERR)
? ? ? ? ? ? {
? ? ? ? ? ? ? ? redisPanic(
? ? ? ? ? ? ? ? ? ? "Unrecoverable error creating server.ipfd file event.");
? ? ? ? ? ? }
? ? }
4、為Unix Socket關(guān)聯(lián)應(yīng)答處理器
if (server.sofd > 0 && aeCreateFileEvent
? ? (server.el,server.sofd,AE_READABLE,
? ? ? ? acceptUnixHandler,NULL) == AE_ERR)
redisPanic("Unrecoverable error creating server.sofd file event.");
在1/2步驟涉及到的方法中是Linux Socket的常規(guī)操作，獲取IP地址，端口。最終通過socket、bind、listen方法建立起Socket監(jiān)聽。也就是上圖中acceptTcpHandler和acceptUnixHandler下面對應(yīng)的方法。
在3/4步驟涉及到的方法中采用aeCreateFileEvent 方法創(chuàng)建相關(guān)的連接應(yīng)答處理器，在客戶端請求連接的時候觸發(fā)。
所以現(xiàn)在整個socket連接建立流程就比較清楚了，如下：
服務(wù)器初始化建立socket監(jiān)聽
服務(wù)器初始化創(chuàng)建相關(guān)連接應(yīng)答處理器,通過epoll_ctl注冊事件
客戶端初始化創(chuàng)建socket connect 請求
服務(wù)器接受到請求，用epoll_wait方法取出事件
服務(wù)器執(zhí)行事件中的方法(acceptTcpHandler/acceptUnixHandler)并接受socket連接
至此客戶端和服務(wù)器端的socket連接已經(jīng)建立，但是此時服務(wù)器端還繼續(xù)做了2件事：
采用createClient方法在服務(wù)器端為客戶端創(chuàng)建一個client，因為I/O復(fù)用所以需要為每個客戶端維持一個狀態(tài)。這里的client也在內(nèi)存中分配了一塊區(qū)域，用于保存它的一些信息，如套接字描述符、默認(rèn)數(shù)據(jù)庫、查詢緩沖區(qū)、命令參數(shù)、認(rèn)證狀態(tài)、回復(fù)緩沖區(qū)等。這里提醒一下DBA同學(xué)關(guān)于client-output-buffer-limit設(shè)置，設(shè)置不恰當(dāng)將會引起客戶端中斷。
采用aeCreateFileEvent方法在服務(wù)器端創(chuàng)建一個文件讀事件并且綁定readQueryFromClient方法。
可以從圖中得知，aeCreateFileEvent 調(diào)用aeApiAddEvent方法最終通過epoll_ctl 方法進(jìn)行注冊事件。
三、客戶端開始寫入
(點擊放大圖像)
客戶端在與服務(wù)器端建立好socket連接之后，開始執(zhí)行上圖中step3的repl方法。從圖中可知repl方法接受輸入輸出主要是采用linenoise插件。當(dāng)然這是針對redis-cli客戶端哦。linenoise 是一款優(yōu)秀的命令行編輯庫，被廣泛的運用在各種DB上，如Redis、MongoDB，這里不詳細(xì)討論?？蛻舳藢懭肓鞒谭譃橐韵聨撞剑?/p>
1、linenoise等待接受用戶輸入
2、linenoise 將用戶輸入內(nèi)容傳入cliSendCommand方法，cliSendCommand方法會判斷命令是否為特殊命令，如：
help
info
cluster nodes
cluster info
client list
shutdown
monitor
subscribe
psubscribe
sync
psync
客戶端會根據(jù)以上命令設(shè)置對應(yīng)的輸出格式以及客戶端的模式，因為這里我們是普通寫入，所以不會涉及到以上的情況。
3、cliSendCommand方法會調(diào)用redisAppendCommandArgv方法，redisAppendCommandArgv方法會調(diào)用redisFormatCommandArgv和__redisAppendCommand方法
redisFormatCommandArgv方法用于將客戶端輸入的內(nèi)容格式化成redis協(xié)議：
例如:
set zbdba jingbo
*3\r\n$3\r\n set\r\n $5\r\n zbdba\r\n $6\r\n jingbo
__redisAppendCommand方法用于將命令寫入到outbuf中
接著客戶端進(jìn)入下一個流程，將outbuf內(nèi)容寫入到套接字描述符上并傳輸?shù)椒?wù)器端。
4、進(jìn)入redisGetReply方法，該方法下主要有redisGetReplyFromReader和redisBufferWrite 方法，redisGetReplyFromReader主要用于讀取掛起的回復(fù)，redisBufferWrite 方法用于將當(dāng)前outbuf中的內(nèi)容寫入到套接字描述符中，并傳輸內(nèi)容。
主要方法如下：
nwritten = write(c->fd,c->obuf,sdslen(c->obuf));
此時客戶端等待服務(wù)器端接收寫入。
四、server 端接收寫入
(點擊放大圖像)
服務(wù)器端依然在進(jìn)行事件循環(huán)，在客戶端發(fā)來內(nèi)容的時候觸發(fā)，對應(yīng)的文件讀取事件。這就是之前創(chuàng)建socket連接的時候建立的事件，該事件綁定的方法是readQueryFromClient 。此時進(jìn)入step4的readQueryFromClient 方法。
readQueryFromClient 方法用于讀取客戶端的發(fā)送的內(nèi)容。它的執(zhí)行步驟如下：
１、在readQueryFromClient方法中從服務(wù)器端套接字描述符中讀取客戶端的內(nèi)容到服務(wù)器端初始化client的查詢緩沖中，主要方法如下：
nread = read(fd, c->querybuf+qblen, readlen);
２、交給processInputBuffer處理，processInputBuffer 主要包含兩個方法，processInlineBuffer和processCommand。processInlineBuffer方法用于采用redis協(xié)議解析客戶端內(nèi)容并生成對應(yīng)的命令并傳給processCommand 方法，processCommand方法則用于執(zhí)行該命令
3、processCommand方法會以下操作：
處理是否為quit命令。
對命令語法及參數(shù)會進(jìn)行檢查。
這里如果采取認(rèn)證也會檢查認(rèn)證信息。
如果Redis為集群模式，這里將進(jìn)行hash計算key所屬slot并進(jìn)行轉(zhuǎn)向操作。
如果設(shè)置最大內(nèi)存，那么檢查內(nèi)存是否超過限制，如果超過限制會根據(jù)相應(yīng)的內(nèi)存策略刪除符合條件的鍵來釋放內(nèi)存
如果這是一個主服務(wù)器，并且這個服務(wù)器之前執(zhí)行bgsave發(fā)生了錯誤，那么不執(zhí)行命令
如果min-slaves-to-write開啟，如果沒有足夠多的從服務(wù)器將不會執(zhí)行命令
注：所以DBA在此的設(shè)置非常重要，建議不是特殊場景不要設(shè)置。
如果這個服務(wù)器是一個只讀從庫的話，拒絕寫入命令。
在訂閱于發(fā)布模式的上下文中，只能執(zhí)行訂閱和退訂相關(guān)的命令
當(dāng)這個服務(wù)器是從庫，master_link down 并且slave-serve-stale-data 為 no 只允許info 和slaveof命令
如果服務(wù)器正在載入數(shù)據(jù)到數(shù)據(jù)庫，那么只執(zhí)行帶有REDIS_CMD_LOADING標(biāo)識的命令
lua腳本超時，只允許執(zhí)行限定的操作，比如shutdown、script kill 等
4、最后進(jìn)入call方法。
call方法會調(diào)用setCommand，因為這里我們執(zhí)行的set zbdba jingbo，set 命令對應(yīng)setCommand 方法，redis服務(wù)器端在開始初始化的時候就會初始化命令表，命令表如下：
struct redisCommand redisCommandTable[] = {
? ? {"get",getCommand,2,"r",0,NULL,1,1,1,0,0},
? ? {"set",setCommand,-3,"wm",0,NULL,1,1,1,0,0},
? ? {"setnx",setnxCommand,3,"wm",0,NULL,1,1,1,0,0},
? ? {"setex",setexCommand,4,"wm",0,NULL,1,1,1,0,0},
? ? {"psetex",psetexCommand,4,"wm",0,NULL,1,1,1,0,0},
? ? {"append",appendCommand,3,"wm",0,NULL,1,1,1,0,0},
? ? {"strlen",strlenCommand,2,"r",0,NULL,1,1,1,0,0},
? ? {"del",delCommand,-2,"w",0,NULL,1,-1,1,0,0},
? ? {"exists",existsCommand,2,"r",0,NULL,1,1,1,0,0},
? ? {"setbit",setbitCommand,4,"wm",0,NULL,1,1,1,0,0},
? ? ....
}
所以如果是其他的命令會調(diào)用其他相對應(yīng)的方法。call方法還會做一些事件，比如發(fā)送命令到從庫、發(fā)送命令到aof、計算命令執(zhí)行的時間。
5、setCommand方法，setCommand方法會調(diào)用setGenericCommand方法，該方法首先會判斷該key是否已經(jīng)過期，最后調(diào)用setKey方法。
這里需要說明一點的是，通過以上的分析。redis的key過期包括主動檢測以及被動監(jiān)測
主動監(jiān)測
在beforeSleep方法中執(zhí)行key快速過期檢查，檢查模式為ACTIVE_EXPIRE_CYCLE_FAST。周期為每個事件執(zhí)行完成時間到下一次事件循環(huán)開始
在serverCron方法中執(zhí)行key過期檢查，這是key過期檢查主要的地方，檢查模式為ACTIVE_EXPIRE_CYCLE_SLOW，serverCron方法執(zhí)行周期為1秒鐘執(zhí)行server.hz 次，hz默認(rèn)為10，所以約100ms執(zhí)行一次。hz設(shè)置越大過期鍵刪除就越精準(zhǔn)，但是cpu使用率會越高，這里我們線上redis采用的默認(rèn)值。redis主要是在這個方法里刪除大部分的過期鍵。
被動監(jiān)測
使用內(nèi)存超過最大內(nèi)存被迫根據(jù)相應(yīng)的內(nèi)存策略刪除符合條件的key。
在key寫入之前進(jìn)行被動檢查，檢查key是否過期，過期就進(jìn)行刪除。
還有一種不友好的方式，就是randomkey命令，該命令隨機(jī)從redis獲取鍵，每次獲取到鍵的時候會檢查該鍵是否過期。
以上主要是讓運維的同學(xué)更加清楚redis的key過期刪除機(jī)制。
6、進(jìn)入setKey方法，setKey方法最終會調(diào)用dbAdd方法，其實最終就是將該鍵值對存入服務(wù)器端維護(hù)的一個字典中，該字典是在服務(wù)器初始化的時候創(chuàng)建，用于存儲服務(wù)器的相關(guān)信息，其中包括各種數(shù)據(jù)類型的鍵值存儲。完成了寫入方法時候，此時服務(wù)器端會給客戶端返回結(jié)果。
7、進(jìn)入prepareClientToWrite方法然后通過調(diào)用_addReplyToBuffer方法將返回結(jié)果寫入到outbuf中（客戶端連接時創(chuàng)建的client）
8、通過aeCreateFileEvent方法注冊文件寫事件并綁定sendReplyToClient方法
五、server 返回寫入結(jié)果
(點擊放大圖像)
此時按照慣例，aeMain主函數(shù)循環(huán)，監(jiān)測到新注冊的事件，調(diào)用sendReplyToClient方法。sendReplyToClient方法主要包含兩個操作：
1、將outbuf內(nèi)容寫入到套接字描述符并傳輸?shù)娇蛻舳?，主要方法如下?/p>
nwritten = write(fd,c->buf+c->sentlen,c->bufpos-c->sentlen);
2、aeDeleteFileEvent 用于刪除 文件寫事件
六、Client收到返回結(jié)果
(點擊放大圖像)
客戶端接收到服務(wù)器端的返回調(diào)用redisBufferRead方法，該方法主要用于從socket中讀取數(shù)據(jù)。主要方法如下：
nread = read(c->fd,buf,sizeof(buf));
并且將讀取的數(shù)據(jù)交由redisReaderFeed方法，該方法主要用于將數(shù)據(jù)交給回復(fù)解析器處理，也就是cliFormatReplyRaw，該方法將回復(fù)內(nèi)容格式化。最終通過
fwrite(out,sdslen(out),1,stdout);
方法返回給客戶端并打印展示給用戶。
至此整個寫入流程完成。以上還有很多細(xì)節(jié)沒有說到，感興趣的朋友可以自行閱讀源碼。
結(jié)語
在深入了解一個DB的時候，我的第一步就是去理解它執(zhí)行一條命令執(zhí)行的整個流程，這樣就能對它整個運行流程較為熟悉，接著我們可以去深入各個細(xì)節(jié)的部分，比如Redis的相關(guān)數(shù)據(jù)結(jié)構(gòu)、持久化以及高可用相關(guān)的東西。寫這篇文章的初衷就是希望我們更加輕松的走好這第一步。這里還需要提醒的是，在我們進(jìn)行Redis源碼閱讀的時候最關(guān)鍵的是需要靈活的使用GDB調(diào)試工具，它能幫我們更好的去理順相關(guān)執(zhí)行步驟，從而讓我們更加容易理解其實現(xiàn)原理。
附錄：兩個相關(guān)重要知識點
1、Linux Socket 建立流程
(點擊放大圖像)
linux socket建立過程如上圖所示。在Linux編程時，無論是操作文件還是網(wǎng)絡(luò)操作時都是通過文件描述符來進(jìn)行讀寫的，但是他們有一點區(qū)別，這里我們不具體討論，我們將網(wǎng)絡(luò)操作時就稱為套接字描述符。大家可以自行用c寫一個簡單的demo，這里就不詳細(xì)說明了。
這里列出幾個重要的方法：
int socket(int family,int type,int protocol);
int connect(int sockfd,const struct sockaddr * servaddr,socklen_taddrlen);
int bind(int sockfd,const struct sockaddr * myaddr,socklen_taddrlen);
int listen(int sockfd,int backlog);
int accept(int sockfd,struct sockaddr *cliaddr,socklen_t * addrlen);
Redis client/server 也是基于linux socket連接進(jìn)行交互，并且最終調(diào)用以上方法綁定IP，監(jiān)聽端口最終與客戶端建立連接。
2、epoll I/O 多路復(fù)用技術(shù)
這里重點介紹一下epoll，因為Redis事件管理器核心實現(xiàn)基本依賴于它。首先來看epoll是什么，它能做什么？
epoll是在Linux 2.6內(nèi)核中引進(jìn)的，是一種強(qiáng)大的I/O多路復(fù)用技術(shù)，上面我們已經(jīng)說到在進(jìn)行網(wǎng)絡(luò)操作的時候是通過文件描述符來進(jìn)行讀寫的，那么平常我們就是一個進(jìn)程操作一個文件描述符。然而epoll可以通過一個文件描述符管理多個文件描述符，并且不阻塞I/O。這使得我們單進(jìn)程可以操作多個文件描述符，這就是redis在高并發(fā)性能還如此強(qiáng)大的原因之一。
下面簡單介紹epoll 主要的三個方法：
int epoll_create(int size) //創(chuàng)建一個epoll句柄用于監(jiān)聽文件描述符FD，size用于告訴內(nèi)核這個監(jiān)聽的數(shù)目一共有多大。該epoll句柄創(chuàng)建后在操作系統(tǒng)層面只會占用一個fd值，但是它可以監(jiān)聽size+1 個文件描述符。
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)//epoll事件注冊函數(shù)
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout)//等待事件的產(chǎn)生
Redis 的事件管理器主要是基于epoll機(jī)制，先采用 epoll_ctl方法 注冊事件，然后再使用epoll_wait方法取出已經(jīng)注冊的事件。
我們知道redis支持多種平臺，那么redis在這方面是如何兼容其他平臺的呢？Redis會根據(jù)操作系統(tǒng)的類型選擇對應(yīng)的IO多路復(fù)用實現(xiàn)。
#ifdef HAVE_EVPORT
#include "ae_evport.c"
#else
? ? #ifdef HAVE_EPOLL
? ? #include "ae_epoll.c"
? ? #else
? ? ? ? #ifdef HAVE_KQUEUE
? ? ? ? #include "ae_kqueue.c"
? ? ? ? #else
? ? ? ? #include "ae_select.c"
? ? ? ? #endif
? ? #endif
#endif
ae_evport.c sun solaris
ae_poll.c linux
ae_select.c unix/linux epoll是select的加強(qiáng)版
ae_kqueue BSD/Apple
以上只是簡單的介紹，大家需要詳細(xì)了解了epoll機(jī)制才能更好的理解后面的東西。
參考
https://github.com/antirez/redis
http://www.tenouk.com/Module39a.html
感謝木環(huán)對本文的審校。
給InfoQ中文站投稿或者參與內(nèi)容翻譯工作，請郵件至editors@cn.infoq.com。也歡迎大家通過新浪微博（@InfoQ，@丁曉昀），微信（微信號：InfoQChina）關(guān)注我們。
