Redis 核心原理與應(yīng)用實(shí)踐

Redis是單線(xiàn)程程序，但是Redis是高效的緩存數(shù)據(jù)庫(kù)（單機(jī)10w QPS）。

Redis單線(xiàn)程為什么這么快？

• 數(shù)據(jù)存儲(chǔ)在內(nèi)存中：所有的運(yùn)算都是內(nèi)存級(jí)別的運(yùn)算
• 單線(xiàn)程程序優(yōu)勢(shì)：沒(méi)有cup上下文切換消耗，也不需要對(duì)數(shù)據(jù)加鎖，沒(méi)有多線(xiàn)程資源競(jìng)爭(zhēng)
• 連接多路復(fù)用模式：客戶(hù)端連接Redis采用多路復(fù)用模式，非阻塞IO處理客戶(hù)端命令，客戶(hù)端套接字命令放入指令隊(duì)列順序執(zhí)行

Redis持久化

為保證Redis數(shù)據(jù)不會(huì)因?yàn)楣收隙鴣G失，Redis采用快照、AOF日志兩種持久化機(jī)制。快照是全量的數(shù)據(jù)備份（內(nèi)存的二進(jìn)制序列化形式），AOF日志是連續(xù)的增量備份（內(nèi)存數(shù)據(jù)修改的指令記錄）。

Redis持久化快照

Redis是單線(xiàn)程的程序 這就意味著需要一邊負(fù)責(zé)客戶(hù)端套接字的讀寫(xiě)和內(nèi)存數(shù)據(jù)結(jié)構(gòu)的路基讀寫(xiě)，一邊負(fù)責(zé)Redis內(nèi)存快照文件IO操作。

因?yàn)镽edis快照IO快照操作會(huì)阻塞主線(xiàn)程，會(huì)影響Redis線(xiàn)上業(yè)務(wù)，為了解決這個(gè)問(wèn)題。Redis使用操作系統(tǒng)多進(jìn)程COW機(jī)制來(lái)實(shí)現(xiàn)快照持久化。

在Redis快照持久化時(shí)會(huì)fork產(chǎn)生一個(gè)子進(jìn)程，快照的持久化交給子進(jìn)程來(lái)完成。子進(jìn)程與父進(jìn)程共享內(nèi)存的代碼和數(shù)據(jù)，子進(jìn)程負(fù)責(zé)數(shù)據(jù)的持久化，不會(huì)修改內(nèi)存的結(jié)構(gòu)和數(shù)據(jù)，序列化寫(xiě)到磁盤(pán)中。父進(jìn)程會(huì)持續(xù)服務(wù)客戶(hù)端響應(yīng)，持續(xù)對(duì)內(nèi)存結(jié)構(gòu)和數(shù)據(jù)修改。

父進(jìn)程使用操作系統(tǒng)COW機(jī)制進(jìn)行數(shù)據(jù)段頁(yè)面分離。當(dāng)需要對(duì)一個(gè)頁(yè)面的數(shù)據(jù)進(jìn)行修改時(shí)，會(huì)復(fù)制一份頁(yè)面分離出來(lái)，并對(duì)這個(gè)扶著的頁(yè)面進(jìn)行修改。子進(jìn)程快照數(shù)據(jù)在子進(jìn)程產(chǎn)生的一瞬間就凝固了不會(huì)再改變即產(chǎn)生了內(nèi)存快照。

AOF日志持久化

AOF日志存儲(chǔ)Redis服務(wù)器的順序指令序列，記錄對(duì)內(nèi)存進(jìn)行修改的指令?？梢酝ㄟ^(guò)指令重放來(lái)回復(fù)Redis實(shí)例中的數(shù)據(jù)結(jié)構(gòu)。

Redis會(huì)先執(zhí)行指令，然后將該指令記錄存儲(chǔ)到AOF日志中。AOF日志是文件形式存儲(chǔ)的，需要將內(nèi)核中的指令記錄刷新到磁盤(pán)中（IO操作）。

Redis混合持久化

Redis4.0提供了混合持久化選項(xiàng)，將rdb文件和增量的AOF日志文件存放在一起。先加載rdb內(nèi)容，然后再重放增量的AOF日志，提高Redis持久化效率。

Redis管道

Redis管道的實(shí)質(zhì)是命令打包執(zhí)行，多次網(wǎng)絡(luò)交互打包成單次交互。

image.png

在批量查詢(xún)和寫(xiě)入操作時(shí)可以使用管道減少與Redis服務(wù)器的多次網(wǎng)絡(luò)交互，管道只適用于無(wú)因果關(guān)聯(lián)的多命令操作。

Redis集群

Redis主從同步

Redis中有Master服務(wù)和多個(gè)Slave從服務(wù)器，從服務(wù)器從主服務(wù)器同步數(shù)據(jù)。

1. 增量同步：同步Redis指令流，記錄在固定長(zhǎng)度的環(huán)形山數(shù)組buffer中。當(dāng)主節(jié)點(diǎn)中未同步的指令覆蓋了buffer環(huán)時(shí)，從節(jié)點(diǎn)需要通過(guò)快照同步主節(jié)點(diǎn)數(shù)據(jù)。
2. 快照同步：主節(jié)點(diǎn)進(jìn)行bgsave將內(nèi)存數(shù)據(jù)存儲(chǔ)到磁盤(pán)文件中，然后將快照文件傳送給子節(jié)點(diǎn)，子節(jié)點(diǎn)全量加載快照數(shù)據(jù)。
3. 無(wú)盤(pán)復(fù)制：主節(jié)點(diǎn)通過(guò)套接字將內(nèi)存快照內(nèi)容發(fā)送給子節(jié)點(diǎn)。從節(jié)點(diǎn)先將內(nèi)容存儲(chǔ)到磁盤(pán)文件中，再一次性加載。

Redis主從同步哨兵模式（Sentinel）

Sentinel負(fù)責(zé)持續(xù)監(jiān)控主從節(jié)點(diǎn)健康狀態(tài)，當(dāng)主節(jié)點(diǎn)掛掉后，自動(dòng)選擇一個(gè)最優(yōu)的從節(jié)點(diǎn)切換為主節(jié)點(diǎn)。

客戶(hù)端連接Redis服務(wù)集群時(shí)，先連接Sentinel，通過(guò)Sentinel獲取主節(jié)點(diǎn)地址，然后再連接主節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交互。當(dāng)主節(jié)點(diǎn)點(diǎn)掛掉后，Sentinel會(huì)將新的主節(jié)點(diǎn)地址告訴客戶(hù)端。

image.png

Redis集群方案Cluster

Cluster集群方案是去中心化的Redis水平擴(kuò)展方案，每個(gè)節(jié)點(diǎn)負(fù)責(zé)整個(gè)集群的部分?jǐn)?shù)據(jù)。 Redis Cluster將所有數(shù)據(jù)劃分為16384個(gè)虛擬槽位，每個(gè)節(jié)點(diǎn)負(fù)責(zé)部分槽位。槽位信息存儲(chǔ)與每個(gè)節(jié)點(diǎn)中，客戶(hù)端連接集群時(shí)獲取槽位存儲(chǔ)配置信息。

為了增加集群的可訪(fǎng)問(wèn)性，官方推薦的方案是將node配置成主從結(jié)構(gòu)，即一個(gè)master主節(jié)點(diǎn)，掛n個(gè)slave從節(jié)點(diǎn)。

• 無(wú)中心架構(gòu)，支持動(dòng)態(tài)擴(kuò)容，對(duì)業(yè)務(wù)透明
• 具備Sentinel的監(jiān)控和自動(dòng)Failover能力
• 客戶(hù)端不需要連接集群所有節(jié)點(diǎn),連接集群中任何一個(gè)可用節(jié)點(diǎn)即可
• 高性能，客戶(hù)端直連redis服務(wù)，免去了proxy代理的損耗