前言
Redis是一種鍵值(key-Value)數(shù)據(jù)庫，相對于關(guān)系型數(shù)據(jù)庫，它也被叫作非關(guān)系型數(shù)據(jù)庫。
Redis中，鍵的數(shù)據(jù)類型是字符串，但是為了豐富數(shù)據(jù)存儲方式，方便開發(fā)者使用，值的數(shù)據(jù)類型有很多。
一、SDS
1、SDS源碼解讀
sds (Simple Dynamic String)，Simple的意思是簡單，Dynamic即動態(tài)，意味著其具有動態(tài)增加空間的能力，擴容不需要使用者關(guān)心。String是字符串的意思。說白了就是用C語言自己封裝了一個字符串類型，這個項目由Redis作者antirez創(chuàng)建，作為Redis中基本的數(shù)據(jù)結(jié)構(gòu)之一。
sds有兩個版本，在Redis3.2之前使用的是第一個版本，其數(shù)據(jù)結(jié)構(gòu)如下所示：
typedef char *sds; //注意，sds其實不是一個結(jié)構(gòu)體類型，而是被typedef的char*
struct sdshdr {
unsigned int len; //buf中已經(jīng)使用的長度
unsigned int free; //buf中未使用的長度
char buf[]; //柔性數(shù)組buf
};
復制代碼
但是在Redis 3.2 版本中，對數(shù)據(jù)結(jié)構(gòu)做出了修改，針對不同的長度范圍定義了不同的結(jié)構(gòu)，如下，這是目前的結(jié)構(gòu)：
typedef char *sds;
struct __attribute__ ((__packed__)) sdshdr5 { // 對應的字符串長度小于 1<<5
unsigned char flags;
char buf[];
};
struct __attribute__ ((__packed__)) sdshdr8 { // 對應的字符串長度小于 1<<8
uint8_t len; /* used */ // 目前字符創(chuàng)的長度,使用1個byte
uint8_t alloc; // 已經(jīng)分配的總長度,使用1個byte
unsigned char flags; // flag用3bit來標明類型，類型后續(xù)解釋，其余5bit目前沒有使用。使用1byte。
char buf[]; // 柔性數(shù)組，以'\0'結(jié)尾
};
struct __attribute__ ((__packed__)) sdshdr16 { // 對應的字符串長度小于 1<<16
uint16_t len; /* used，使用2byte */
uint16_t alloc; /* excluding the header and null terminator,使用2byte */
unsigned char flags; /* 3 lsb of type, 5 unused bits */
char buf[];
};
struct __attribute__ ((__packed__)) sdshdr32 { // 對應的字符串長度小于 1<<32
uint32_t len; /* used,使用4byte */
uint32_t alloc; /* excluding the header and null terminator,使用4byte */
unsigned char flags; /* 3 lsb of type, 5 unused bits */
char buf[];
};
struct __attribute__ ((__packed__)) sdshdr64 { // 對應的字符串長度小于 1<<64
uint64_t len; /* used */
uint64_t alloc; /* excluding the header and null terminator */
unsigned char flags; /* 3 lsb of type, 5 unused bits */
char buf[];
};
復制代碼
2、SDS的特點
1.二進制安全的數(shù)據(jù)結(jié)構(gòu)，不會產(chǎn)生數(shù)據(jù)的丟失
2.內(nèi)存預分配機制，避免了頻繁的內(nèi)存分配。當字符串長度小于1M 時，擴容都是加倍現(xiàn)有的空間，如果超過1M，擴容時一次只會多擴1M 的空間。(字符串最大長度為512M)
3.兼容c語言函數(shù)庫
二、Redis中幾種數(shù)據(jù)結(jié)構(gòu)
redisDb默認情況下有16個，每個redisDb內(nèi)部包含一個dict的數(shù)據(jù)結(jié)構(gòu)，dict內(nèi)部包含dictht數(shù)組，數(shù)組個數(shù)為2，主要用于hash擴容使用。dictht內(nèi)部包含dictEntry的數(shù)組，dictEntry其實就是hash表的一個key-value節(jié)點，如果沖突通過鏈地址法解決
1、redisServer
數(shù)據(jù)結(jié)構(gòu)redisServer是一個redis服務端的抽象，定義在server.h中。 redisServer中的屬性非常多，以下為節(jié)選的一部分，簡單介紹下
struct redisServer {
/* General */
pid_t pid; /* Main process pid. */
......
int hz; /* serverCron() calls frequency in hertz */
redisDb *db;
dict *commands; /* Command table */
dict *orig_commands; /* Command table before command renaming. */
aeEventLoop *el;
......
char runid[CONFIG_RUN_ID_SIZE+1]; /* ID always different at every exec. */
......
list *clients; /* List of active clients */
list *clients_to_close; /* Clients to close asynchronously */
list *clients_pending_write; /* There is to write or install handler. */
list *clients_pending_read; /* Client has pending read socket buffers. */
list *slaves, *monitors; /* List of slaves and MONITORs */
client *current_client; /* Current client executing the command. */
......
};
復制代碼
- 1.hz: redis 定時任務觸發(fā)的頻率
- 2.*db: redisDb數(shù)組，默認16個redisDb
- 3.*commands: redis支持的命令的字典
- 4.*el: redis事件循環(huán)實例
- 5.runid[CONFIG_RUN_ID_SIZE+1]: 當前redis實例的runid
2、redisDb
redisDb是redis數(shù)據(jù)庫的抽象，定義在server.h中，比較關(guān)鍵的屬性如下：
typedef struct redisDb {
dict *dict; /* 鍵值對字典，保存數(shù)據(jù)庫中所有的鍵值對 */
dict *expires; /* 過期字典，保存著設(shè)置過期的鍵和鍵的過期時間*/
dict *blocking_keys; /*保存著 所有造成客戶端阻塞的鍵和被阻塞的客戶端 (BLPOP) */
dict *ready_keys; /* 保存著 處于阻塞狀態(tài)的鍵，value為NULL*/
dict *watched_keys; /* 事物模塊，用于保存被WATCH命令所監(jiān)控的鍵 */
// 當內(nèi)存不足時，Redis會根據(jù)LRU算法回收一部分鍵所占的空間，而該eviction_pool是一個長為16數(shù)組，保存可能被回收的鍵
// eviction_pool中所有鍵按照idle空轉(zhuǎn)時間，從小到大排序，每次回收空轉(zhuǎn)時間最長的鍵
struct evictionPoolEntry *eviction_pool; /* Eviction pool of keys */
int id; /* 數(shù)據(jù)庫ID */
long long avg_ttl; /* 鍵的平均過期時間 */
} redisDb;
復制代碼
3、dict
dict是redis中的字典，定義在dict.h文件中，其主要的屬性如下：
typedef struct dict {
dictType *type;
void *privdata;
dictht ht[2]; //方便漸進的rehash擴容，dict的hashtable
long rehashidx; /* rehashing not in progress if rehashidx == -1 */
unsigned long iterators; /* number of iterators currently running */
} dict;
復制代碼
- 1.ht[2]: 哈希表數(shù)組，為了擴容方便有2個元素，其中一個哈希表正常存儲數(shù)據(jù)，另一個哈希表為空，空哈希表在rehash時使用
- 2.rehashidx:rehash索引，當不再進行rehash時，值為-1
4、dictht
dictht是哈希表結(jié)構(gòu)，定義在dict.h文件中，其重要的屬性如下：
typedef struct dictht {
dictEntry **table;
unsigned long size;
unsigned long sizemask;
unsigned long used;
} dictht;
復制代碼
- 1.** table:key-value鍵值對節(jié)點數(shù)組，類似Java中的HashMap底層數(shù)組
- 2.size:哈希表容量大小
- 3.sizemask:總是等于size-1，用于計算索引值
- 4.used:哈希表實際存儲的dictEntry數(shù)量
5、dictEntry
dictEntry是redis中的key-value鍵值對節(jié)點，是實際存儲數(shù)據(jù)的節(jié)點，定義在dict.h文件中，其重要的屬性如下：
typedef struct dictEntry {
void *key;
union {
void *val;
uint64_t u64;
int64_t s64;
double d;
} v;
struct dictEntry *next;
} dictEntry;
復制代碼
- 1.*key:鍵對象，總是一個字符串類型的對象SDS
- 2.*val:值對象，可能是任意類型的對象。對應常見的5種數(shù)據(jù)類型：string,hash,list,set,zset
- 3.*next: 尾指針，指向下一個節(jié)點
三、數(shù)據(jù)類型
1、Redis數(shù)據(jù)對象結(jié)構(gòu)
Redis數(shù)據(jù)庫中所有數(shù)據(jù)都以key-value節(jié)點dictEntry存儲，其中key和value都是一個redisObject結(jié)構(gòu)體對象，只不過key總是一個字符串類型的對象(SDS)，value則可能是任意一種數(shù)據(jù)類型的對象。
redisObject結(jié)構(gòu)體定義在server.h中如下所示：
typedef struct redisObject {
unsigned type:4; //占用4bit
unsigned encoding:4; //占用4bit
unsigned lru:LRU_BITS; /*占用24bit LRU time (relative to global lru_clock) or
* LFU data (least significant 8 bits frequency
* and most significant 16 bits access time). */
int refcount; //占用4byte
void *ptr; //占用8byte 總空間:4bit+4bit+24bit+4byte+8byte = 16byte
} robj;
復制代碼
可以看到該結(jié)構(gòu)體中重要的屬性如下，不同的對象具有不同的類型type，同一個類型的type會有不同的存儲形式encoding
- 1.type:該屬性標明了數(shù)據(jù)對象的類型，比如 String，List等
- 2.encoding:這個屬性指明了對象底層的存儲結(jié)構(gòu)，比如ZSet類型對象可能的存儲結(jié)構(gòu)有ZIPLIST和SKIPLIST
- 3.*ptr:指向底層存儲結(jié)構(gòu)的指針
2、Redis數(shù)據(jù)類型及存儲結(jié)構(gòu)
Redis中數(shù)據(jù)類型及其存儲結(jié)構(gòu)定義在server.h文件中
/* The actual Redis Object */
#define OBJ_STRING 0 /* String object. */
#define OBJ_LIST 1 /* List object. */
#define OBJ_SET 2 /* Set object. */
#define OBJ_ZSET 3 /* Sorted set object. */
#define OBJ_HASH 4 /* Hash object. */
#define OBJ_MODULE 5 /* Module object. */
#define OBJ_STREAM 6 /* Stream object. */
#define OBJ_ENCODING_RAW 0 /* Raw representation */
#define OBJ_ENCODING_INT 1 /* Encoded as integer */
#define OBJ_ENCODING_HT 2 /* Encoded as hash table */
#define OBJ_ENCODING_ZIPMAP 3 /* Encoded as zipmap */
#define OBJ_ENCODING_LINKEDLIST 4 /* No longer used: old list encoding. */
#define OBJ_ENCODING_ZIPLIST 5 /* Encoded as ziplist */
#define OBJ_ENCODING_INTSET 6 /* Encoded as intset */
#define OBJ_ENCODING_SKIPLIST 7 /* Encoded as skiplist */
#define OBJ_ENCODING_EMBSTR 8 /* Embedded sds string encoding */
#define OBJ_ENCODING_QUICKLIST 9 /* Encoded as linked list of ziplists */
#define OBJ_ENCODING_STREAM 10 /* Encoded as a radix tree of listpacks */
復制代碼
四、Redis中常用數(shù)據(jù)類型和結(jié)構(gòu)
1、字符串對象String
OBJ_STRING字符串對象底層數(shù)據(jù)結(jié)構(gòu)一般為簡單動態(tài)字符串（SDS），但其存儲方式可以是OBJ_ENCODING_INT、OBJ_ENCODING_EMBSTR和 OBJ_ENCODING_RAW，不同的存儲方式代表著對象內(nèi)存結(jié)構(gòu)的不同。
a）OBJ_ENCODING_INT
如果保存的字符串長度小于 20 并且可以解析為整數(shù)(值范圍為:-2^63 ~ 2^63-1)，那么這個整數(shù)就會直接保存在 redisObject 的 ptr 屬性里
b）OBJ_ENCODING_EMBSTR
長度小于 44 （OBJ_ENCODING_EMBSTR_SIZE_LIMIT）的字符串將以簡單動態(tài)字符串（SDS） 的形式存儲，但是會使用 malloc 方法一次分配內(nèi)存，將 redisObject 對象頭和 SDS 對象連續(xù)存在一起。因為默認分配空間為64byte，而其中value為string類型采用sdshdr8中l(wèi)en、alloc、flags各占用1byte，buf以'\0'占用1byte，redisObject占用16字節(jié)，剩余buff可使用為64-4-16=44byte。
c）OBJ_ENCODING_RAW
字符串將以簡單動態(tài)字符串（SDS）的形式存儲，需要兩次 malloc 分配內(nèi)存，redisObject 對象頭和 SDS 對象在內(nèi)存地址上一般是不連續(xù)的
d）檢測
#string類型查看redis的存儲
SET key value //存入字符串鍵值對
STRLEN key //查看key的長度(占用的byte字節(jié))
OBJECT ENCODING key //查看key在redis中的存儲類型
SETRANGE key offset value //修改key從offset(字符偏移量)字符修改為value，如果原本為embstr修改后也會變成raw。
GETRANGE key start end //獲取key的部分值
復制代碼
2、列表對象list
OBJ_LIST列表對象的底層存儲結(jié)構(gòu)有過3種實現(xiàn)，分別是OBJ_ENCODING_LINKEDLIST、 OBJ_ENCODING_ZIPLIST和 OBJ_ENCODING_QUICKLIST，其中OBJ_ENCODING_LINKEDLIST在 3.2版本以后就廢棄了。使用命令：OBJECT ENCODING key查看存儲類型。
a）OBJ_ENCODING_LINKEDLIST
底層采用雙端鏈表實現(xiàn)，每個鏈表節(jié)點都保存了一個字符串對象，在每個字符串對象內(nèi)保存了一個元素。
b）OBJ_ENCODING_ZIPLIST
底層實現(xiàn)類似數(shù)組，使用特點屬性保存整個列表的元信息，如整個列表占用的內(nèi)存大小，列表保存的數(shù)據(jù)開始的位置，列表保存的數(shù)據(jù)的個數(shù)等，其保存的數(shù)據(jù)被封裝在zlentry。
[圖片上傳失敗...(image-59ec80-1614238761294)]
- 1.zlbytes：記錄整個壓縮列表占用的內(nèi)存字節(jié)數(shù)。uint_32_t，4byte。
- 2.zltail：記錄壓縮列表表尾節(jié)點距離起始地址有多少字節(jié)，通過這個偏移量，程序無需遍歷整個壓縮列表就能確定表尾節(jié)點地址。uint_32_t，4byte。
- 3.zlen：記錄壓縮列表包含的節(jié)點數(shù)量。uint_16_t，2byte。
- 4.entryX：壓縮列表的各個節(jié)點，節(jié)點長度由保存的內(nèi)容決定。
- 5.zlend：特殊值(0xFFF)，用于標記壓縮列表末端。uint_8_t，1byte。
prerawlen：表示當前節(jié)點的前一個節(jié)點長度
len：當前節(jié)點的長度
data：當前節(jié)點的數(shù)據(jù)
c）OBJ_ENCODING_QUICKLIST
底層采用雙端鏈表結(jié)構(gòu)，不過每個鏈表節(jié)點都保存一個ziplist，數(shù)據(jù)存儲在ziplist中
d）redis.conf配置
通過設(shè)置每個ziplist的最大容量，quicklist的數(shù)據(jù)壓縮范圍，提升數(shù)據(jù)存取效率。
list-max-ziplist-size-2 //單個ziplist節(jié)點最大能存儲8kb，超過則進行分裂，將數(shù)據(jù)存儲在新的ziplist節(jié)點中 list-compress-depth 0 //0代表所有節(jié)點，都不進行壓縮。1，代表從頭節(jié)點往后走一個，尾部節(jié)點往前走一個不用壓縮，其他的全部壓縮。
3、集合對象Set
OBJ_SET集合對象的底層存儲結(jié)構(gòu)有兩種，OBJ_ENCODING_HT和OBJ_ENCODING_INTSET
a）OBJ_ENCODING_INTSET
typedef struct intset {
uint32_t encoding; //編碼類型
uint32_t length; //元素個數(shù)
int8_t contents[]; //元素數(shù)據(jù)
} intset;
//redis中保存整型的編碼類型有int16_t,int32_t,int64_t
#define INTSET_ENC_INT16(sizeof(int16_t))
#define INTSET_ENC_INT32(sizeof(int32_t))
#define INTSET_ENC_INT64(sizeof(int64_t))
復制代碼
集合保存的所有元素都是整數(shù)值將會采用這種存儲結(jié)構(gòu)，但①當集合對象保存的元素數(shù)量超過512 (由server.set_max_intset_entries 配置)或者②元素無法用整型表示后會轉(zhuǎn)化為OBJ_ENCODING_HT
b）OBJ_ENCODING_HT
底層為dict字典，數(shù)據(jù)作為字典的鍵保存，鍵對應的值都是NULL，與 Java 中的 HashSet 類似
4、有序集合ZSet
OBJ_ZSET 有序集合對象的存儲結(jié)構(gòu)分為 OBJ_ENCODING_SKIPLIST 和 OBJ_ENCODING_ZIPLIST
a）OBJ_ENCODING_ZIPLIST
當 ziplist 作為 zset 的底層存儲結(jié)構(gòu)時，每個集合元素使用兩個緊挨在一起的壓縮列表節(jié)點來保存，第一個節(jié)點保存元素值，第二個元素保存元素的分值，而且分值小的靠近表頭，大的靠近表尾
有序集合對象使用 ziplist 存儲需要同時滿足以下兩個條件，不滿足任意一條件將使用 skiplist
所有元素長度小于64 (server.zset_max_ziplist_value配置)字節(jié) 元素個數(shù)小于128 (server.zset-max-ziplist-entries配置)
b）OBJ_ENCODING_SKIPLIST
底層實現(xiàn)是跳躍表結(jié)合字典。每個跳躍表節(jié)點都保存一個集合元素，并按分值從小到大排列，節(jié)點的object屬性保存了元素的值，score屬性保存分值；字典的每個鍵值對保存一個集合元素，元素值包裝為字典的鍵，元素分值保存為字典的值。
skiplist同時使用跳躍表和字典實現(xiàn)的原因：
跳躍表優(yōu)點是有序，但是查詢分值時復雜度為O(logn)；字典查詢分值（zscore命令）復雜度為O(1) ，但是無序，結(jié)合兩者可以實現(xiàn)優(yōu)勢互補集合的元素成員和分值是共享的，跳躍表和字典通過指針指向同一地址，不會浪費內(nèi)存
5、哈希對象Hash
OBJ_HASH的存儲結(jié)構(gòu)分為OBJ_ENCODING_ZIPLIST和OBJ_ENCODING_HT(使用命令：OBJECT ENCODING key查看存儲類型)，其實現(xiàn)如下：
a）OBJ_ENCODING_ZIPLIST
在以ziplist結(jié)構(gòu)存儲數(shù)據(jù)的哈希對象中，key-value鍵值對以緊密相連的方式存入壓縮鏈表，先把key放入表尾，再放入value；鍵值對總是向表尾添加。
哈希對象使用ziplist存儲數(shù)據(jù)需要同時滿足以下兩個條件，不滿足任意一個都使用dict結(jié)構(gòu) 所有鍵值對的鍵和值的字符串長度都小于64 (server.hash_max_ziplist_value 配置)字節(jié) 鍵值對數(shù)量小于512(server.hash-max-ziplist-entries)個
[圖片上傳失敗...(image-5a16cf-1614238761293)]
b）OBJ_ENCODING_HT
底層為dict字典，哈希對象中的每個key-value對都使用一個字典鍵值對dictEntry來保存，字典的鍵和值都是字符串對象。
c）檢測
HMSET key f1 v1 f2 v2 f3 v3 //在一個哈希表key中存儲多個鍵值對
OBJECT ENCODING key //查看key在redis中的存儲類型為ziplist
HGETALL key //查看key對應的所有field和value發(fā)現(xiàn)為有序的
HSET key f4 x...x //在一個哈希表key中存儲一個長度超過64的value
HSTRLEN key f4 //查看key中field為f4的長度
OBJECT ENCODING key //查看key在redis中的存儲類型為hashtable
HGETALL key //查看key對應的所有field和value發(fā)現(xiàn)為無序
復制代碼
最后
[圖片上傳失敗...(image-e45dd2-1614238761292)]
這是有關(guān)Redis的學習筆記和資料，希望可以對大家有幫助，喜歡的小伙伴可以幫忙轉(zhuǎn)發(fā)+關(guān)注，感謝大家！后期LZ也會不定時更新干貨！
