Redis源碼研究之內(nèi)存管理

本文主要說明Redis中的內(nèi)存管理，Redis中使用自己實現(xiàn)了一個內(nèi)存管理庫來進行內(nèi)存管理。

I、上帝視角看幾個主要函數(shù)

1、Redis中的內(nèi)存管理操作主要集中在zmalloc.c文件中，其主要函數(shù)包括：

zmalloc()        //內(nèi)存分配
zfree()          //內(nèi)存釋放
zcalloc()          //calloc，與malloc的區(qū)別在于在分配完內(nèi)存后初始化為0，而malloc為隨機的垃圾數(shù)據(jù)
zrealloc()          //重新分配內(nèi)存
zstrdup()        //strdup，復(fù)制字符串函數(shù)

2、Redis為了屏蔽不同庫的差異進行了預(yù)處理，自己封裝了系統(tǒng)的內(nèi)存分配函數(shù)：

/*src/zmalloc.h*/
#if defined(USE_TCMALLOC)  
#define ZMALLOC_LIB ("tcmalloc-" __xstr(TC_VERSION_MAJOR) "." __xstr(TC_VERSION_MINOR))  
#include <google/tcmalloc.h>  
#if (TC_VERSION_MAJOR == 1 && TC_VERSION_MINOR >= 6) || (TC_VERSION_MAJOR > 1)  
#define HAVE_MALLOC_SIZE 1  
#define zmalloc_size(p) tc_malloc_size(p)  
#else  
#error "Newer version of tcmalloc required"  
#endif  
  
#elif defined(USE_JEMALLOC)  
#define ZMALLOC_LIB ("jemalloc-" __xstr(JEMALLOC_VERSION_MAJOR) "." __xstr(JEMALLOC_VERSION_MINOR) "." __xstr(JEMALLOC_VERSION_BUGFIX))  
#include <jemalloc/jemalloc.h>  
#if (JEMALLOC_VERSION_MAJOR == 2 && JEMALLOC_VERSION_MINOR >= 1) || (JEMALLOC_VERSION_MAJOR > 2)  
#define HAVE_MALLOC_SIZE 1  
#define zmalloc_size(p) je_malloc_usable_size(p)  
#else  
#error "Newer version of jemalloc required"  
#endif  
  
#elif defined(__APPLE__)  
#include <malloc/malloc.h>  
#define HAVE_MALLOC_SIZE 1  
#define zmalloc_size(p) malloc_size(p)  
#endif  
  
#ifndef ZMALLOC_LIB  
#define ZMALLOC_LIB "libc"  
#endif  
  
...  
#ifndef HAVE_MALLOC_SIZE  
size_t zmalloc_size(void *ptr);  
#endif

可以看出：
· 若系統(tǒng)中存在Google的TC_MALLOC庫，則使用tc_malloc一族函數(shù)代替原本的malloc一族函數(shù)。
· 如果存在FaceBook的JEMALLOC庫，則使用je_malloc一族函數(shù)代替原本的malloc一族函數(shù)。
· 若使用MAC系統(tǒng)，則使用<malloc/malloc.h>中的內(nèi)存分配函數(shù)。

II、zmalloc

1、zmalloc()主要提供了對malloc函數(shù)的封裝，如果是glibc的malloc函數(shù)，則分配的內(nèi)存是長度+要分配的內(nèi)存，然后將頭部放入大?。?/p> 

/*src/zmalloc.c/zmalloc*/  
/* 內(nèi)存分配函數(shù)zmalloc，size為實際需要分配的內(nèi)存大小。
 * 而實際調(diào)用了  malloc(size+PREFIX_SIZE) ，PREFIX_SIZE是一個條件編譯宏  
 * 對不同的編譯平臺有不同的結(jié)果，Linux中是sizeof(size_t)，  
 * 多分配的這個空間用于存儲size的值。
*/
void *zmalloc(size_t size) {  
    void *ptr = malloc(size+PREFIX_SIZE);  
  
    if (!ptr) zmalloc_oom_handler(size);  //如果分配失敗，則打印錯誤信息并終止程序
#ifdef HAVE_MALLOC_SIZE  
    update_zmalloc_stat_alloc(zmalloc_size(ptr));  
    return ptr;  
#else  
    *((size_t*)ptr) = size;    //將上面多分配的PREFIX_SIZE大小填充為size值
    update_zmalloc_stat_alloc(size+PREFIX_SIZE);    //更新全局變量used_memory(已分配內(nèi)存大小)的值
    return (char*)ptr+PREFIX_SIZE;      //返回真正的分配存儲空間的位置
#endif  
}

2、下面我們看上面的update_zmalloc_stat_alloc()函數(shù)

/*src/zmalloc.c/update_zmalloc_stat_alloc*/
/*更新全局變量used_memory的值*/  
#define update_zmalloc_stat_alloc(__n) do { \  
    size_t _n = (__n); \  
    //if的作用是判斷分配的內(nèi)存空間大小是否為sizeof(long)的倍數(shù)，如果不是，則加上響應(yīng)的偏移量使其成為sizeof(long)的倍數(shù)
    if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \  

    //判斷是否為線程安全的
    if (zmalloc_thread_safe) { \  
        update_zmalloc_stat_add(_n); \  
    } else { \  
        used_memory += _n; \    //used_memory是一個全局靜態(tài)變量，表示已分配內(nèi)存的大小
    } \  
} while(0)

這里所使用的do{...}while(0)結(jié)構(gòu)可以參見 do{...}while(0)的意義和用法。

而update_zmalloc_stat_add()函數(shù)就是在線程安全的情況下通過加鎖對used_memory進行+n操作：

/*src/zmalloc.c/update_zmalloc_stat_add()*/
#define update_zmalloc_stat_add(__n) do { \  
    pthread_mutex_lock(&used_memory_mutex); \  
    used_memory += (__n); \  
    pthread_mutex_unlock(&used_memory_mutex); \  
} while(0)

III、 zfree

1、 zfree()函數(shù)主要是對free()函數(shù)進行了封裝，實現(xiàn)了內(nèi)存的釋放。

/*src/zmalloc.c/zfree*/
void zfree(void *ptr) {  
#ifndef HAVE_MALLOC_SIZE  
    void *realptr;  
    size_t oldsize;  
#endif  
  
    if (ptr == NULL) return;  
#ifdef HAVE_MALLOC_SIZE  
    update_zmalloc_stat_free(zmalloc_size(ptr));  
    free(ptr);  
#else  
    realptr = (char*)ptr-PREFIX_SIZE;  
    oldsize = *((size_t*)realptr);  
    update_zmalloc_stat_free(oldsize+PREFIX_SIZE);  
    free(realptr);  
#endif  
}

2、 update_zmalloc_stat_free()函數(shù)為對used_memory進行-n操作。我們重點關(guān)注else之后的部分：

realptr = (char *)ptr - PREFIX_SIZE為得到真正的內(nèi)存分配位置（即除去頭部存儲的size值），然后在進行update used_memory 操作。

IV、 zcalloc

1、zcalloc函數(shù)主要封裝的是calloc函數(shù)，其也是內(nèi)存分配函數(shù)，但是與malloc函數(shù)不同的是，會對內(nèi)存進行初始化操作。

/*src/zmalloc.c/zcalloc*/
void *zcalloc(size_t size) {  
    void *ptr = calloc(1, size+PREFIX_SIZE);  
  
    if (!ptr) zmalloc_oom_handler(size);  
#ifdef HAVE_MALLOC_SIZE  
    update_zmalloc_stat_alloc(zmalloc_size(ptr));  
    return ptr;  
#else  
    *((size_t*)ptr) = size;  
    update_zmalloc_stat_alloc(size+PREFIX_SIZE);  
    return (char*)ptr+PREFIX_SIZE;  
#endif  
}

上述代碼與zmalloc函數(shù)基本一致。

V、zrealloc

1、zrealloc函數(shù)完成的功能是為ptr位置重新分配大小。主要完成的是對realloc的封裝。

/*src/zmalloc.c/zrealloc*/
void *zrealloc(void *ptr, size_t size) {  
#ifndef HAVE_MALLOC_SIZE  
    void *realptr;  
#endif  
    size_t oldsize;  
    void *newptr;  
  
    if (ptr == NULL) return zmalloc(size);  
#ifdef HAVE_MALLOC_SIZE  
    oldsize = zmalloc_size(ptr);  
    newptr = realloc(ptr,size);  
    if (!newptr) zmalloc_oom_handler(size);  
  
    update_zmalloc_stat_free(oldsize);  
    update_zmalloc_stat_alloc(zmalloc_size(newptr));  
    return newptr;  
#else  
    realptr = (char*)ptr-PREFIX_SIZE;  
    oldsize = *((size_t*)realptr);  
    newptr = realloc(realptr,size+PREFIX_SIZE);  
    if (!newptr) zmalloc_oom_handler(size);  
  
    *((size_t*)newptr) = size;  
    update_zmalloc_stat_free(oldsize);  
    update_zmalloc_stat_alloc(size);  
    return (char*)newptr+PREFIX_SIZE;  
#endif  
}

VI、zstrdup

1、zstrdup函數(shù)為string分配內(nèi)存，并完成string的復(fù)制：

/*src/zmalloc.c/zstrdup*/  
char *zstrdup(const char *s) {  
    size_t l = strlen(s)+1;    //+1是加上\0
    char *p = zmalloc(l);    //分配內(nèi)存
  
    memcpy(p,s,l);        //完成copy
    return p;  
}

VII、其他輔助函數(shù)

在zmalloc.h的輔助函數(shù)中，有些會比之前出現(xiàn)的函數(shù)更值得學習，因為它們更貼近OS。

7.1 zmalloc_enable_thread_safeness
/*src/zmalloc.c/zmalloc_enable_thread_safeness*/  
void zmalloc_enable_thread_safeness(void) {  
    zmalloc_thread_safe = 1;  
}

1、zmalloc_thread_safe是一個全局靜態(tài)變量，標記線程安全。

7.2 zmalloc_used_memory

1、zmalloc_used_memory函數(shù)返回used_memory的值，其功能為查詢當前Redis分配的內(nèi)存大小。其中包含了線程安全的判斷。

/*src/zmalloc.c/zmalloc_used_memory*/
size_t zmalloc_used_memory(void) {  
    size_t um;  
  
    if (zmalloc_thread_safe) {  
#if defined(__ATOMIC_RELAXED) || defined(HAVE_ATOMIC)  
        um = update_zmalloc_stat_add(0);  
#else  
        pthread_mutex_lock(&used_memory_mutex);  
        um = used_memory;  
        pthread_mutex_unlock(&used_memory_mutex);  
#endif  
    }  
    else {  
        um = used_memory;  
    }  
  
    return um;  
}
7.3 zmalloc_size

1、函數(shù)的作用是返回實際分配內(nèi)存的總大小，這包括size，以及存儲size值的頭PREFIX_SIZE，還有內(nèi)存對齊操作所形成的偏移量：

/*src/zmalloc.c/zmalloc_size*/
#ifndef HAVE_MALLOC_SIZE  
size_t zmalloc_size(void *ptr) {  
    void *realptr = (char*)ptr-PREFIX_SIZE;  
    size_t size = *((size_t*)realptr);  
    /* Assume at least that all the allocations are padded at sizeof(long) by 
     * the underlying allocator. */  
    if (size&(sizeof(long)-1)) size += sizeof(long)-(size&(sizeof(long)-1));  
    return size+PREFIX_SIZE;  
}  
#endif
7.4 zmalloc_get_rss

1、zmalloc_get_rss的作用是獲取rss(Resident Set Size)的大小，表示當前進程實際駐留在內(nèi)存中的空間大小，即不包括swap出去的空間。

2、該函數(shù)大致的操作是在當前進程的文件中進行檢索。該文件的第24個字段是rss的信息，其單位是pages(內(nèi)存頁的數(shù)目)。

/*src/zmalloc.c/zmalloc_get_rss*/
size_t zmalloc_get_rss(void) {  
    int page = sysconf(_SC_PAGESIZE);    //通過調(diào)用sysconf庫函數(shù)，查詢內(nèi)存頁大小
    size_t rss;  
    char buf[4096];  
    char filename[256];  
    int fd, count;  
    char *p, *x;  
  
    //將當前進程所對應(yīng)的stat文件的絕對路徑名保存到filename中，萬物皆文件的效果。
    snprintf(filename,256,"/proc/%d/stat",getpid());  
    if ((fd = open(filename,O_RDONLY)) == -1) return 0;  
    if (read(fd,buf,4096) <= 0) {  
        close(fd);  
        return 0;  
    }  
    close(fd);  
  
    p = buf;  
    //跳過前23個字段
    count = 23; /* RSS is the 24th field in /proc/<pid>/stat */  
    while(p && count--) {  
        p = strchr(p,' ');  
        if (p) p++;  
    }  
    if (!p) return 0;  
    x = strchr(p,' ');  
    if (!x) return 0;  
    *x = '\0';  
  
    rss = strtoll(p,NULL,10);    //string to long long
    rss *= page;  
    return rss;  
}
7.5 zmalloc_get_fragementation_ratio

1、zmalloc_get_fragementation_ratio函數(shù)用來查詢內(nèi)存碎片率，即rss和所分配內(nèi)存空間的比值，這里查詢的實際上是內(nèi)部碎片率。

/*src/malloc.c/zmalloc_get_fragementation_ratio*/
/* Fragmentation = RSS / allocated-bytes */  
float zmalloc_get_fragmentation_ratio(size_t rss) {  
    return (float)rss/zmalloc_used_memory();  
}

【參考】
[1] Redis內(nèi)存管理的基石zmalloc.c源碼解讀

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容