Redis?和?Memcached?的區(qū)別

Redis 和 Memcached 的區(qū)別 2017-10-19 ImportNew （點擊上方公眾號，可快速關(guān)注） 來源：朱小廝， blog.csdn.net/u013256816/article/details/51146314 如有好文章投稿，請點擊 → 這里了解詳情 說到redis就會聯(lián)想到memcached，反之亦然。了解過兩者的同學有那么個大致的印象：redis與memcached相比，比僅支持簡單的key-value數(shù)據(jù)類型，同時還提供list,set,zset,hash等數(shù)據(jù)結(jié)構(gòu)的存儲；redis支持數(shù)據(jù)的備份，即master-slave模式的數(shù)據(jù)備份；redis支持數(shù)據(jù)的持久化，可以將內(nèi)存中的數(shù)據(jù)保持在磁盤中，重啟的時候可以再次加載進行使用等等，這似乎看起來redis比memcached更加牛逼一些，那么事實上是不是這樣的呢？存在即合理，我們來根據(jù)幾個不同點來一一比較一下。 網(wǎng)絡(luò)IO模型 memcached是多線程，非阻塞IO復(fù)用的網(wǎng)絡(luò)模型，分為監(jiān)聽主線程和worker子線程，監(jiān)聽線程監(jiān)聽網(wǎng)絡(luò)連接，接受請求后，將連接描述字pipe傳遞給worker線程，進行讀寫IO，網(wǎng)絡(luò)層使用libevent封裝的事件庫，多線程模型可以發(fā)揮多核作用，但是引入了cache coherency和鎖的問題，比如：memcached最常用的stats命令，實際memcached所有操作都要對這個全局變量加鎖，進行技術(shù)等工作，帶來了性能損耗。 redis使用單線程的IO復(fù)用模型，自己封裝了一個簡單的AeEvent事件處理框架，主要實現(xiàn)了epoll, kqueue和select，對于單存只有IO操作來說，單線程可以將速度優(yōu)勢發(fā)揮到最大，但是redis也提供了一些簡單的計算功能，比如排序、聚合等，對于這些操作，單線程模型施加會嚴重影響整體吞吐量，CPU計算過程中，整個IO調(diào)度都是被阻塞的。 數(shù)據(jù)支持類型 memcached使用key-value形式存儲和訪問數(shù)據(jù)，在內(nèi)存中維護一張巨大的HashTable，使得對數(shù)據(jù)查詢的時間復(fù)雜度降低到O(1)，保證了對數(shù)據(jù)的高性能訪問。 正如開篇所說：redis與memcached相比，比僅支持簡單的key-value數(shù)據(jù)類型，同時還提供list,set,zset,hash等數(shù)據(jù)結(jié)構(gòu)的存儲；詳細可以翻閱《Redis內(nèi)存使用優(yōu)化與存儲》 http://blog.csdn.net/u013256816/article/details/51133134 內(nèi)存管理機制 對于像Redis和Memcached這種基于內(nèi)存的數(shù)據(jù)庫系統(tǒng)來說，內(nèi)存管理的效率高低是影響系統(tǒng)性能的關(guān)鍵因素。傳統(tǒng)C語言中的malloc/free函數(shù)是最常用的分配和釋放內(nèi)存的方法，但是這種方法存在著很大的缺陷：首先，對于開發(fā)人員來說不匹配的malloc和free容易造成內(nèi)存泄露；其次頻繁調(diào)用會造成大量內(nèi)存碎片無法回收重新利用，降低內(nèi)存利用率；最后作為系統(tǒng)調(diào)用，其系統(tǒng)開銷遠遠大于一般函數(shù)調(diào)用。所以，為了提高內(nèi)存的管理效率，高效的內(nèi)存管理方案都不會直接使用malloc/free調(diào)用。Redis和Memcached均使用了自身設(shè)計的內(nèi)存管理機制，但是實現(xiàn)方法存在很大的差異，下面將會對兩者的內(nèi)存管理機制分別進行介紹。 Memcached默認使用Slab Allocation機制管理內(nèi)存，其主要思想是按照預(yù)先規(guī)定的大小，將分配的內(nèi)存分割成特定長度的塊以存儲相應(yīng)長度的key-value數(shù)據(jù)記錄，以完全解決內(nèi)存碎片問題。Slab Allocation機制只為存儲外部數(shù)據(jù)而設(shè)計，也就是說所有的key-value數(shù)據(jù)都存儲在Slab Allocation系統(tǒng)里，而Memcached的其它內(nèi)存請求則通過普通的malloc/free來申請，因為這些請求的數(shù)量和頻率決定了它們不會對整個系統(tǒng)的性能造成影響Slab Allocation的原理相當簡單。 如圖所示，它首先從操作系統(tǒng)申請一大塊內(nèi)存，并將其分割成各種尺寸的塊Chunk，并把尺寸相同的塊分成組Slab Class。其中，Chunk就是用來存儲key-value數(shù)據(jù)的最小單位。每個Slab Class的大小，可以在Memcached啟動的時候通過制定Growth Factor來控制。假定圖中Growth Factor的取值為1.25，如果第一組Chunk的大小為88個字節(jié)，第二組Chunk的大小就為112個字節(jié)，依此類推。 當Memcached接收到客戶端發(fā)送過來的數(shù)據(jù)時首先會根據(jù)收到數(shù)據(jù)的大小選擇一個最合適的Slab Class，然后通過查詢Memcached保存著的該Slab Class內(nèi)空閑Chunk的列表就可以找到一個可用于存儲數(shù)據(jù)的Chunk。當一條數(shù)據(jù)庫過期或者丟棄時，該記錄所占用的Chunk就可以回收，重新添加到空閑列表中。從以上過程我們可以看出Memcached的內(nèi)存管理制效率高，而且不會造成內(nèi)存碎片，但是它最大的缺點就是會導(dǎo)致空間浪費。因為每個Chunk都分配了特定長度的內(nèi)存空間，所以變長數(shù)據(jù)無法充分利用這些空間。如圖 所示，將100個字節(jié)的數(shù)據(jù)緩存到128個字節(jié)的Chunk中，剩余的28個字節(jié)就浪費掉了。 Redis的內(nèi)存管理主要通過源碼中zmalloc.h和zmalloc.c兩個文件來實現(xiàn)的。Redis為了方便內(nèi)存的管理，在分配一塊內(nèi)存之后，會將這塊內(nèi)存的大小存入內(nèi)存塊的頭部。如圖所示，real_ptr是redis調(diào)用malloc后返回的指針。redis將內(nèi)存塊的大小size存入頭部，size所占據(jù)的內(nèi)存大小是已知的，為size_t類型的長度，然后返回ret_ptr。當需要釋放內(nèi)存的時候，ret_ptr被傳給內(nèi)存管理程序。通過ret_ptr，程序可以很容易的算出real_ptr的值，然后將real_ptr傳給free釋放內(nèi)存。 Redis通過定義一個數(shù)組來記錄所有的內(nèi)存分配情況，這個數(shù)組的長度為ZMALLOC_MAX_ALLOC_STAT。數(shù)組的每一個元素代表當前程序所分配的內(nèi)存塊的個數(shù)，且內(nèi)存塊的大小為該元素的下標。在源碼中，這個數(shù)組為zmalloc_allocations。zmalloc_allocations[16]代表已經(jīng)分配的長度為16bytes的內(nèi)存塊的個數(shù)。zmalloc.c中有一個靜態(tài)變量used_memory用來記錄當前分配的內(nèi)存總大小。所以，總的來看，Redis采用的是包裝的mallc/free，相較于Memcached的內(nèi)存管理方法來說，要簡單很多。 在Redis中，并不是所有的數(shù)據(jù)都一直存儲在內(nèi)存中的。這是和Memcached相比一個最大的區(qū)別。當物理內(nèi)存用完時，Redis可以將一些很久沒用到的value交換到磁盤。Redis只會緩存所有的key的信息，如果Redis發(fā)現(xiàn)內(nèi)存的使用量超過了某一個閥值，將觸發(fā)swap的操作，Redis根據(jù)“swappability = age*log(size_in_memory)”計算出哪些key對應(yīng)的value需要swap到磁盤。然后再將這些key對應(yīng)的value持久化到磁盤中，同時在內(nèi)存中清除。這種特性使得Redis可以保持超過其機器本身內(nèi)存大小的數(shù)據(jù)。當然，機器本身的內(nèi)存必須要能夠保持所有的key，畢竟這些數(shù)據(jù)是不會進行swap操作的。同時由于Redis將內(nèi)存中的數(shù)據(jù)swap到磁盤中的時候，提供服務(wù)的主線程和進行swap操作的子線程會共享這部分內(nèi)存，所以如果更新需要swap的數(shù)據(jù)，Redis將阻塞這個操作，直到子線程完成swap操作后才可以進行修改。當從Redis中讀取數(shù)據(jù)的時候，如果讀取的key對應(yīng)的value不在內(nèi)存中，那么Redis就需要從swap文件中加載相應(yīng)數(shù)據(jù)，然后再返回給請求方。 這里就存在一個I/O線程池的問題。在默認的情況下，Redis會出現(xiàn)阻塞，即完成所有的swap文件加載后才會相應(yīng)。這種策略在客戶端的數(shù)量較小，進行批量操作的時候比較合適。但是如果將Redis應(yīng)用在一個大型的網(wǎng)站應(yīng)用程序中，這顯然是無法滿足大并發(fā)的情況的。所以Redis運行我們設(shè)置I/O線程池的大小，對需要從swap文件中加載相應(yīng)數(shù)據(jù)的讀取請求進行并發(fā)操作，減少阻塞的時間。 Memcached使用預(yù)分配的內(nèi)存池的方式，使用slab和大小不同的chunk來管理內(nèi)存，Item根據(jù)大小選擇合適的chunk存儲，內(nèi)存池的方式可以省去申請/釋放內(nèi)存的開銷，并且能減小內(nèi)存碎片產(chǎn)生，但這種方式也會帶來一定程度上的空間浪費，并且在內(nèi)存仍然有很大空間時，新的數(shù)據(jù)也可能會被剔除，原因可以參考Timyang的文章：http://timyang.net/data/Memcached-lru-evictions/ Redis使用現(xiàn)場申請內(nèi)存的方式來存儲數(shù)據(jù)，并且很少使用free-list等方式來優(yōu)化內(nèi)存分配，會在一定程度上存在內(nèi)存碎片，Redis跟據(jù)存儲命令參數(shù)，會把帶過期時間的數(shù)據(jù)單獨存放在一起，并把它們稱為臨時數(shù)據(jù)，非臨時數(shù)據(jù)是永遠不會被剔除的，即便物理內(nèi)存不夠，導(dǎo)致swap也不會剔除任何非臨時數(shù)據(jù)（但會嘗試剔除部分臨時數(shù)據(jù)），這點上Redis更適合作為存儲而不是cache。 數(shù)據(jù)存儲及持久化 memcached不支持內(nèi)存數(shù)據(jù)的持久化操作，所有的數(shù)據(jù)都以in-memory的形式存儲。 redis支持持久化操作。redis提供了兩種不同的持久化方法來講數(shù)據(jù)存儲到硬盤里面，一種是快照（snapshotting)，它可以將存在于某一時刻的所有數(shù)據(jù)都寫入硬盤里面。另一種方法叫只追加文件（append-only file， AOF),它會在執(zhí)行寫命令時，將被執(zhí)行的寫命令復(fù)制到硬盤里面。 數(shù)據(jù)一致性問題 Memcached提供了cas命令，可以保證多個并發(fā)訪問操作同一份數(shù)據(jù)的一致性問題。 Redis沒有提供cas 命令，并不能保證這點，不過Redis提供了事務(wù)的功能，可以保證一串 命令的原子性，中間不會被任何操作打斷。 集群管理不同 Memcached是全內(nèi)存的數(shù)據(jù)緩沖系統(tǒng)，Redis雖然支持數(shù)據(jù)的持久化，但是全內(nèi)存畢竟才是其高性能的本質(zhì)。作為基于內(nèi)存的存儲系統(tǒng)來說，機器物理內(nèi)存的大小就是系統(tǒng)能夠容納的最大數(shù)據(jù)量。如果需要處理的數(shù)據(jù)量超過了單臺機器的物理內(nèi)存大小，就需要構(gòu)建分布式集群來擴展存儲能力。 Memcached本身并不支持分布式，因此只能在客戶端通過像一致性哈希這樣的分布式算法來實現(xiàn)Memcached的分布式存儲。下圖給出了Memcached的分布式存儲實現(xiàn)架構(gòu)。當客戶端向Memcached集群發(fā)送數(shù)據(jù)之前，首先會通過內(nèi)置的分布式算法計算出該條數(shù)據(jù)的目標節(jié)點，然后數(shù)據(jù)會直接發(fā)送到該節(jié)點上存儲。但客戶端查詢數(shù)據(jù)時，同樣要計算出查詢數(shù)據(jù)所在的節(jié)點，然后直接向該節(jié)點發(fā)送查詢請求以獲取數(shù)據(jù)。 相較于Memcached只能采用客戶端實現(xiàn)分布式存儲，Redis更偏向于在服務(wù)器端構(gòu)建分布式存儲。最新版本的Redis已經(jīng)支持了分布式存儲功能。Redis Cluster是一個實現(xiàn)了分布式且允許單點故障的Redis高級版本，它沒有中心節(jié)點，具有線性可伸縮的功能。Redis Cluster的分布式存儲架構(gòu)，節(jié)點與節(jié)點之間通過二進制協(xié)議進行通信，節(jié)點與客戶端之間通過ascii協(xié)議進行通信。在數(shù)據(jù)的放置策略上，Redis Cluster將整個key的數(shù)值域分成4096個哈希槽，每個節(jié)點上可以存儲一個或多個哈希槽，也就是說當前Redis Cluster支持的最大節(jié)點數(shù)就是4096。Redis Cluster使用的分布式算法也很簡單：crc16( key ) % HASH_SLOTS_NUMBER。 為了保證單點故障下的數(shù)據(jù)可用性，Redis Cluster引入了Master節(jié)點和Slave節(jié)點。在Redis Cluster中，每個Master節(jié)點都會有對應(yīng)的兩個用于冗余的Slave節(jié)點。這樣在整個集群中，任意兩個節(jié)點的宕機都不會導(dǎo)致數(shù)據(jù)的不可用。當Master節(jié)點退出后，集群會自動選擇一個Slave節(jié)點成為新的Master節(jié)點。 參考資料 Redis和Memcached的區(qū)別 http://www.biaodianfu.com/redis-vs-memcached.html 為什么使用 Redis及其產(chǎn)品定位 http://www.infoq.com/cn/articles/tq-why-choose-redis Redis內(nèi)存使用優(yōu)化與存儲 http://blog.csdn.net/u013256816/article/details/51133134 《Redis In Action》Josiah L. Carlson. 看完本文有收獲？請轉(zhuǎn)發(fā)分享給更多人 關(guān)注「ImportNew」，看技術(shù)干貨
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容