1、什么是redis
- redis是一個 key-value的 高性能 數(shù)據(jù)庫,是基于內(nèi)存的;
2、redis的特點(diǎn)
- 本身是key-value的
- 內(nèi)存數(shù)據(jù)庫
- 可以選擇性的進(jìn)行持久化
- 性能非常高(每秒10w次讀寫)是已知的性能最高的數(shù)據(jù)庫
3、redis支持的數(shù)據(jù)類型
- string
- list(底層是鏈表)
- set(可以求交集,并集)
- sortset
- hash
4、為什么redis要把數(shù)據(jù)放在內(nèi)存中
- 為了達(dá)到最快的讀寫
- 雖然在內(nèi)存但是可以異步進(jìn)行數(shù)據(jù)落盤
- 如果不放入內(nèi)存,io 消耗非常大
- 在內(nèi)存越來越便宜的今天,肯定會原理越受歡迎
5、redis 是單進(jìn)程單線程的
- redis利用隊(duì)列技術(shù)將開發(fā)訪問變?yōu)榇性L問,消除了傳統(tǒng)數(shù)據(jù)庫的串行開銷
6、虛擬內(nèi)存
- 當(dāng)你的key很小而value很大時,使用VM的效果會比較好.因?yàn)檫@樣節(jié)約的內(nèi)存比較大.
當(dāng)你的key不小時,可以考慮使用一些非常方法將很大的key變成很大的value,比如你可以考慮將key,value組合成一個新的value. - vm-max-threads這個參數(shù),可以設(shè)置訪問swap文件的線程數(shù),設(shè)置最好不要超過機(jī)器的核數(shù),如果設(shè)置為0,那么所有對swap文件的操作都是串行的.可能會造成比較長時間的延遲,但是對數(shù)據(jù)完整性有很好的保證.
- 自己測試的時候發(fā)現(xiàn)用虛擬內(nèi)存性能也不錯。如果數(shù)據(jù)量很大,可以考慮分布式或者其他數(shù)據(jù)庫
7、分布式
- redis 支持主從模式,原則:master會將數(shù)據(jù)同步到slave,而slave不會將數(shù)據(jù)同步到master,slave啟動時會連接master來同步數(shù)據(jù)
- 這是一個典型的分離模型,master負(fù)責(zé)插入數(shù)據(jù),slave 負(fù)責(zé)檢索數(shù)據(jù),這樣可以提高性能
8、讀寫分離模型
- 為了增加讀取數(shù)據(jù),可以橫向添加slave節(jié)點(diǎn)
- 為了防止master 的單點(diǎn)故障,集群一般都會采用2臺master ,這樣讀寫都會很快
- 讀寫分離的缺陷是:不管是master還是slave,每個節(jié)點(diǎn)都必須保存完整的數(shù)據(jù),如果數(shù)據(jù)的量很大的情況下,集群的擴(kuò)展能力還是受限于每個節(jié)點(diǎn)的儲存能力,而且對于write-intensive 類型的應(yīng)用,讀寫分離架構(gòu)并不合適
9、數(shù)據(jù)分片模型
- 為了解決讀寫分離的缺陷,可以進(jìn)行數(shù)據(jù)分片模型
- 可以講每個幾點(diǎn)看成是獨(dú)立的master,然后根據(jù)業(yè)務(wù)把每個master分成master和多個slave組成的模型
10、redis的回收策略
- volatile-lru:從已設(shè)置過期時間的數(shù)據(jù)集(server.db[i].expires)中挑選最近最少使用的數(shù)據(jù)淘汰
- volatile-ttl:從已設(shè)置過期時間的數(shù)據(jù)集(server.db[i].expires)中挑選將要過期的數(shù)據(jù)淘汰
- volatile-random:從已設(shè)置過期時間的數(shù)據(jù)集(server.db[i].expires)中任意選擇數(shù)據(jù)淘汰
- allkeys-lru:從數(shù)據(jù)集(server.db[i].dict)中挑選最近最少使用的數(shù)據(jù)淘汰
- allkeys-random:從數(shù)據(jù)集(server.db[i].dict)中任意選擇數(shù)據(jù)淘汰
- no-enviction(驅(qū)逐):禁止驅(qū)逐數(shù)據(jù)
11、使用redis的好處
- 速度快
- 數(shù)據(jù)類型豐富
- 支持事務(wù)(原子性)
- 豐富的特性(緩存、列表等)
12、redis比memchad有哪些優(yōu)勢
- reidis 數(shù)據(jù)類型豐富,memche 只支持string
- reidis的速度快
- redis 可以進(jìn)行持久化
- redis的value 最大可以1G memche最大1M
13、redis的常見性能問題和解決方案
- Master最好不要做任何持久化工作,如RDB內(nèi)存快照和AOF日志文件
- 如果數(shù)據(jù)比較重要,某個Slave開啟AOF備份數(shù)據(jù),策略設(shè)置為每秒同步一次
- 為了主從復(fù)制的速度和連接的穩(wěn)定性,Master和Slave最好在同一個局域網(wǎng)內(nèi)
- 盡量避免在壓力很大的主庫上增加從庫
- 主從復(fù)制不要用圖狀結(jié)構(gòu),用單向鏈表結(jié)構(gòu)更為穩(wěn)定,即:Master <- Slave1 <- Slave2 <- Slave3...
這樣的結(jié)構(gòu)方便解決單點(diǎn)故障問題,實(shí)現(xiàn)Slave對Master的替換。如果Master掛了,可以立刻啟用Slave1做Master,其他不變。
14、mysql有2000w數(shù)據(jù),redis中只有20w的數(shù)據(jù),如何保證redis中的數(shù)據(jù)都是熱點(diǎn)數(shù)據(jù)
相關(guān)知識:redis 內(nèi)存數(shù)據(jù)集大小上升到一定大小的時候,就會施行數(shù)據(jù)淘汰策略。redis 提供 6種數(shù)據(jù)淘汰策略:
- 參考redis的回收策略
15、memcache與redis的區(qū)別有哪些
- 儲存方式(一個可以持久化,一個不行)
- 數(shù)據(jù)的支持類型(redis豐富)
- 使用底層模型不同
它們之間底層實(shí)現(xiàn)方式 以及與客戶端之間通信的應(yīng)用協(xié)議不一樣。
Redis直接自己構(gòu)建了VM 機(jī)制 ,因?yàn)橐话愕南到y(tǒng)調(diào)用系統(tǒng)函數(shù)的話,會浪費(fèi)一定的時間去移動和請求。 - value 的大小不一樣
16、redis常見的想能問題有哪些,如何解決
- Master寫內(nèi)存快照,save命令調(diào)度rdbSave函數(shù),會阻塞主線程的工作,當(dāng)快照比較大時對性能影響是非常大的,會間斷性暫停服務(wù),所以Master最好不要寫內(nèi)存快照。
- Master AOF持久化,如果不重寫AOF文件,這個持久化方式對性能的影響是最小的,但是AOF文件會不斷增大,AOF文件過大會影響Master重啟的恢復(fù)速度。Master最好不要做任何持久化工作,包括內(nèi)存快照和AOF日志文件,特別是不要啟用內(nèi)存快照做持久化,如果數(shù)據(jù)比較關(guān)鍵,某個Slave開啟AOF備份數(shù)據(jù),策略為每秒同步一次。
- Master調(diào)用BGREWRITEAOF重寫AOF文件,AOF在重寫的時候會占大量的CPU和內(nèi)存資源,導(dǎo)致服務(wù)load過高,出現(xiàn)短暫服務(wù)暫?,F(xiàn)象。
- Redis主從復(fù)制的性能問題,為了主從復(fù)制的速度和連接的穩(wěn)定性,Slave和Master最好在同一個局域網(wǎng)內(nèi)
17、redis最適合的場景
Redis最適合所有數(shù)據(jù)in-momory的場景,雖然Redis也提供持久化功能,但實(shí)際更多的是一個disk-backed的功能,跟傳統(tǒng)意義上的持久化有比較大的差別,那么可能大家就會有疑問,似乎Redis更像一個加強(qiáng)版的Memcached,那么何時使用Memcached,何時使用Redis呢?
如果簡單地比較Redis與Memcached的區(qū)別,大多數(shù)都會得到以下觀點(diǎn):
Redis不僅僅支持簡單的k/v類型的數(shù)據(jù),同時還提供list,set,zset,hash等數(shù)據(jù)結(jié)構(gòu)的存儲。
Redis支持?jǐn)?shù)據(jù)的備份,即master-slave模式的數(shù)據(jù)備份。
Redis支持?jǐn)?shù)據(jù)的持久化,可以將內(nèi)存中的數(shù)據(jù)保持在磁盤中,重啟的時候可以再次加載進(jìn)行使用。
- 回話緩存
最常用的一種使用Redis的情景是會話緩存(session cache)。用Redis緩存會話比其他存儲(如Memcached)的優(yōu)勢在于:Redis提供持久化。當(dāng)維護(hù)一個不是嚴(yán)格要求一致性的緩存時,如果用戶的購物車信息全部丟失,大部分人都會不高興的,現(xiàn)在,他們還會這樣嗎?
幸運(yùn)的是,隨著 Redis 這些年的改進(jìn),很容易找到怎么恰當(dāng)?shù)氖褂肦edis來緩存會話的文檔。甚至廣為人知的商業(yè)平臺Magento也提供Redis的插件。 - 全頁緩存
除基本的會話token之外,Redis還提供很簡便的FPC平臺?;氐揭恢滦詥栴},即使重啟了Redis實(shí)例,因?yàn)橛写疟P的持久化,用戶也不會看到頁面加載速度的下降,這是一個極大改進(jìn),類似PHP本地FPC。
再次以Magento為例,Magento提供一個插件來使用Redis作為全頁緩存后端。
此外,對WordPress的用戶來說,Pantheon有一個非常好的插件 wp-redis,這個插件能幫助你以最快速度加載你曾瀏覽過的頁面。 - 隊(duì)列
Reids在內(nèi)存存儲引擎領(lǐng)域的一大優(yōu)點(diǎn)是提供 list 和 set 操作,這使得Redis能作為一個很好的消息隊(duì)列平臺來使用。Redis作為隊(duì)列使用的操作,就類似于本地程序語言(如Python)對 list 的 push/pop 操作。
如果你快速的在Google中搜索“Redis queues”,你馬上就能找到大量的開源項(xiàng)目,這些項(xiàng)目的目的就是利用Redis創(chuàng)建非常好的后端工具,以滿足各種隊(duì)列需求。例如,Celery有一個后臺就是使用Redis作為broker,你可以從這里去查看。 - 排行榜、計(jì)數(shù)器
Redis在內(nèi)存中對數(shù)字進(jìn)行遞增或遞減的操作實(shí)現(xiàn)的非常好。集合(Set)和有序集合(Sorted Set)也使得我們在執(zhí)行這些操作的時候變的非常簡單,Redis只是正好提供了這兩種數(shù)據(jù)結(jié)構(gòu)。所以,我們要從排序集合中獲取到排名最靠前的10個用戶–我們稱之為“user_scores”,我們只需要像下面一樣執(zhí)行即可:
當(dāng)然,這是假定你是根據(jù)你用戶的分?jǐn)?shù)做遞增的排序。如果你想返回用戶及用戶的分?jǐn)?shù),你需要這樣執(zhí)行:
ZRANGE user_scores 0 10 WITHSCORES
Agora Games就是一個很好的例子,用Ruby實(shí)現(xiàn)的,它的排行榜就是使用Redis來存儲數(shù)據(jù)的,你可以在這里看到。 - 發(fā)布、訂閱
最后(但肯定不是最不重要的)是Redis的發(fā)布/訂閱功能。發(fā)布/訂閱的使用場景確實(shí)非常多。我已看見人們在社交網(wǎng)絡(luò)連接中使用,還可作為基于發(fā)布/訂閱的腳本觸發(fā)器,甚至用Redis的發(fā)布/訂閱功能來建立聊天系統(tǒng)!(不,這是真的,你可以去核實(shí))。
Redis提供的所有特性中,我感覺這個是喜歡的人最少的一個,雖然它為用戶提供如果此多功能
18 進(jìn)階總結(jié)
為什么使用redis
1、高性能
2、高并發(fā)使用redis有什么缺點(diǎn)
1、緩存和數(shù)據(jù)庫的雙寫一致性問題
2、緩存雪崩
3、緩存擊穿
4、緩存的并發(fā)競爭單線程redis為什么這么快
1、單線程避免線程上下文切換
2、純內(nèi)存操作
3、采用非阻塞i/o多路復(fù)用機(jī)制redis 數(shù)據(jù)類型,以及每種類型的使用場景
1、string
單點(diǎn)登錄系統(tǒng)的session保存
2、hash
訂單保存
購物車保存
3、list
偽消息隊(duì)列
并集 交集
4、set
去重
5、sortset
比set多了一個權(quán)重core參數(shù),多了一個排序
- redis的過期策略以及內(nèi)存淘汰機(jī)制
1、如果redis只能存5g數(shù)據(jù),你要寫10g數(shù)據(jù)怎么辦?
2、如果你設(shè)置了數(shù)據(jù)的過期時間,但是時間到了,內(nèi)存占用率還是很高,原因是什么?
3、內(nèi)存的定時刪除celue
定時刪除
有一個定時器專門復(fù)雜刪除過期的key,但是在大量的并發(fā)時,它是浪費(fèi)資源的,cup應(yīng)該用在key的讀寫上 而不是用在刪除key上
定期刪除+惰性刪除
定期刪除,就是每隔段時間(100ms)就是隨機(jī)抽取過期的key進(jìn)行刪除,這樣造成有一些就不會刪除,這時惰性刪除就排上用場了
惰性刪除是在key被使用的時候 先判斷是否過期,如果過期則刪除,不過期則用
當(dāng)然,定時刪除+惰性刪除也會存沒有被隨機(jī)到也沒訪問的key豈不是一直在?
這時就需要內(nèi)部淘汰機(jī)制
內(nèi)部淘汰機(jī)制
在redis.conf中有一行配置
# maxmemory-policy volatile-lru
#參數(shù):其他的不說明 這是最常用的
allkeys-lru:當(dāng)內(nèi)存不足以容納新寫入數(shù)據(jù)時,在鍵空間中,移除最近最少使用的 Key。推薦使用,目前項(xiàng)目在用這種
redis和數(shù)據(jù)庫的雙寫一致性問題
1、強(qiáng)一致性 就是不用緩存
2、最終一致性 用緩存,但是從根本上無法避免讀寫一致性問題,只能優(yōu)化,如何應(yīng)對緩存穿透和緩存雪崩的問題
1、緩存穿透:黑客去請求緩存中不存在的數(shù)據(jù),則就會出現(xiàn)大量的并發(fā)出現(xiàn)在數(shù)據(jù)庫上,從而數(shù)據(jù)庫異常
解決:
1、互斥鎖
2、異步更新策略(其實(shí)就是即使的更新緩存,eg 每次開機(jī)更新緩存)
3、提供一個能迅速判斷請求是否有效的攔截機(jī)制
2、緩存雪崩:緩存同一時間集體大面積失效,這個時候來了一大波請求,結(jié)果都懟到數(shù)據(jù)庫上了,
解決:
1、緩存失效時間加上隨機(jī)數(shù) 避免集體失效
2、使用互斥鎖(是從數(shù)據(jù)庫方面考慮,但是性能降低了)
3、雙緩存(一個有失效時間 一個沒有)
- 如何解決redis的并發(fā)競爭key的問題
1、事務(wù)( 不推薦)
2、不分順序(分布式鎖)
3、分順序(分布式鎖+時間戳標(biāo)記)