[toc]
Redis
redis數(shù)據(jù)結(jié)構(gòu)有哪些
string
使用string時(shí),redis大多數(shù)情況下并不會(huì)理解或者解析其含義,無(wú)論使用json、xml還是純文本在redis看來都是一樣的,只是一個(gè)字符串,只能進(jìn)行strlen、append等對(duì)字符串通用的操作,無(wú)法針對(duì)其內(nèi)容進(jìn)一步操作。其基本操作命令有set、get、strlen、getrange、append,在大多數(shù)情況之外,就是string中存儲(chǔ)的為純數(shù)字的情況,redis可以將字符串當(dāng)做數(shù)字進(jìn)行進(jìn)一步操作,這些操作包括decr、decrby、incr、incrby和incrbyfloat。
hash
使用hash時(shí),在我看來,就是value本身就是一組key-value對(duì),不過redis將這里的key稱為field(但是hkeys命令為什么不叫hfields命令呢哈哈),也就是value是一組field-value對(duì)。其基本操作命令有hset、hget、hmset、hmget、hgetall、hkeys和hdel:
list
使用list時(shí),value就是一個(gè)string數(shù)組,操作這組string時(shí),可以像對(duì)待棧一樣使用pop和push操作,但是這個(gè)棧兩端都能進(jìn)行操作;也可以像對(duì)待數(shù)組一樣使用一個(gè)index參數(shù)來操作。
set
set用于存儲(chǔ)一組不重復(fù)的值,也可以進(jìn)行一些集合的操作,就像數(shù)學(xué)上的集合,它是無(wú)序的。
sorted set
sorted set類似set,但是sorted set里每個(gè)元素都有一個(gè)score,這個(gè)score可用于排序和排名。
redis隊(duì)列應(yīng)用場(chǎng)景
redis和Memcached(支持?jǐn)?shù)據(jù)持久化)
(1) memcached所有的值均是簡(jiǎn)單的字符串,redis作為其替代者,支持更為豐富的數(shù)據(jù)類型
(2) redis的速度比memcached快很多
(3) redis可以持久化其數(shù)據(jù)
分布式使用場(chǎng)景(儲(chǔ)存session等)
生產(chǎn)/消費(fèi)使用場(chǎng)景
一個(gè)或者多個(gè)客戶端監(jiān)聽消息隊(duì)列,一旦消息到達(dá),消費(fèi)者馬上消費(fèi),誰(shuí)先搶到算誰(shuí)的,如果隊(duì)列里沒有消息,則消費(fèi)者繼續(xù)監(jiān)聽。
發(fā)布/訂閱使用場(chǎng)景
一個(gè)或多個(gè)客戶端訂閱消息頻道,只要發(fā)布者發(fā)布消息,所有訂閱者都能收到消息,訂閱者都是平等的。
解決超賣的問題
- 使用unsigned來制止負(fù)數(shù)的產(chǎn)生
- 使用事務(wù),鎖住操作的行
- 使用非阻塞的文件排它鎖
- 使用Redis隊(duì)列,因?yàn)閜op()操作的原子的,即使有很多用戶同時(shí)到達(dá),也是依次執(zhí)行
Reids的特點(diǎn)
Redis本質(zhì)上是一個(gè)Key-Value類型的內(nèi)存數(shù)據(jù)庫(kù),很像memcached,整個(gè)數(shù)據(jù)庫(kù)統(tǒng)統(tǒng)加載在內(nèi)存當(dāng)中進(jìn)行操作,定期通過異步操作把數(shù)據(jù)庫(kù)數(shù)據(jù)flush到硬盤上進(jìn)行保存。因?yàn)槭羌儍?nèi)存操作,Redis的性能非常出色,每秒可以處理超過 10萬(wàn)次讀寫操作,是已知性能最快的Key-Value DB。
Redis的出色之處不僅僅是性能,Redis最大的魅力是支持保存多種數(shù)據(jù)結(jié)構(gòu),此外單個(gè)value的最大限制是1GB,不像 memcached只能保存1MB的數(shù)據(jù),因此Redis可以用來實(shí)現(xiàn)很多有用的功能,比方說用他的List來做FIFO雙向鏈表,實(shí)現(xiàn)一個(gè)輕量級(jí)的高性 能消息隊(duì)列服務(wù),用他的Set可以做高性能的tag系統(tǒng)等等。另外Redis也可以對(duì)存入的Key-Value設(shè)置expire時(shí)間,因此也可以被當(dāng)作一 個(gè)功能加強(qiáng)版的memcached來用。
Redis的主要缺點(diǎn)是數(shù)據(jù)庫(kù)容量受到物理內(nèi)存的限制,不能用作海量數(shù)據(jù)的高性能讀寫,因此Redis適合的場(chǎng)景主要局限在較小數(shù)據(jù)量的高性能操作和運(yùn)算上。
為什么redis需要把所有數(shù)據(jù)放到內(nèi)存中?
Redis為了達(dá)到最快的讀寫速度將數(shù)據(jù)都讀到內(nèi)存中,并通過異步的方式將數(shù)據(jù)寫入磁盤。所以redis具有快速和數(shù)據(jù)持久化的特征。如果不將數(shù)據(jù)放在內(nèi)存中,磁盤I/O速度為嚴(yán)重影響redis的性能。在內(nèi)存越來越便宜的今天,redis將會(huì)越來越受歡迎。
如果設(shè)置了最大使用的內(nèi)存,則數(shù)據(jù)已有記錄數(shù)達(dá)到內(nèi)存限值后不能繼續(xù)插入新值。
Redis是單進(jìn)程單線程的
redis利用隊(duì)列技術(shù)將并發(fā)訪問變?yōu)榇性L問,消除了傳統(tǒng)數(shù)據(jù)庫(kù)串行控制的開銷
虛擬內(nèi)存
當(dāng)你的key很小而value很大時(shí),使用VM的效果會(huì)比較好.因?yàn)檫@樣節(jié)約的內(nèi)存比較大.
當(dāng)你的key不小時(shí),可以考慮使用一些非常方法將很大的key變成很大的value,比如你可以考慮將key,value組合成一個(gè)新的value.
vm-max-threads這個(gè)參數(shù),可以設(shè)置訪問swap文件的線程數(shù),設(shè)置最好不要超過機(jī)器的核數(shù),如果設(shè)置為0,那么所有對(duì)swap文件的操作都是串行的.可能會(huì)造成比較長(zhǎng)時(shí)間的延遲,但是對(duì)數(shù)據(jù)完整性有很好的保證.
自己測(cè)試的時(shí)候發(fā)現(xiàn)用虛擬內(nèi)存性能也不錯(cuò)。如果數(shù)據(jù)量很大,可以考慮分布式或者其他數(shù)據(jù)庫(kù)
分布式
redis支持主從的模式。原則:Master會(huì)將數(shù)據(jù)同步到slave,而slave不會(huì)將數(shù)據(jù)同步到master。Slave啟動(dòng)時(shí)會(huì)連接master來同步數(shù)據(jù)。
這是一個(gè)典型的分布式讀寫分離模型。我們可以利用master來插入數(shù)據(jù),slave提供檢索服務(wù)。這樣可以有效減少單個(gè)機(jī)器的并發(fā)訪問數(shù)量
讀寫分離模型
通過增加Slave DB的數(shù)量,讀的性能可以線性增長(zhǎng)。為了避免Master DB的單點(diǎn)故障,集群一般都會(huì)采用兩臺(tái)Master DB做雙機(jī)熱備,所以整個(gè)集群的讀和寫的可用性都非常高。
讀寫分離架構(gòu)的缺陷在于,不管是Master還是Slave,每個(gè)節(jié)點(diǎn)都必須保存完整的數(shù)據(jù),如果在數(shù)據(jù)量很大的情況下,集群的擴(kuò)展能力還是受限于單個(gè)節(jié)點(diǎn)的存儲(chǔ)能力,而且對(duì)于Write-intensive類型的應(yīng)用,讀寫分離架構(gòu)并不適合。
數(shù)據(jù)分片模型
為了解決讀寫分離模型的缺陷,可以將數(shù)據(jù)分片模型應(yīng)用進(jìn)來。
可以將每個(gè)節(jié)點(diǎn)看成都是獨(dú)立的master,然后通過業(yè)務(wù)實(shí)現(xiàn)數(shù)據(jù)分片。
結(jié)合上面兩種模型,可以將每個(gè)master設(shè)計(jì)成由一個(gè)master和多個(gè)slave組成的模型。
Redis的回收策略
volatile-lru:從已設(shè)置過期時(shí)間的數(shù)據(jù)集(server.db[i].expires)中挑選最近最少使用的數(shù)據(jù)淘汰
volatile-ttl:從已設(shè)置過期時(shí)間的數(shù)據(jù)集(server.db[i].expires)中挑選將要過期的數(shù)據(jù)淘汰
volatile-random:從已設(shè)置過期時(shí)間的數(shù)據(jù)集(server.db[i].expires)中任意選擇數(shù)據(jù)淘汰
allkeys-lru:從數(shù)據(jù)集(server.db[i].dict)中挑選最近最少使用的數(shù)據(jù)淘汰
allkeys-random:從數(shù)據(jù)集(server.db[i].dict)中任意選擇數(shù)據(jù)淘汰
no-enviction(驅(qū)逐):禁止驅(qū)逐數(shù)據(jù)
redis常見性能問題和解決方案:
(1) Master最好不要做任何持久化工作,如RDB內(nèi)存快照和AOF日志文件
(2) 如果數(shù)據(jù)比較重要,某個(gè)Slave開啟AOF備份數(shù)據(jù),策略設(shè)置為每秒同步一次
(3) 為了主從復(fù)制的速度和連接的穩(wěn)定性,Master和Slave最好在同一個(gè)局域網(wǎng)內(nèi)
(4) 盡量避免在壓力很大的主庫(kù)上增加從庫(kù)
(5) 主從復(fù)制不要用圖狀結(jié)構(gòu),用單向鏈表結(jié)構(gòu)更為穩(wěn)定,即:Master <- Slave1 <- Slave2 <- Slave3...
這樣的結(jié)構(gòu)方便解決單點(diǎn)故障問題,實(shí)現(xiàn)Slave對(duì)Master的替換。如果Master掛了,可以立刻啟用Slave1做Master,其他不變。