本篇文章主要介紹Nosql的一些東西,以及Nosql中比較火的三個數(shù)據(jù)庫Redis、Memchache、MongoDb和他們之間的區(qū)別。
Nosql介紹
Nosql的全稱是Not Only Sql,這個概念早起就有人提出,在09年的時候比較火。Nosql指的是非關(guān)系型數(shù)據(jù)庫,而我們常用的都是關(guān)系型數(shù)據(jù)庫。就像我們常用的mysql,sqlserver一樣,這些數(shù)據(jù)庫一般用來存儲重要信息,應(yīng)對普通的業(yè)務(wù)是沒有問題的。但是,隨著互聯(lián)網(wǎng)的高速發(fā)展,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫在應(yīng)付超大規(guī)模,超大流量以及高并發(fā)的時候力不從心。而就在這個時候,Nosql得到的告訴的發(fā)展。
Nosql和關(guān)系型數(shù)據(jù)庫的區(qū)別
1.存儲方式
關(guān)系型數(shù)據(jù)庫是表格式的,因此存儲在表的行和列中。他們之間很容易關(guān)聯(lián)協(xié)作存儲,提取數(shù)據(jù)很方便。而Nosql數(shù)據(jù)庫則與其相反,他是大塊的組合在一起。通常存儲在數(shù)據(jù)集中,就像文檔、鍵值對或者圖結(jié)構(gòu)。
2.存儲結(jié)構(gòu)
關(guān)系型數(shù)據(jù)庫對應(yīng)的是結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)表都預先定義了結(jié)構(gòu)(列的定義),結(jié)構(gòu)描述了數(shù)據(jù)的形式和內(nèi)容。這一點對數(shù)據(jù)建模至關(guān)重要,雖然預定義結(jié)構(gòu)帶來了可靠性和穩(wěn)定性,但是修改這些數(shù)據(jù)比較困難。而Nosql數(shù)據(jù)庫基于動態(tài)結(jié)構(gòu),使用與非結(jié)構(gòu)化數(shù)據(jù)。因為Nosql數(shù)據(jù)庫是動態(tài)結(jié)構(gòu),可以很容易適應(yīng)數(shù)據(jù)類型和結(jié)構(gòu)的變化。
3.存儲規(guī)范
關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)存儲為了更高的規(guī)范性,把數(shù)據(jù)分割為最小的關(guān)系表以避免重復,獲得精簡的空間利用。雖然管理起來很清晰,但是單個操作設(shè)計到多張表的時候,數(shù)據(jù)管理就顯得有點麻煩。而Nosql數(shù)據(jù)存儲在平面數(shù)據(jù)集中,數(shù)據(jù)經(jīng)??赡軙貜汀蝹€數(shù)據(jù)庫很少被分隔開,而是存儲成了一個整體,這樣整塊數(shù)據(jù)更加便于讀寫。
4.存儲擴展
這可能是兩者之間最大的區(qū)別,關(guān)系型數(shù)據(jù)庫是縱向擴展,也就是說想要提高處理能力,要使用速度更快的計算機。因為數(shù)據(jù)存儲在關(guān)系表中,操作的性能瓶頸可能涉及到多個表,需要通過提升計算機性能來克服。雖然有很大的擴展空間,但是最終會達到縱向擴展的上限。而Nosql數(shù)據(jù)庫是橫向擴展的,它的存儲天然就是分布式的,可以通過給資源池添加更多的普通數(shù)據(jù)庫服務(wù)器來分擔負載。
5.查詢方式
關(guān)系型數(shù)據(jù)庫通過結(jié)構(gòu)化查詢語言來操作數(shù)據(jù)庫(就是我們通常說的SQL)。SQL支持數(shù)據(jù)庫CURD操作的功能非常強大,是業(yè)界的標準用法。而Nosql查詢以塊為單元操作數(shù)據(jù),使用的是非結(jié)構(gòu)化查詢語言(UnQl),它是沒有標準的。關(guān)系型數(shù)據(jù)庫表中主鍵的概念對應(yīng)Nosql中存儲文檔的ID。關(guān)系型數(shù)據(jù)庫使用預定義優(yōu)化方式(比如索引)來加快查詢操作,而Nosql更簡單更精確的數(shù)據(jù)訪問模式。
6.事務(wù)
關(guān)系型數(shù)據(jù)庫遵循ACID規(guī)則(原子性(Atomicity)、一致性(Consistency)、隔離性(Isolation)、持久性(Durability)),而Nosql數(shù)據(jù)庫遵循BASE原則(基本可用(Basically Availble)、軟/柔性事務(wù)(Soft-state )、最終一致性(Eventual Consistency))。由于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)強一致性,所以對事務(wù)的支持很好。關(guān)系型數(shù)據(jù)庫支持對事務(wù)原子性細粒度控制,并且易于回滾事務(wù)。而Nosql數(shù)據(jù)庫是在CAP(一致性、可用性、分區(qū)容忍度)中任選兩項,因為基于節(jié)點的分布式系統(tǒng)中,很難全部滿足,所以對事務(wù)的支持不是很好,雖然也可以使用事務(wù),但是并不是Nosql的閃光點。
7.性能
關(guān)系型數(shù)據(jù)庫為了維護數(shù)據(jù)的一致性付出了巨大的代價,讀寫性能比較差。在面對高并發(fā)讀寫性能非常差,面對海量數(shù)據(jù)的時候效率非常低。而Nosql存儲的格式都是key-value類型的,并且存儲在內(nèi)存中,非常容易存儲,而且對于數(shù)據(jù)的 一致性是 弱要求。Nosql無需sql的解析,提高了讀寫性能。
8.授權(quán)方式
關(guān)系型數(shù)據(jù)庫通常有SQL Server,Mysql,Oracle。主流的Nosql數(shù)據(jù)庫有redis,memcache,MongoDb。大多數(shù)的關(guān)系型數(shù)據(jù)庫都是付費的并且價格昂貴,成本較大,而Nosql數(shù)據(jù)庫通常都是開源的。
Redis,Memcache,MongoDb的特點與區(qū)別
Redis
優(yōu)點
支持多種數(shù)據(jù)結(jié)構(gòu),如 string(字符串)、 list(雙向鏈表)、dict(hash表)、set(集合)、zset(排序set)、hyperloglog(基數(shù)估算)
支持持久化操作,可以進行aof及rdb數(shù)據(jù)持久化到磁盤,從而進行數(shù)據(jù)備份或數(shù)據(jù)恢復等操作,較好的防止數(shù)據(jù)丟失 的手段。
支持通過Replication進行數(shù)據(jù)復制,通過master-slave機制,可以實時進行數(shù)據(jù)的同步復制,支持多級復制和增量復制,master-slave機制是Redis進行HA的重要手段。
單線程請求,所有命令串行執(zhí)行,并發(fā)情況下不需要考慮數(shù)據(jù)一致性問題。
支持pub/sub消息訂閱機制,可以用來進行消息訂閱與通知。
支持簡單的事務(wù)需求,但業(yè)界使用場景很少,并不成熟。
缺點
Redis只能使用單線程,性能受限于CPU性能,故單實例CPU最高才可能達到5-6wQPS每秒(取決于數(shù)據(jù)結(jié)構(gòu),數(shù)據(jù)大小以及服務(wù)器硬件性能,日常環(huán)境中QPS高峰大約在1-2w左右)。
支持簡單的事務(wù)需求,但業(yè)界使用場景很少,并不成熟,既是優(yōu)點也是缺點。
Redis在string類型上會消耗較多內(nèi)存,可以使用dict(hash表)壓縮存儲以降低內(nèi)存耗用。
Memcache
優(yōu)點
Memcached可以利用多核優(yōu)勢,單實例吞吐量極高,可以達到幾十萬QPS(取決于key、value的字節(jié)大小以及服務(wù)器硬件性能,日常環(huán)境中QPS高峰大約在4-6w左右)。適用于最大程度扛量。
支持直接配置為session handle。
缺點
只支持簡單的key/value數(shù)據(jù)結(jié)構(gòu),不像Redis可以支持豐富的數(shù)據(jù)類型。
無法進行持久化,數(shù)據(jù)不能備份,只能用于緩存使用,且重啟后數(shù)據(jù)全部丟失。
無法進行數(shù)據(jù)同步,不能將MC中的數(shù)據(jù)遷移到其他MC實例中。
Memcached內(nèi)存分配采用Slab Allocation機制管理內(nèi)存,value大小分布差異較大時會造成內(nèi)存利用率降低,并引發(fā)低利用率時依然出現(xiàn)踢出等問題。需要用戶注重value設(shè)計。
MongoDB
優(yōu)點
更高的寫負載,MongoDB擁有更高的插入速度。
處理很大的規(guī)模的單表,當數(shù)據(jù)表太大的時候可以很容易的分割表。
高可用性,設(shè)置M-S不僅方便而且很快,MongoDB還可以快速、安全及自動化的實現(xiàn)節(jié)點(數(shù)據(jù)中心)故障轉(zhuǎn)移。
快速的查詢,MongoDB支持二維空間索引,比如管道,因此可以快速及精確的從指定位置獲取數(shù)據(jù)。MongoDB在啟動后會將數(shù)據(jù)庫中的數(shù)據(jù)以文件映射的方式加載到內(nèi)存中。如果內(nèi)存資源相當豐富的話,這將極大地提高數(shù)據(jù)庫的查詢速度。
非結(jié)構(gòu)化數(shù)據(jù)的爆發(fā)增長,增加列在有些情況下可能鎖定整個數(shù)據(jù)庫,或者增加負載從而導致性能下降,由于MongoDB的弱數(shù)據(jù)結(jié)構(gòu)模式,添加1個新字段不會對舊表格有任何影響,整個過程會非??焖?。
缺點
不支持事務(wù)。
MongoDB占用空間過大 。
MongoDB沒有成熟的維護工具。
Redis、Memcache和MongoDB的區(qū)別
1. 性能
三者的性能都比較高,總的來講:Memcache和Redis差不多,要高于MongoDB。
2. 便利性
memcache數(shù)據(jù)結(jié)構(gòu)單一。
redis豐富一些,數(shù)據(jù)操作方面,redis更好一些,較少的網(wǎng)絡(luò)IO次數(shù)。
mongodb支持豐富的數(shù)據(jù)表達,索引,最類似關(guān)系型數(shù)據(jù)庫,支持的查詢語言非常豐富。
3. 存儲空間
redis在2.0版本后增加了自己的VM特性,突破物理內(nèi)存的限制;可以對key value設(shè)置過期時間(類似memcache)。
memcache可以修改最大可用內(nèi)存,采用LRU算法。
mongoDB適合大數(shù)據(jù)量的存儲,依賴操作系統(tǒng)VM做內(nèi)存管理,吃內(nèi)存也比較厲害,服務(wù)不要和別的服務(wù)在一起。
4. 可用性
redis,依賴客戶端來實現(xiàn)分布式讀寫;主從復制時,每次從節(jié)點重新連接主節(jié)點都要依賴整個快照,無增量復制,因性能和效率問題,所以單點問題比較復雜;不支持自動sharding,需要依賴程序設(shè)定一致hash 機制。一種替代方案是,不用redis本身的復制機制,采用自己做主動復制(多份存儲),或者改成增量復制的方式(需要自己實現(xiàn)),一致性問題和性能的權(quán)衡。
Memcache本身沒有數(shù)據(jù)冗余機制,也沒必要;對于故障預防,采用依賴成熟的hash或者環(huán)狀的算法,解決單點故障引起的抖動問題。
mongoDB支持master-slave,replicaset(內(nèi)部采用paxos選舉算法,自動故障恢復),auto sharding機制,對客戶端屏蔽了故障轉(zhuǎn)移和切分機制。
5. 可靠性
redis支持(快照、AOF):依賴快照進行持久化,aof增強了可靠性的同時,對性能有所影響。
memcache不支持,通常用在做緩存,提升性能。
MongoDB從1.8版本開始采用binlog方式支持持久化的可靠性。
6. 一致性
Memcache 在并發(fā)場景下,用cas保證一致性。
redis事務(wù)支持比較弱,只能保證事務(wù)中的每個操作連續(xù)執(zhí)行。
mongoDB不支持事務(wù)。
7. 數(shù)據(jù)分析
mongoDB內(nèi)置了數(shù)據(jù)分析的功能(mapreduce),其他兩者不支持。
8. 應(yīng)用場景
redis:數(shù)據(jù)量較小的更性能操作和運算上。
memcache:用于在動態(tài)系統(tǒng)中減少數(shù)據(jù)庫負載,提升性能;做緩存,提高性能(適合讀多寫少,對于數(shù)據(jù)量比較大,可以采用sharding)。
MongoDB:主要解決海量數(shù)據(jù)的訪問效率問題。
原文:http://www.cnblogs.com/lina520/p/7919551.html