Nosql 入門

本文轉自:http://blog.csdn.net/sunxianghuang/article/details/52331441


關系型數(shù)據(jù)庫與NoSql數(shù)據(jù)庫

什么是NoSQL

Not Only SQL,其含義是:適合關系型數(shù)據(jù)庫的時候就是用關系型數(shù)據(jù)庫,不適用的時候也沒必要非得使用關系型數(shù)據(jù)庫不可,可以考慮使用更加合適的數(shù)據(jù)存儲。

彌補關系型數(shù)據(jù)庫的不足,各種各樣的NoSQL數(shù)據(jù)庫運應而生。

數(shù)據(jù)庫的分類

階層型數(shù)據(jù)庫

早期的數(shù)據(jù)庫稱為階層型數(shù)據(jù)庫,數(shù)據(jù)的關系都是以簡單的樹形結構來定義的。程序也通過樹形結構對數(shù)據(jù)進行訪問。這種結構,父記錄(上層的記錄)同時擁有多個子記錄(下層記錄),子記錄只有唯一的父記錄。正因為如此,這種非常簡單的構造在碰到復雜數(shù)據(jù)的時候往往會造成數(shù)據(jù)的重復(同一數(shù)據(jù)在數(shù)據(jù)庫內重復出現(xiàn)),出現(xiàn)數(shù)據(jù)冗余的問題。

階層型數(shù)據(jù)庫把數(shù)據(jù)通過階層結構的方式表現(xiàn)出來,雖然這樣的結構有利于提高查詢效率,但與此相對應的是,不理解數(shù)據(jù)結構就無法進行高效的查詢。當然,在階層結構發(fā)生變更的時候,程序也需要進行相應的變更。

網(wǎng)絡型數(shù)據(jù)庫

前所述,階層型數(shù)據(jù)庫會帶來數(shù)據(jù)重復的問題。為了解決這個問題,就出現(xiàn)了網(wǎng)絡型數(shù)據(jù)庫。它擁有同階層型數(shù)據(jù)庫相近的數(shù)據(jù)結構,同時各種數(shù)據(jù)又如同網(wǎng)狀交織在一起,因此而得名。

階層型數(shù)據(jù)庫只能通過父子關系來表現(xiàn)數(shù)據(jù)之間的關系。針對這一不足,網(wǎng)絡型數(shù)據(jù)庫可以使子記錄同時擁有多個父記錄,從而解決了數(shù)據(jù)冗余的問題。

但是,在網(wǎng)絡型數(shù)據(jù)庫中,數(shù)據(jù)間比較復雜的網(wǎng)絡關系使得數(shù)據(jù)結構的更新變得比較困難。另外,與階層型數(shù)據(jù)庫一樣,網(wǎng)絡型數(shù)據(jù)庫對數(shù)據(jù)結構有很強的依賴性,不理解數(shù)據(jù)結構就無法進行相應的數(shù)據(jù)訪問。

關系型數(shù)據(jù)庫

最后要向大家介紹的是以科德提出的關系數(shù)據(jù)模型為基礎的關系型數(shù)據(jù)庫。關系型數(shù)據(jù)庫把所有的數(shù)據(jù)都通過行和列的二元表現(xiàn)形式表示出來,給人更容易理解的直觀感受。網(wǎng)絡型數(shù)據(jù)庫存在著數(shù)據(jù)結構變更困難的問題,而關系型數(shù)據(jù)庫可以使多條數(shù)據(jù)根據(jù)值來進行關聯(lián),這樣就使數(shù)據(jù)可以獨立存在,使得數(shù)據(jù)結構的變更變得簡單易行。

對于階層型數(shù)據(jù)庫和網(wǎng)絡型數(shù)據(jù)庫,如果不理解相應的數(shù)據(jù)結構,就無法對數(shù)據(jù)進行讀取,它們對數(shù)據(jù)結構的依賴性很強。因此,它們往往需要專業(yè)的工程師使用特定的計算機程序進行操作處理。相反,關系型數(shù)據(jù)庫將作為操作對象的數(shù)據(jù)和操作方法(數(shù)據(jù)之間的關聯(lián))分離開來,消除了對數(shù)據(jù)結構的依賴性,讓數(shù)據(jù)和程序的分離成為可能。這使得數(shù)據(jù)庫可以廣泛應用于各個不同領域,進一步擴大了數(shù)據(jù)庫的應用范圍。

關系型數(shù)據(jù)庫的優(yōu)勢

通用性及高性能

"關系型數(shù)據(jù)庫的性能絕對不低,它具有非常好的通用性和非常高的性能"。毫無疑問,對于絕大多數(shù)的應用來說它都是最有效的解決方案。

突出的優(yōu)勢

關系型數(shù)據(jù)庫作為應用廣泛的通用型數(shù)據(jù)庫,它的突出優(yōu)勢主要有以下幾點:

1、保持數(shù)據(jù)的一致性(事務處理)

2、由于以標準化為前提,數(shù)據(jù)更新的開銷很小(相同的字段基本上都只有一處)

3、可以進行JOIN等復雜查詢

4、存在很多實際成果和專業(yè)技術信息(成熟的技術)。

這其中,能夠保持數(shù)據(jù)的一致性是關系型數(shù)據(jù)庫的最大優(yōu)勢。在需要嚴格保證數(shù)據(jù)一致性和處理完整性的情況下,用關系型數(shù)據(jù)庫是肯定沒有錯的。但是有些情況不需要JOIN,對上述關系型數(shù)據(jù)庫的優(yōu)點也沒有什么特別需要,這時似乎也就沒有必要拘泥于關系型數(shù)據(jù)庫了。

關系型數(shù)據(jù)庫的不足

不擅長的處理

就像之前提到的那樣,關系型數(shù)據(jù)庫的性能非常高。但是它畢竟是一個通用型的數(shù)據(jù)庫,并不能完全適應所有的用途。具體來說它并不擅長以下處理:

1、大量數(shù)據(jù)的寫入處理

2、為有數(shù)據(jù)更新的表做索引或表結構(schema)變更

3、字段不固定的應用

4、對簡單查詢需要快速返回結果的處理

大量數(shù)據(jù)的寫入處理

在數(shù)據(jù)讀入方面,由復制產(chǎn)生的主從模式(數(shù)據(jù)的寫入由主數(shù)據(jù)庫負責,數(shù)據(jù)的讀取由從數(shù)據(jù)庫負責),可以比較簡單地通過增加從數(shù)據(jù)庫來實現(xiàn)規(guī)?;?。但是,在數(shù)據(jù)的寫入方面卻完全沒有簡單的方法來解決規(guī)?;瘑栴}。讀寫集中在一個數(shù)據(jù)庫上讓數(shù)據(jù)庫不堪重負,大部分網(wǎng)站開始使用主從復制技術來實現(xiàn)讀寫分離,以提高讀寫性能和讀庫的可擴展性。

例如,要想將數(shù)據(jù)的寫入規(guī)?;梢钥紤]把主數(shù)據(jù)庫從一臺增加到兩臺,作為互相關聯(lián)復制的二元主數(shù)據(jù)庫來使用。確實這樣似乎可以把每臺主數(shù)據(jù)庫的負荷減少一半,但是更新處理會發(fā)生沖突(同樣的數(shù)據(jù)在兩臺服務器同時更新成其他值),可能會造成數(shù)據(jù)的不一致。為了避免這樣的問題,就需要把對每個表的請求分別分配給合適的主數(shù)據(jù)庫來處理,這就不那么簡單了。

下圖為兩臺主機問題:

另外,也可以考慮把數(shù)據(jù)庫分割開來,分別放在不同的數(shù)據(jù)庫服務器上,比如將這個表放在這個數(shù)據(jù)庫服務器上,那個表放在那個數(shù)據(jù)庫服務器上。數(shù)據(jù)庫分割可以減少每臺數(shù)據(jù)庫服務器上的數(shù)據(jù)量,以便減少硬盤I/O(輸入/輸出)處理,實現(xiàn)內存上的高速處理,效果非常顯著。但是,由于分別存儲在不同服務器上的表之間無法進行JOIN處理,數(shù)據(jù)庫分割的時候就需要預先考慮這些問題。數(shù)據(jù)庫分割之后,如果一定要進行JOIN處理,就必須要在程序中進行關聯(lián),這是非常困難的。

下圖為二元主數(shù)據(jù)庫問題的解決辦法:數(shù)據(jù)庫分割

數(shù)據(jù)庫分割:不能進行JOIN處理

為有數(shù)據(jù)更新的表做索引或表結構(schema)變更

在使用關系型數(shù)據(jù)庫時,為了加快查詢速度需要創(chuàng)建索引,為了增加必要的字段就一定需要改變表結構。

為了進行這些處理,需要對表進行共享鎖定,這期間數(shù)據(jù)變更(更新、插入、刪除等)是無法進行的。如果需要進行一些耗時操作(例如為數(shù)據(jù)量比較大的表創(chuàng)建索引或者是變更其表結構),就需要特別注意:長時間內數(shù)據(jù)可能無法進行更新。下表所示為共享鎖和排他鎖。

字段不固定的應用

如果字段不固定,利用關系型數(shù)據(jù)庫也是比較困難的。有人會說"需要的時候,加個字段就可以了",這樣的方法也不是不可以,但在實際運用中每次都進行反復的表結構變更是非常痛苦的。你也可以預先設定大量的預備字段,但這樣的話,時間一長很容易弄不清楚字段和數(shù)據(jù)的對應狀態(tài)(即哪個字段保存哪些數(shù)據(jù)),所以并不推薦使用。下圖所示為使用預備字段的情況:

對簡單查詢需要快速返回結果的處理

最后還有一點,這點似乎稱不上是缺點,但不管怎樣,關系型數(shù)據(jù)庫并不擅長對簡單的查詢快速返回結果。這里所說的"簡單"指的是沒有復雜的查詢條件,而不是用JOIN的意思。因為關系型數(shù)據(jù)庫是使用專門的SQL語言進行數(shù)據(jù)讀取的,它需要對SQL語言進行解析,同時還有對表的鎖定和解鎖這樣的額外開銷。這里并不是說關系型數(shù)據(jù)庫的速度太慢,而只是想告訴大家若希望對簡單查詢進行高速處理,則沒有必要非用關系型數(shù)據(jù)庫不可。

在這種情況下,我想推薦大家使用NoSQL數(shù)據(jù)庫。但是像MySQL提供了利用HandlerSocket這樣的變通方法,也是可行的。雖然使用的是關系型數(shù)據(jù)庫mysql,但并沒有利用SQL而是直接進行數(shù)據(jù)訪問。這樣的方法是非常快速的。

下圖所示為HandlerSocket的概要:

NoSQL數(shù)據(jù)庫

上節(jié)介紹了關系型數(shù)據(jù)庫的不足之處。為了彌補這些不足(特別是最近幾年),NoSQL數(shù)據(jù)庫出現(xiàn)了。關系型數(shù)據(jù)庫應用廣泛,能進行事務處理和JOIN等復雜處理。相對地,NoSQL數(shù)據(jù)庫只應用在特定領域,基本上不進行復雜的處理,但它恰恰彌補了之前所列舉的關系型數(shù)據(jù)庫的不足之處。

易于數(shù)據(jù)的分散

如前所述,關系型數(shù)據(jù)庫并不擅長大量數(shù)據(jù)的寫入處理。原本關系型數(shù)據(jù)庫就是以JOIN為前提的,就是說,各個數(shù)據(jù)之間存在關聯(lián)是關系型數(shù)據(jù)庫得名的主要原因。為了進行JOIN處理,關系型數(shù)據(jù)庫不得不把數(shù)據(jù)存儲在同一個服務器內(集中),這不利于數(shù)據(jù)的分散。相反,NoSQL數(shù)據(jù)庫原本就不支持JOIN處理,各個數(shù)據(jù)都是獨立設計的,很容易把數(shù)據(jù)分散到多個服務器上。由于數(shù)據(jù)被分散到了多個服務器上,減少了每個服務器上的數(shù)據(jù)量,即使要進行大量數(shù)據(jù)的寫入操作,處理起來也更加容易。同理,數(shù)據(jù)的讀入操作當然也同樣容易。

提升性能和增大規(guī)模

下面說一點題外話,如果想要使服務器能夠輕松地處理更大量的數(shù)據(jù),那么只有兩個選擇:一是提升性能,二是增大規(guī)模。下面我們來整理一下這兩者的不同。

首先,提升性能指的就是通過提升現(xiàn)行服務器自身的性能來提高處理能力。這是非常簡單的方法,程序方面也不需要進行變更,但需要一些費用。若要購買性能翻倍的服務器,需要花費的資金往往不只是原來的2倍,可能需要多達5~10倍。這種方法雖然簡單,但是成本較高。下圖所示為提升性能的費用與性能曲線:

另一方面,增大規(guī)模指的是使用多臺廉價的服務器來提高處理能力。它需要對程序進行變更,但由于使用廉價的服務器,可以控制成本。另外,以后只要依葫蘆畫瓢增加廉價服務器的數(shù)量就可以了。下圖所示為提升性能和增大規(guī)模:

不對大量數(shù)據(jù)進行處理的話就沒有使用的必要嗎?

NoSQL數(shù)據(jù)庫基本上來說為了"使大量數(shù)據(jù)的寫入處理更加容易(讓增加服務器數(shù)量更容易)"而設計的。但如果不是對大量數(shù)據(jù)進行操作的話,NoSQL數(shù)據(jù)庫的應用就沒有意義嗎?

答案是否定的。的確,它在處理大量數(shù)據(jù)方面很有優(yōu)勢。但實際上NoSQL數(shù)據(jù)庫還有各種各樣的特點,如果能夠恰當?shù)乩眠@些特點,它就會非常有用。具體的例子將會在第2章和第3章進行介紹,這些用途將會讓你感受到利用NoSQL的好處。

1、希望順暢地對數(shù)據(jù)進行緩存(Cache)處理

2、希望對數(shù)組類型的數(shù)據(jù)進行高速處理

3、希望進行全部保存

多樣的NoSQL數(shù)據(jù)庫

NoSQL數(shù)據(jù)庫存在著"鍵值存儲"、"文檔型數(shù)據(jù)庫"、"列存儲數(shù)據(jù)庫"等各種各樣的種類,每種數(shù)據(jù)庫又包含各自的特點。

NoSQL數(shù)據(jù)庫是什么

NoSQL說起來簡單,但實際上到底有多少種呢?我在提筆的時候,到NoSQL的官方網(wǎng)站上確認了一下,竟然已經(jīng)有122種了。另外官方網(wǎng)站上也介紹了本書沒有涉及到的圖形數(shù)據(jù)庫和對象數(shù)據(jù)庫等各個類別。不知不覺間,原來已經(jīng)出現(xiàn)了這么多的NoSQL數(shù)據(jù)庫啊。 本節(jié)將為大家介紹具有代表性的NoSQL數(shù)據(jù)庫。

key-value存儲

這是最常見的NoSQL數(shù)據(jù)庫,它的數(shù)據(jù)是以key-value的形式存儲的。雖然它的處理速度非常快,但是基本上只能通過key的完全一致查詢獲取數(shù)據(jù)。根據(jù)數(shù)據(jù)的保存方式可以分為臨時性、永久性和兩者兼具三種。

臨時性

memcached屬于這種類型。所謂臨時性就是 “數(shù)據(jù)有可能丟失”的意思。memcached把所有數(shù)據(jù)都保存在內存中,這樣保存和讀取的速度非???,但是當memcached停止的時候,數(shù)據(jù)就不存在了。由于數(shù)據(jù)保存在內存中,所以無法操作超出內存容量的數(shù)據(jù)(舊數(shù)據(jù)會丟失)。

1、在內存中保存數(shù)據(jù)

2、可以進行非常快速的保存和讀取處理

3、 數(shù)據(jù)有可能丟失

永久性

Tokyo Tyrant、Flare、ROMA等屬于這種類型。和臨時性相反,所謂永久性就是“數(shù)據(jù)不會丟失”的意思。這里的key-value存儲不像memcached那樣在內存中保存數(shù)據(jù),而是把數(shù)據(jù)保存在硬盤上。與memcached在內存中處理數(shù)據(jù)比起來,由于必然要發(fā)生對硬盤的IO操作,所以性能上還是有差距的。但數(shù)據(jù)不會丟失是它最大的優(yōu)勢。

1、在硬盤上保存數(shù)據(jù)

2、可以進行非常快速的保存和讀取處理(但無法與memcached相比)

3、數(shù)據(jù)不會丟失

兩者兼具

Redis屬于這種類型。redis有些特殊,臨時性和永久性兼具,且集合了臨時性key-value存儲和永久性key-value存儲的優(yōu)點。Redis首先把數(shù)據(jù)保存到內存中,在滿足特定條件(默認是15分鐘一次以上,5分鐘內10個以上,1分鐘內10000個以上的key發(fā)生變更)的時候將數(shù)據(jù)寫入到硬盤中。這樣既確保了內存中數(shù)據(jù)的處理速度,又可以通過寫入硬盤來保證數(shù)據(jù)的永久性。這種類型的數(shù)據(jù)庫特別適合于處理數(shù)組類型的數(shù)據(jù)。

1、同時在內存和硬盤上保存數(shù)據(jù)

2、可以進行非??焖俚谋4婧妥x取處理

3、保存在硬盤上的數(shù)據(jù)不會消失(可以恢復)

4、適合于處理數(shù)組類型的數(shù)據(jù)

面向文檔的數(shù)據(jù)庫

MongoDB、CouchDB屬于這種類型。它們屬于NoSQL數(shù)據(jù)庫,但與key-value存儲相異。

不定義表結構

面向文檔的數(shù)據(jù)庫具有以下特征:即使不定義表結構,也可以像定義了表結構一樣使用。關系型數(shù)據(jù)庫在變更表結構時比較費事,而且為了保持一致性還需修改程序。然而NoSQL數(shù)據(jù)庫則可省去這些麻煩(通常程序都是正確的),確實是方便快捷。

可以使用復雜的查詢條件

跟key-value存儲不同的是,面向文檔的數(shù)據(jù)庫可以通過復雜的查詢條件來獲取數(shù)據(jù)。雖然不具備事務處理和JOIN這些關系型數(shù)據(jù)庫所具有的處理能力,但除此以外的其他處理基本上都能實現(xiàn)。這是非常容易使用的NoSQL數(shù)據(jù)庫。

1、不需要定義表結構

2、可以利用復雜的查詢條件

面向列的數(shù)據(jù)庫

Cassandra、Hbase、HyperTable屬于這種類型。由于近年來數(shù)據(jù)量出現(xiàn)爆發(fā)性增長,這種類型的NoSQL數(shù)據(jù)庫尤其引人注目。

面向行的數(shù)據(jù)庫和面向列的數(shù)據(jù)庫

普通的關系型數(shù)據(jù)庫都是以行為單位來存儲數(shù)據(jù)的,擅長進行以行為單位的讀入處理,比如特定條件數(shù)據(jù)的獲取。因此,關系型數(shù)據(jù)庫也被稱為面向行的數(shù)據(jù)庫。相反,面向列的數(shù)據(jù)庫是以列為單位來存儲數(shù)據(jù)的,擅長以列為單位讀入數(shù)據(jù)。

高擴展性

面向列的數(shù)據(jù)庫具有高擴展性,即使數(shù)據(jù)增加也不會降低相應的處理速度(特別是寫入速度),所以它主要應用于需要處理大量數(shù)據(jù)的情況。另外,利用面向列的數(shù)據(jù)庫的優(yōu)勢,把它作為批處理程序的存儲器來對大量數(shù)據(jù)進行更新也是非常有用的。但由于面向列的數(shù)據(jù)庫跟現(xiàn)行數(shù)據(jù)庫存儲的思維方式有很大不同,應用起來十分困難。

1、高擴展性(特別是寫入處理)

2、應用十分困難

最近,像Twitter和Facebook這樣需要對大量數(shù)據(jù)進行更新和查詢的網(wǎng)絡服務不斷增加,面向列的數(shù)據(jù)庫的優(yōu)勢對其中一些服務是非常有用的,但是由于這與本書所要介紹的內容關系不大,就不進行詳細介紹了。

如何導入NoSQL數(shù)據(jù)庫

并非對立而是互補的關系

關系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫與其說是對立關系(替代關系),倒不如說是互補關系。筆者認為,與目前應用廣泛的關系數(shù)據(jù)庫相對應,在有些情況下使用特定的NoSQL數(shù)據(jù)庫,將會使處理更加簡單。

這并不是說“只使用NoSQL數(shù)據(jù)庫”或者“只使用關系型數(shù)據(jù)庫”,而是“通常情況下使用關系型數(shù)據(jù)庫,在適合使用NoSQL的時候使用NoSQL數(shù)據(jù)庫”,即讓NoSQL數(shù)據(jù)庫對關系型數(shù)據(jù)庫的不足進行彌補。引入NoSQL數(shù)據(jù)庫時的思維方法:

量材適用

當然,如果用錯的話,可能會發(fā)生使用NoSQL數(shù)據(jù)庫反而比使用關系型數(shù)據(jù)庫效果更差的情況。NoSQL數(shù)據(jù)庫只是對關系型數(shù)據(jù)庫不擅長的某些特定處理進行了優(yōu)化,做到量材適用是非常重要的。

例如,若想獲得“更高的處理速度”和“更恰當?shù)臄?shù)據(jù)存儲”,那么NoSQL數(shù)據(jù)庫是最佳的選擇。但一定不要在關系型數(shù)據(jù)庫擅長的領域使用NoSQL數(shù)據(jù)庫。

增加了數(shù)據(jù)存儲的方式

原來一提到數(shù)據(jù)存儲,就是關系型數(shù)據(jù)庫,別無選擇。現(xiàn)在NoSQL數(shù)據(jù)庫給我們提供了另一種選擇(當然要根據(jù)二者的優(yōu)點和不足區(qū)別使用)。有些情況下,同樣的處理若用NoSQL數(shù)據(jù)庫來實現(xiàn)可以變得“更簡單、更高速”。而且,NoSQL數(shù)據(jù)庫的種類有很多,它們都擁有各自不同的優(yōu)勢。

在何種程度上依賴它

NoSQL數(shù)據(jù)庫是一門新興的技術,大家可能會覺得實際的操作經(jīng)驗還不多,還可能碰到新的程序錯誤,無法放心使用。

實際上,memcached已經(jīng)相當?shù)某墒炝耍ㄥe誤和故障都已經(jīng)被發(fā)現(xiàn),且有明確的應對方法)。由于有豐富的事例和技術信息,所以不用擔心會遇到上述問題。但是,在其他的NoSQL數(shù)據(jù)庫的應用過程中遇到問題的可能性還是存在的。特別是實際應用的時候可以參考的經(jīng)驗、信息太少了。雖然NoSQL數(shù)據(jù)庫能帶來很多便利,但是在應用的時候也要考慮這些風險。

反過來說,如果不希望遇到此類問題,還是繼續(xù)使用關系型數(shù)據(jù)庫吧。它積累了很多成熟經(jīng)驗,更讓人放心。

NoSQL數(shù)據(jù)庫的種類和特征

memcached(臨時性鍵值存儲)

什么是memcached

memcached是由Danga Interactive公司開發(fā)的開源軟件,屬于臨時性鍵值存儲的NoSQL數(shù)據(jù)庫。

為什么使用memcached

高速響應

大多數(shù)的Web應用程序通過關系型數(shù)據(jù)庫來保存數(shù)據(jù),并從中讀取必要的數(shù)據(jù)顯示在用戶端瀏覽器上。當數(shù)據(jù)量較少時,應用程序可以很快讀取結果并顯示出來。但當數(shù)據(jù)量急劇增加,或者需要返回比較復雜的數(shù)據(jù)合計時,響應時間就會變長,用戶也只能被迫等待結果的返回,這樣將會降低用戶體驗。

作為高速緩存使用

那么怎么才能獲得高速的響應呢?當然如果是簡單處理的話,利用關系型數(shù)據(jù)庫的索引也能獲得高速響應。雖然memcached會更加快一些,但如果合理的使用索引,關系型數(shù)據(jù)庫就足夠快了。

但是,如果要對多個表的數(shù)據(jù)進行計算,情況會怎樣呢?若使用關系型數(shù)據(jù)庫,我們需要從每個表中取出數(shù)據(jù)然后進行最后的組合處理,或者每次都要使用JOIN等處理。雖然我們可以通過事前用批處理制作數(shù)據(jù)來解決這個問題,但是這樣又會增加需要管理的表,花費我們更多的精力。

“由于準備數(shù)據(jù)本身需要關系型數(shù)據(jù)庫花費幾十秒到幾分鐘的時間才能計算出來,因此實時計算就會顯得比較慢?!边@個時候,memcached就可以大顯身手了。因為memcached可以把從關系數(shù)據(jù)庫中讀取的數(shù)據(jù)保存到緩存中,所以即使是需要處理大量數(shù)據(jù)或者是訪問非常集中的情況下,它也能非??焖俚胤祷仨憫獢?shù)據(jù)。這是因為memcached對于(第二次以后的)相同處理,只要它發(fā)現(xiàn)有數(shù)據(jù)保存在緩存里,就不用通過關系型數(shù)據(jù)庫而直接進行處理。memcached存儲的數(shù)據(jù)有可能丟失,但如果這些數(shù)據(jù)可以馬上重新讀取出來的話,那么即使因為memcached停止而導致數(shù)據(jù)丟失,也不會有什么問題。

特征

memcached是通過大家都很熟悉的散列表(關聯(lián)數(shù)組)來存儲各種格式數(shù)據(jù)的鍵值存儲,所有的數(shù)據(jù)都被保存在內存中。

memcached利用簡單的文本協(xié)議來進行數(shù)據(jù)通信,數(shù)據(jù)操作也只是類似于保存與鍵值相對應的值這樣的簡單處理。因此,通過telnet連接memcached,就可以進行數(shù)據(jù)的保存和讀取。但是,由于它利用的是文本協(xié)議,所有無法對構造體類型的數(shù)據(jù)進行操作,而只能對字符串類型的值進行操作。

當然,通過利用為各種語言準備的程序庫來使用memcached的時候,值并不僅僅是字符串和數(shù)值,數(shù)組和散列表這樣的構造體一樣可以進行保存和讀取處理。但是,如前所述,因為使用了文本協(xié)議來進行通信,要完成這樣的處理,就必須要把它們轉換成序列化的字節(jié)數(shù)組,通常情況下這些處理是在程序庫內部進行的,因此不需要特別在意,但是需要在保存數(shù)據(jù)的時候進行序列化處理,讀取數(shù)據(jù)的時候進行反序列化處理。

序列化對開發(fā)語言的依賴

因為序列化依賴于開發(fā)語言,所以某種開發(fā)語言環(huán)境下進行的序列化結果是無法在其他開發(fā)語言環(huán)境下使用的。如果要進行這樣的處理,就需要通過JSON這樣不存在語義依賴關系的格式化方法來進行明確的序列化和反序列化處理。

優(yōu)勢

說到memcached的優(yōu)勢,要數(shù)其極其快速的處理速度。由于數(shù)據(jù)全部存儲在內存中,沒有磁盤的IO處理發(fā)生,所以它能以比關系數(shù)據(jù)庫高很多的速度進行處理(因為內存中對數(shù)據(jù)的訪問速度是硬盤中的10~100萬倍)。

另外一個容易被忽略的優(yōu)勢是她的簡單易用性。由于它是通過鍵值這種散列表形式來操作數(shù)據(jù),所以只要用過散列表的人就能很容易的使用它。由于memcached停止的時候所有的數(shù)據(jù)都會丟失,所以不論遇到什么奇怪的問題,只要重新啟動memcached就可以恢復到初始狀態(tài)。

另外,由于現(xiàn)在很多的Web服務器都在應用memcached,不但擁有了成熟的技術,而且有很多成功經(jīng)驗被公開,這樣我們在心里和技術上遇到的困難就會小得多。

隨著數(shù)據(jù)量的增加,當memcached的內存無法保存所有數(shù)據(jù)的時候,可能就需要多臺服務器來進行memcached,實際上通過多臺服務器來運行memcached也是非常簡單的。在使用多臺服務器來運行memcached的時候,會使用一致性散列算法來分散數(shù)據(jù)。這個算法已經(jīng)實際應用到memcached的客戶端程序庫中了。

一致性散列(Consistent Hashing)

如果只是使用多臺服務器,就可以利用鍵的散列值除以服務器臺數(shù),通過余數(shù)簡單地決定哪臺服務器處理哪條數(shù)據(jù)。

但是,這種方法在服務器數(shù)量發(fā)生變化時就會遇到問題,這時候就需要用到一致性散列這樣的分散算法。

這個算法首先對“各個服務器對應的散列值”進行計算,把它們分配到一個圓周上。整個圓周代表鍵的取值范圍,每個服務器承擔一個特定取值范圍內的鍵。

四臺服務器的一致性散列分配方式:

新增一臺5號服務器時的一致性散列分配方式:

新增5號服務器后,1、2、3號服務器負責處理的數(shù)據(jù)沒有任何影響,也就是說,對于1、2、3號服務器,服務器數(shù)量變化后負責處理的數(shù)據(jù)與服務器數(shù)量變化前負責處理的數(shù)據(jù)一致,這也是一致性散列中一致性的含義。

但是,原本由4號服務器負責處理的數(shù)據(jù),現(xiàn)在由4號服務器和5號服務器共同處理。服務器數(shù)量變化后分配給4號服務器處理的數(shù)據(jù),之前本來就是由4號服務器處理,只是部分數(shù)據(jù)被劃分給5號服務器負責處理,這樣只有一部分數(shù)據(jù)會受到影響。所謂的一致性散列,并非變化前后服務器的分配保持完全一致。而是將服務器增減帶來的緩存錯誤的影響減小到非常低的水平。

不足

memcached有什么不足之處呢?其實就是大家非常在意的數(shù)據(jù)臨時性(數(shù)據(jù)有可能丟失)問題。

由于memcached把數(shù)據(jù)都保存在內存中,當memcached由于故障等原因停止的時候,所有的數(shù)據(jù)都會丟失。也正因為如此,用它來處理那些重要數(shù)據(jù)是非常危險的,絕對不要使用。最好的處理方式還是把原始數(shù)據(jù)保存在其他地方,而只是用memcached來處理原始數(shù)據(jù)的復制或者是通過原始數(shù)據(jù)計算出來的結果。

另外,它還存在只能通過鍵來讀取數(shù)據(jù)這樣的局限。不能支持像LIKE這樣的模糊查詢。

memcached的應用

例如:分布式Session

Tokyo Tyrant

屬于NoSQL分類中的永久性鍵值存儲。Tokyo Tyrant和memcached一樣,通過鍵值這樣的散列表結構保存數(shù)據(jù)。但是,數(shù)據(jù)的保存地點卻不一樣,memcached是把數(shù)據(jù)保存在內存中,而Tokyo Tyrant則是把數(shù)據(jù)保存在磁盤上。

另外,Tokyo Tyrant還引入了數(shù)據(jù)庫類型的概念??梢愿鶕?jù)選擇的數(shù)據(jù)庫類型,在緩存數(shù)據(jù)庫、散列數(shù)據(jù)庫、B-tree數(shù)據(jù)庫和表數(shù)據(jù)庫等數(shù)據(jù)保存方式間進行切換。

優(yōu)勢

由于數(shù)據(jù)存儲在硬盤上,Tokyo Tyrant的最大優(yōu)勢就是在它停止的時候數(shù)據(jù)也不會丟失。當然,關系數(shù)據(jù)庫也不存在數(shù)據(jù)丟失的問題,所有從某種程度上說,也算不上什么優(yōu)勢。Tokyo Tyrant的另一個優(yōu)勢是:它在保存和讀取數(shù)據(jù)的時候,與磁盤的IO處理無關,可以實現(xiàn)對數(shù)據(jù)的高速訪問。它可以獲得比關系型數(shù)據(jù)庫快得多的處理速度。用戶在獲得高速反應響應的同時,又不必擔心數(shù)據(jù)丟失的煩惱,真的是非常方便。

關于數(shù)據(jù)的讀取方式,memcached只能通過與鍵完全一致的條件進行查詢,而Tokyo Tyrant存在不同的數(shù)據(jù)庫類型,可以進行范圍查詢(B-tree數(shù)據(jù)庫)或者像關系型數(shù)據(jù)庫那樣進行復雜條件的查詢(表格數(shù)據(jù)庫)。同一個產(chǎn)品,能夠根據(jù)用途的不同而在數(shù)據(jù)庫類型間進行切換實在是方便極了。

不足

雖然既不會發(fā)生數(shù)據(jù)丟失,訪問的速度也非??臁5?,使用起來難度大。

Redis(臨時性/持久性鍵值存儲)

什么事Redis

它兼具臨時性和永久性,所以它是NoSQL數(shù)據(jù)庫中介于memcached和Tokyo Tyrant之間的鍵值存儲。

為什么要使用Redis

處理數(shù)組形式的數(shù)據(jù)

確實,如果要處理字符串數(shù)據(jù)和標準的散列數(shù)據(jù),memcached和Tokyo Tyrant這樣的鍵值存儲可能已經(jīng)足夠了。但是,根據(jù)用途的不同,也不乏對快速處理數(shù)值和數(shù)組類型數(shù)據(jù)的要求

Redis是鍵值存儲的一種,但是它對鏈表和集合等數(shù)組類型的數(shù)據(jù)進行了優(yōu)化處理,可以對數(shù)組類型的數(shù)據(jù)進行高速的插入和讀取處理,另外,Redis包含很多可以把這些處理原子化的命令,所以可以非常容易的保證數(shù)據(jù)的一致性

特征

由于Redis通常是把數(shù)據(jù)保存在內存中,所以是處理速度非??斓逆I值存儲。雖然已經(jīng)存在了同樣是內存中保存數(shù)據(jù)的鍵值存儲memcached,但是這兩者的用途卻大不相同。memcached主要用作關系型數(shù)據(jù)庫的緩存,與關系型數(shù)據(jù)結合使用,對簡單的操作進行優(yōu)化處理。與之相對,Redis本身就是作為數(shù)據(jù)存儲而設計出來的,它的操作指令非常多,其中很多很多都支持原子操作。

優(yōu)勢

Redis可以處理字符串、鏈表、集合、有序集合、散列表等各種類型的數(shù)據(jù),但需要注意的是所有數(shù)據(jù)都會被當作字符串處理(數(shù)值的保存也是一樣)。

由于數(shù)據(jù)通常保存在內存中,所以處理速度非???。Redis會定期對數(shù)據(jù)進行快照處理,除了一部分當前的更新之外,數(shù)據(jù)都不會丟失。雖然進行數(shù)據(jù)快照的時候會增加負荷(需要對所有的數(shù)據(jù)進行IO處理),但是由于數(shù)據(jù)快照的IO處理通常都是連續(xù)IO,所以非常高效。

不足

Redis最大的問題就是這項新技術的使用實例相對較少。

內容源自:

《NoSql數(shù)據(jù)庫入門》

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容