分布式-數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)存儲(chǔ)-思維導(dǎo)圖

一、基本理論

1、CAP

CAP 理論對(duì)分布式系統(tǒng)做了高度抽象,形成三個(gè)指標(biāo):一致性(Consistency)、可用性(Availability)、分區(qū)容忍性(Partition Tolerance)。

  • 一致性 C:指系統(tǒng)中所有節(jié)點(diǎn)在同一時(shí)刻的數(shù)據(jù)是相同的;
  • 可用性 A:指系統(tǒng)提供的服務(wù)一直處于可用狀態(tài),對(duì)于用戶的請(qǐng)求可以及時(shí)響應(yīng);
  • 分區(qū)容忍性 P:指不論系統(tǒng)中哪個(gè)節(jié)點(diǎn)出現(xiàn)問(wèn)題(消息丟失或高延遲),系統(tǒng)仍然可以提供服務(wù);
權(quán)衡策略
不可能三角

由于網(wǎng)絡(luò)是不可靠的,因此C、A、P三個(gè)指標(biāo)不能同時(shí)滿足。分布式系統(tǒng)中分區(qū)容忍性是一定要保證的,CAP 理論實(shí)際上是要在可用性和一致性之間做權(quán)衡。

  • 為了保證一致性(CP):不能訪問(wèn)未同步完成的節(jié)點(diǎn),也就失去了部分可用性;
  • 為了保證可用性(AP):允許讀取所有節(jié)點(diǎn)的數(shù)據(jù),但是數(shù)據(jù)可能不一致;

2、BASE

BASE 是基本可用(Basically Available)、軟狀態(tài)(Soft State)和最終一致性(Eventually Consistent)三個(gè)短語(yǔ)的縮寫。它的核心思想是:即使無(wú)法做到強(qiáng)一致性,但每個(gè)應(yīng)用都可以根據(jù)自身業(yè)務(wù)特點(diǎn),采用適當(dāng)?shù)姆绞剑ū热缌髁肯鞣?、延遲響應(yīng)、體驗(yàn)降級(jí)、過(guò)載保護(hù)等)來(lái)使系統(tǒng)達(dá)到最終一致性。

  • 基本可用:指分布式系統(tǒng)在出現(xiàn)故障的時(shí)候,保證核心可用,允許損失部分可用性;
  • 軟狀態(tài):指允許系統(tǒng)中的數(shù)據(jù)存在中間狀態(tài),并認(rèn)為該中間狀態(tài)不會(huì)影響系統(tǒng)整體可用性,即允許系統(tǒng)不同節(jié)點(diǎn)的數(shù)據(jù)副本之間進(jìn)行同步的過(guò)程存在時(shí)延;
  • 最終一致性:最終一致性強(qiáng)調(diào)的是系統(tǒng)中所有的數(shù)據(jù)副本,在經(jīng)過(guò)一段時(shí)間的同步后,最終能達(dá)到一致的狀態(tài);

ACID 要求強(qiáng)一致性,通常運(yùn)用在傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)上。而 BASE 要求最終一致性,通過(guò)犧牲強(qiáng)一致性來(lái)達(dá)到可用性,通常運(yùn)用在大型分布式系統(tǒng)中。
在實(shí)際的分布式場(chǎng)景中,不同業(yè)務(wù)單元和組件對(duì)一致性的要求是不同的,因此 ACID 和 BASE 往往會(huì)結(jié)合在一起使用。

二、數(shù)據(jù)分布

1.哈希

2.一致性哈希

3.帶有限負(fù)載的一致性哈希

4.帶虛擬節(jié)點(diǎn)的一致性哈希

三、數(shù)據(jù)復(fù)制

1.同步復(fù)制技術(shù)

2.異步復(fù)制技術(shù)

3.半同步復(fù)制技術(shù)

四、分布式緩存

分布式緩存指在分布式環(huán)境或系統(tǒng)下,把一些熱門數(shù)據(jù)存儲(chǔ)到離用戶近、離應(yīng)用近的位置,讓用戶和應(yīng)用很快訪問(wèn)到想要的數(shù)據(jù)。主流分布式緩存系統(tǒng)有 Redis 和 Memcached。

1.Redis

集群結(jié)構(gòu)

Redis 是去中心化結(jié)構(gòu),每個(gè)節(jié)點(diǎn)都負(fù)責(zé)一部分?jǐn)?shù)據(jù)的存儲(chǔ),同時(shí),每個(gè)節(jié)點(diǎn)還可以通過(guò)主備設(shè)計(jì)來(lái)提高可靠性。

特性
  • 數(shù)據(jù)結(jié)構(gòu):支持多種數(shù)據(jù)類型;
  • 持久化:RDB、AOF;
  • 主備同步:全量復(fù)制、增量復(fù)制;

2.Memcached

集群結(jié)構(gòu)

采用一致性哈希的思路,使用的是 Ketama 算法,主要思想是帶虛擬節(jié)點(diǎn)的一致性哈希算法。

特性
  • 數(shù)據(jù)結(jié)構(gòu):只支持簡(jiǎn)單的 k/v 數(shù)據(jù)結(jié)構(gòu);
  • 持久化:不支持持久化,斷電后,數(shù)據(jù)會(huì)全部丟失;
  • 主備同步:自身不支持主備,通過(guò)第三方實(shí)現(xiàn);
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容