【HDFS】EC文件副本缺失后,會(huì)自動(dòng)補(bǔ)充么?

EC存儲(chǔ)能夠有效較低存儲(chǔ)成本,但是我們也需要關(guān)注數(shù)據(jù)可用性相關(guān)的事情,避免發(fā)生數(shù)據(jù)丟失的情況。

本文來(lái)探討一下EC補(bǔ)充低冗余度的塊的相關(guān)知識(shí)。

先說(shuō)一下什么是低冗余度,我以RS-6-3-1024K這個(gè)EC策略為例說(shuō)明。

在RS-6-3這種策略下,只要寫成功任意6個(gè)塊(不管是data,還是parity都行),那數(shù)據(jù)就可以算是寫成功。
只要有任意6個(gè)塊存活可用,那也可以成功讀數(shù)據(jù),因?yàn)榭梢酝ㄟ^(guò)decode來(lái)解碼原始數(shù)據(jù)。

但是如果我們只有6個(gè)數(shù)據(jù)塊的話,丟失數(shù)據(jù)的風(fēng)險(xiǎn)太高了,比如壞盤了,數(shù)據(jù)就徹底恢復(fù)不了了。
因此我的理解,對(duì)于數(shù)據(jù)可用性要求高的數(shù)據(jù),盡量要保證9個(gè)塊都存在,低于9個(gè)的話就算低冗余度。
對(duì)于數(shù)據(jù)可用性不高的數(shù)據(jù),小于8個(gè)的話也算低冗余度了。

一、寫文件close時(shí)

先說(shuō)結(jié)論: 會(huì)補(bǔ)充副本。 比如我們只寫成功了6個(gè),那么會(huì)把這個(gè)塊放到待補(bǔ)充副本的數(shù)據(jù)結(jié)構(gòu)里,等待補(bǔ)充到9個(gè)。

還有 92% 的精彩內(nèi)容
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
支付 ¥2.00 繼續(xù)閱讀

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容