發(fā)簡(jiǎn)信
IP屬地：北京
-
部分spark參數(shù)解析
配置值說(shuō)明spark.sql.parquet.adaptiveFileSplittrue不知道spark.sql.adaptive.hashJo...
-
第五章備份-part3,designing Data-Intensive Applications 中文翻譯摘要多Leader備份(Multi-Leader Replication) 這章當(dāng)目前位置我們都在討論單Leader的備份架構(gòu)，這個(gè)方案用的很普遍，...
-
第五章備份-part2,designing Data-Intensive Applications 中文翻譯摘要備份落后的問(wèn)題 備份的原因不僅僅是容錯(cuò)性，像前面說(shuō)到的，減小延遲和擴(kuò)展性也是目標(biāo)。Leader-based的備份會(huì)把所有的寫請(qǐng)求通過(guò)一個(gè)節(jié)點(diǎn)完成...
-
第五章備份-part1,designing Data-Intensive Applications 中文翻譯摘要備份意味著把你的數(shù)據(jù)的多個(gè)副本放置在不同的機(jī)器上，這些機(jī)器通過(guò)網(wǎng)絡(luò)連接。如第二章綜述所講，備份的好處有以下幾點(diǎn) 允許你的數(shù)據(jù)離你的用戶在地理位置...
-
第二部分5-9章綜述,designing Data-Intensive Applications 中文翻譯摘要之前的第一部分我們都在講的是單機(jī)的數(shù)據(jù)系統(tǒng)。第二部分我們上一個(gè)臺(tái)階，當(dāng)有多臺(tái)機(jī)器的時(shí)候，我們需要如何進(jìn)行數(shù)據(jù)的存儲(chǔ)和查詢？為什么我們需要一個(gè)多機(jī)...
-
第四章數(shù)據(jù)編碼和更新-part4,designing Data-Intensive Applications 中文翻譯摘要
消息隊(duì)列數(shù)據(jù)流 這部分會(huì)簡(jiǎn)要介紹一種異步消息傳遞系統(tǒng)，在某種意義上講是在數(shù)據(jù)庫(kù)和RPC的折中方案。他與RPC相似點(diǎn)在于都是一個(gè)客戶端用一個(gè)很短的...
-
第四章數(shù)據(jù)編碼和更新-part2,designing Data-Intensive Applications 中文翻譯摘要Avro Avro是2009年發(fā)起的一個(gè)hadoop的子項(xiàng)目，他也是一種二進(jìn)制的編碼方式，但是和Thrift和Protocol Buffer不盡...
-
第四章數(shù)據(jù)編碼和更新-part1,esigning Data-Intensive Applications 中文翻譯摘要綜述 我們的應(yīng)用往往不可避免的需要進(jìn)行更新，添加新的功能。在第一章講過(guò)了應(yīng)用具有可進(jìn)化性，也就是說(shuō)我們的應(yīng)用應(yīng)該在設(shè)計(jì)之初就擁抱變化。大多數(shù)情況...
-
第三章存儲(chǔ)和查詢-part4,Designing Data-Intensive Applications 中文翻譯摘要面向列的存儲(chǔ) 如果你的數(shù)據(jù)倉(cāng)庫(kù)有超過(guò)PB級(jí)的數(shù)據(jù)以及有超過(guò)幾千億行記錄，那如何高效的存儲(chǔ)和查詢對(duì)你來(lái)說(shuō)就是一個(gè)技術(shù)活了。屬性表相對(duì)來(lái)說(shuō)就要小很多...