block、packet與chunk 在DFSClient寫HDFS的過程中，有三個需要搞清楚的單位：block、packet與chunk； block是最大的一個單位，它是...
發(fā)簡信
IP屬地：青海
-
HDFS寫詳解 block、packet與chunk -
討論什么時候應(yīng)該做gc調(diào)優(yōu)及意義一、背景 線上環(huán)境下，jvm經(jīng)常發(fā)生full gc；運維監(jiān)控方面，服務(wù)健康檢測不健康；用戶體驗方面，經(jīng)常出現(xiàn)大量的慢接口調(diào)用。經(jīng)觀察，這三者是伴隨發(fā)生的。起初，我們從慢接口入...
-
RocksDB系列一：RocksDB基礎(chǔ)和入門
1、簡介 RocksDB是FaceBook起初作為實驗性質(zhì)開發(fā)的一個高效數(shù)據(jù)庫軟件，旨在充分實現(xiàn)快存上存儲數(shù)據(jù)的服務(wù)能力。RocksDB是一個c++庫，可以用來存儲ke...
-
-
深入分析Flink的operator chain（算子鏈）機制前言 這篇是昨晚沒寫完的，今晚補全發(fā)出來。 Flink算子鏈簡介 “為什么我的Flink作業(yè)Web UI中只顯示出了一個框，并且Records Sent和Records Re...
-
淺談Flink基于RocksDB的增量檢查點（incremental checkpoint）機制Intro Flink之所以能夠做到高效而準(zhǔn)確的有狀態(tài)流式處理，核心是依賴于檢查點（checkpoint）機制。當(dāng)流式程序運行出現(xiàn)異常時，能夠從最近的一個檢查點恢復(fù)，從而最大...
-
超過800字的作文一篇4月30日抵達銀川，作為一個省會城市，銀川給大眾的影響并不深刻，但是你還記得下面這只猴子嗎。 《重慶森林》有位男演員的bb機口令是 愛你一萬年，bb機是什么，還好我有點年紀(jì)了...
-
合理的指標(biāo)命名方式（數(shù)據(jù)質(zhì)量系列之四）(文章始發(fā)個人公眾號：川術(shù)；歡迎關(guān)注)你有沒有遇到過這樣的情況：不同的數(shù)據(jù)報告或產(chǎn)品中，相同的指標(biāo)名稱，卻對應(yīng)著不同的數(shù)字和不同的計算口徑？相信大部分人會點頭。我所在的環(huán)境中...
-
QA：分析單個指標(biāo)的5個有效角度
?最近有人問我，數(shù)據(jù)指標(biāo)很多，怎么看？這個問題其實也同樣困擾我?；貞涍^去，經(jīng)常遇到的情況就是：覺得自己已經(jīng)理解并做了合適的分析和判斷，但當(dāng)其他人提出問題時，依然覺得漏洞百出。...
