對于有開發(fā)語言經(jīng)驗(yàn)的人來說，可以將Bitmap簡單理解為數(shù)組，但特別的是：數(shù)組內(nèi)只能存放0、1兩種值，例如：[1,0,1,0,1,1,0,0]。計(jì)算機(jī)專業(yè)術(shù)語中，Bit表示信...
發(fā)簡信
IP屬地：吉林
-
Bitmap原理--Bitmap是什么？
-
牛市和熊市叫法的由來牛市和熊市是什么意思？ 在預(yù)判股票行情時(shí)候，會(huì)出現(xiàn)兩種發(fā)展趨勢，一種是覺得股市行情前景比較樂觀、會(huì)漲，常稱為牛市。一種是覺得股市行情前景比較悲觀、會(huì)跌，常稱為熊市。 牛市和熊...
-
讓Spark-Streaming在Yarn上長時(shí)間運(yùn)行對于長時(shí)間運(yùn)行的Spark Streaming作業(yè)，一旦提交到Y(jié)ARN群集便需要永久運(yùn)行，直到有意停止。任何中斷都會(huì)引起嚴(yán)重的處理延遲，并可能導(dǎo)致數(shù)據(jù)丟失或重復(fù)。YARN和A...
-
開啟Back Pressure使生產(chǎn)環(huán)境的Spark Streaming應(yīng)用更穩(wěn)定、有效
為了Spark Streaming應(yīng)用能在生產(chǎn)中穩(wěn)定、有效的執(zhí)行，每批次數(shù)據(jù)處理時(shí)間（批處理時(shí)間）必須非常接近批次調(diào)度的時(shí)間間隔（批調(diào)度間隔），并且要一直低于批調(diào)度間隔。如果...
-
Spark Streaming中流式計(jì)算的困境與解決之道Spark streaming 在各種流程處理框架生態(tài)中占著舉足輕重的位置， 但是不可避免地也會(huì)面對網(wǎng)絡(luò)波動(dòng)帶來的數(shù)據(jù)延遲的問題，所以必須要進(jìn)行增量數(shù)據(jù)的累加。 在更新Sp...
-
前阿里大數(shù)據(jù)SRE資深運(yùn)維屌絲，熟悉分布式存儲(chǔ)及數(shù)據(jù)同步。喜歡手游、旅游、尬酒，以及各種重口味恐怖片。<br>微信：yaoyaminaco
-
如何避免HBase寫入過快引起的各種問題
首先我們簡單回顧下整個(gè)寫入流程 整個(gè)寫入流程從客戶端調(diào)用API開始，數(shù)據(jù)會(huì)通過protobuf編碼成一個(gè)請求，通過scoket實(shí)現(xiàn)的IPC模塊被送達(dá)server的RPC隊(duì)列中...
-
13個(gè)Git小技巧獻(xiàn)給Git的13歲關(guān)注公眾號(hào)：“程序員成長軟技能” ，日拱一卒，功不唐捐！13個(gè)Git小技巧，讓你擁有更有用更強(qiáng)大的代碼版本控制經(jīng)驗(yàn)!Git，一個(gè)分布式版本控制系統(tǒng)，它已經(jīng)成為了開源界源碼版...
-
-
如何優(yōu)雅的關(guān)閉Spark Streaming作業(yè)
關(guān)注公眾號(hào)：“程序員成長軟技能” ，日拱一卒，功不唐捐！Spark Streaming 應(yīng)用定位是長期執(zhí)行的。但如何優(yōu)雅的關(guān)閉它，使正在被處理的消息在作業(yè)停止前被妥善處理？...
-
Kafka初識(shí)--消息系統(tǒng)官方描述(0.8)：Kafka? is a distributed, partitioned, replicated commit log service. It prov...
-
月更一隨筆文，周更一技術(shù)文<br><br>閑暇時(shí)刻搭站點(diǎn)：<br><a href="http://yitaicloud.com" rel="nofollow" target="_blank">http://yitaicloud.com</a><br>讀書記錄在豆瓣：<br><a href="https://www.douban.com/people/139549170" rel="nofollow" target="_blank">https://www.douban.com/people/139549170</a><br>開源留爪Github:<br><a href="https://github.com/tisonkong" rel="nofollow" target="_blank">https://github.com/tisonkong</a><br><br>路漫修遠(yuǎn), 道阻且長, 明心見性, 知行合一
-
本人10+年的Java服務(wù)端研發(fā)經(jīng)驗(yàn)，曾任職阿里、美團(tuán)等大型互聯(lián)網(wǎng)公司資深研發(fā)。長期專注于軟件架構(gòu)、代碼復(fù)雜度治理、領(lǐng)域驅(qū)動(dòng)設(shè)計(jì)、代碼質(zhì)量等領(lǐng)域，擁有豐富的設(shè)計(jì)經(jīng)驗(yàn)和與屎山斗爭的戰(zhàn)斗技巧。<br>同時(shí)作為終身學(xué)習(xí)的踐行者，時(shí)刻關(guān)注于思維能力和認(rèn)知水平的提升。
-
簡單、高效的數(shù)據(jù)結(jié)構(gòu)--Bloom Filter（布隆過濾器）
一、布隆過濾器可以用來做什么 布隆過濾器可用來判定一個(gè)元素是否屬于一個(gè)集合，比如在一個(gè)大的集合A中，是否存在值a。由于hash碰撞(兩個(gè)不同輸入值的hash值相同)的原因，在...
-
-
