問題 某一天業(yè)務(wù)來找我,反映發(fā)數(shù)據(jù)到某一個(gè)Kafka集群特別慢。并且他們提供了一份自己的測試結(jié)果,結(jié)果顯示發(fā)送數(shù)據(jù)到Kafka集群A的平均響應(yīng)延遲在10ms以內(nèi),但是發(fā)送到K...
對于經(jīng)常使用 Spark 的人來說,如何設(shè)置 driver 或 executor 的內(nèi)存大小,如何盡量減少 GC 相信不會陌生。要做好這兩點(diǎn),除了 Spark 知識的掌握外,...
Spark 1.3及其前的版本 你的一個(gè) spark streaming application 已經(jīng)好好運(yùn)行了一段時(shí)間了,這個(gè)時(shí)候你因?yàn)槟撤N原因要停止它。你應(yīng)該怎么做?直接...
一個(gè) Streaming Application 往往需要7*24不間斷的跑,所以需要有抵御意外的能力(比如機(jī)器或者系統(tǒng)掛掉,JVM crash等)。為了讓這成為可能,Spa...
螞蟻金服招聘中間件開發(fā)工程師/技術(shù)專家,歡迎大家的簡歷哦:khotyn.huangt@alibaba-inc.com 今天又聽了 Jetbrains 首席布道師 Hadi 的...
說逆天似乎有些標(biāo)題黨了,但確實(shí)Mac上有很多小眾但卻讓人無法自拔的工具,自己平時(shí)用的多,整理了一些,希望有幫助:) 這次只分四部分:閱讀類、工具類、圖片類、筆記類。 還是和以...
原文鏈接:『 Spark 』5. 這些年,你不能錯(cuò)過的 spark 學(xué)習(xí)資源 寫在前面 本系列是綜合了自己在學(xué)習(xí)spark過程中的理解記錄 + 對參考文章中的一些理解 + 個(gè)...
原創(chuàng)文章,轉(zhuǎn)載請注明:轉(zhuǎn)載自聽風(fēng)居士博客(http://www.itdecent.cn/users/4435a13863fb/timeline) Spark streamin...
題記: 這是我的第一篇技術(shù)博文,寫得不好請多提意見。然后,感謝張志斌老師,畢業(yè)之前張老師幫助我解一些“神奇的bug”,現(xiàn)在畢業(yè)一個(gè)月,我終于自己開始解自己認(rèn)為“神奇的bug”...