對(duì)于經(jīng)常使用 Spark 的人來(lái)說(shuō)，如何設(shè)置 driver 或 executor 的內(nèi)存大小，如何盡量減少 GC 相信不會(huì)陌生。要做好這兩點(diǎn)，除了 Spark 知識(shí)的掌握外，...
發(fā)簡(jiǎn)信
IP屬地：北京
-
JVM GC 那些事（一）- JVM 運(yùn)行時(shí)內(nèi)存劃分 -
【實(shí)戰(zhàn)篇】如何優(yōu)雅的停止你的 Spark Streaming Application
Spark 1.3及其前的版本 你的一個(gè) spark streaming application 已經(jīng)好好運(yùn)行了一段時(shí)間了，這個(gè)時(shí)候你因?yàn)槟撤N原因要停止它。你應(yīng)該怎么做？直接...
-
【容錯(cuò)篇】Spark Streaming的還原藥水——Checkpoint一個(gè) Streaming Application 往往需要7*24不間斷的跑，所以需要有抵御意外的能力（比如機(jī)器或者系統(tǒng)掛掉，JVM crash等）。為了讓這成為可能，Spa...
-
Intellij IDEA 一些不為人知的技巧螞蟻金服招聘中間件開(kāi)發(fā)工程師/技術(shù)專(zhuān)家，歡迎大家的簡(jiǎn)歷哦：khotyn.huangt@alibaba-inc.com 今天又聽(tīng)了 Jetbrains 首席布道師 Hadi 的...
-
Mac上有哪些冷門(mén)但卻逆天的軟件？說(shuō)逆天似乎有些標(biāo)題黨了，但確實(shí)Mac上有很多小眾但卻讓人無(wú)法自拔的工具，自己平時(shí)用的多，整理了一些，希望有幫助:) 這次只分四部分：閱讀類(lèi)、工具類(lèi)、圖片類(lèi)、筆記類(lèi)。 還是和以...
-
『 Spark 』5. 這些年，你不能錯(cuò)過(guò)的 spark 學(xué)習(xí)資源
原文鏈接：『 Spark 』5. 這些年，你不能錯(cuò)過(guò)的 spark 學(xué)習(xí)資源 寫(xiě)在前面 本系列是綜合了自己在學(xué)習(xí)spark過(guò)程中的理解記錄 ＋ 對(duì)參考文章中的一些理解 ＋ 個(gè)...
-
9. Spark Streaming技術(shù)內(nèi)幕 : Receiver的精妙實(shí)現(xiàn)和生命周期研究和思考原創(chuàng)文章，轉(zhuǎn)載請(qǐng)注明:轉(zhuǎn)載自聽(tīng)風(fēng)居士博客(http://www.itdecent.cn/users/4435a13863fb/timeline) Spark streamin...
-
spark streaming應(yīng)用一個(gè)越跑越慢的bug題記： 這是我的第一篇技術(shù)博文，寫(xiě)得不好請(qǐng)多提意見(jiàn)。然后，感謝張志斌老師，畢業(yè)之前張老師幫助我解一些“神奇的bug”，現(xiàn)在畢業(yè)一個(gè)月，我終于自己開(kāi)始解自己認(rèn)為“神奇的bug”...
