對(duì)于經(jīng)常使用 Spark 的人來(lái)說(shuō),如何設(shè)置 driver 或 executor 的內(nèi)存大小,如何盡量減少 GC 相信不會(huì)陌生。要做好這兩點(diǎn),除了 Spark 知識(shí)的掌握外,...
對(duì)于經(jīng)常使用 Spark 的人來(lái)說(shuō),如何設(shè)置 driver 或 executor 的內(nèi)存大小,如何盡量減少 GC 相信不會(huì)陌生。要做好這兩點(diǎn),除了 Spark 知識(shí)的掌握外,...
Spark 1.3及其前的版本 你的一個(gè) spark streaming application 已經(jīng)好好運(yùn)行了一段時(shí)間了,這個(gè)時(shí)候你因?yàn)槟撤N原因要停止它。你應(yīng)該怎么做?直接...
一個(gè) Streaming Application 往往需要7*24不間斷的跑,所以需要有抵御意外的能力(比如機(jī)器或者系統(tǒng)掛掉,JVM crash等)。為了讓這成為可能,Spa...
螞蟻金服招聘中間件開(kāi)發(fā)工程師/技術(shù)專(zhuān)家,歡迎大家的簡(jiǎn)歷哦:khotyn.huangt@alibaba-inc.com 今天又聽(tīng)了 Jetbrains 首席布道師 Hadi 的...
說(shuō)逆天似乎有些標(biāo)題黨了,但確實(shí)Mac上有很多小眾但卻讓人無(wú)法自拔的工具,自己平時(shí)用的多,整理了一些,希望有幫助:) 這次只分四部分:閱讀類(lèi)、工具類(lèi)、圖片類(lèi)、筆記類(lèi)。 還是和以...
原文鏈接:『 Spark 』5. 這些年,你不能錯(cuò)過(guò)的 spark 學(xué)習(xí)資源 寫(xiě)在前面 本系列是綜合了自己在學(xué)習(xí)spark過(guò)程中的理解記錄 + 對(duì)參考文章中的一些理解 + 個(gè)...
原創(chuàng)文章,轉(zhuǎn)載請(qǐng)注明:轉(zhuǎn)載自聽(tīng)風(fēng)居士博客(http://www.itdecent.cn/users/4435a13863fb/timeline) Spark streamin...
題記: 這是我的第一篇技術(shù)博文,寫(xiě)得不好請(qǐng)多提意見(jiàn)。然后,感謝張志斌老師,畢業(yè)之前張老師幫助我解一些“神奇的bug”,現(xiàn)在畢業(yè)一個(gè)月,我終于自己開(kāi)始解自己認(rèn)為“神奇的bug”...