總結(jié)一下個(gè)人看了一些Spark性能調(diào)優(yōu)文章之后的理解，主要框架來自于meituantech，會(huì)在此框架上加入個(gè)人關(guān)注點(diǎn)，目錄如下， Overview Spark的瓶頸一般來自...
IP屬地：廣東
-
Spark性能優(yōu)化總結(jié) -
spark streaming一次調(diào)試過程記錄一下最近調(diào)試Streaming程序的過程中所發(fā)現(xiàn)的問題和解決方案， 背景，batch interval = 120s，10個(gè)receiver，吞吐量每秒1000條，一個(gè)b...
-
終于明白為什么要加 final 關(guān)鍵字了！在開發(fā)過程中，由于習(xí)慣的原因，我們可能對(duì)某種編程語言的一些特性習(xí)以為常，特別是只用一種語言作為日常開發(fā)的情況。但是當(dāng)你使用超過一種語言進(jìn)行開發(fā)的時(shí)候就會(huì)發(fā)現(xiàn)，雖然都是高級(jí)語言...
-
IDEA遠(yuǎn)程調(diào)試Spark1.前言 本文講述如何使用IDEA遠(yuǎn)程調(diào)試spark，這里所說的調(diào)試spark包括： 調(diào)試spark應(yīng)用程序，也就是使用spark算子編寫的driver applicatio...
-
如何實(shí)現(xiàn)一個(gè)簡單的RPC在如何給老婆解釋什么是RPC中，我們討論了RPC的實(shí)現(xiàn)思路。那么這一次，就讓我們通過代碼來實(shí)現(xiàn)一個(gè)簡單的RPC吧！ RPC的實(shí)現(xiàn)原理 正如上一講所說，RPC主要是為了解決的兩...
