在進(jìn)行Spark開(kāi)發(fā)算法時(shí)，最有用的一個(gè)函數(shù)就是reduceByKey。 reduceByKey的作用對(duì)像是(key, value)形式的rdd，而reduce有減少、壓縮之...
發(fā)簡(jiǎn)信
IP屬地：上海
-
reduceByKey應(yīng)用舉例 -
GUAVA STOPWATCH源碼解析
問(wèn)題 一直在使用如下代碼進(jìn)行程序耗時(shí)計(jì)算和性能調(diào)試，但是對(duì)其返回值代表的具體意義卻不甚了解。 查看源碼發(fā)現(xiàn)其代碼并不復(fù)雜，下面就對(duì)其源碼進(jìn)行剖析和解釋。 源碼剖析 通過(guò)對(duì)el...
-
數(shù)據(jù)埋點(diǎn)一二
互聯(lián)網(wǎng)經(jīng)歷了野蠻時(shí)期，用戶(hù)數(shù)量激增，用戶(hù)需求更趨多元，當(dāng)用戶(hù)基數(shù)足夠龐大(億萬(wàn)級(jí))時(shí)，對(duì)于用戶(hù)行為數(shù)據(jù)的分析從而獲取用戶(hù)本身驅(qū)動(dòng)的隱藏需求愈發(fā)重要。而如何獲取這一部分隱藏需求...
-
debug了很久，發(fā)現(xiàn)了Hystrix的兩個(gè)bug最近基于Hystrix源碼添加一些花邊功能，比如數(shù)據(jù)埋點(diǎn)、參數(shù)動(dòng)態(tài)配置等，交付給業(yè)務(wù)之后，經(jīng)過(guò)一系列的壓測(cè)之后，發(fā)現(xiàn)了各種問(wèn)題。 1、埋點(diǎn)數(shù)據(jù)有問(wèn)題2、熔斷一直不恢復(fù) 先來(lái)看...
-
深入理解JVM（4） : Java垃圾收集 （GC）Java與C++之間有一堵由內(nèi)存動(dòng)態(tài)分配和垃圾收集技術(shù)所圍成的“高墻”，墻外面的人想進(jìn)去，墻里面的人卻想出來(lái)。 對(duì)于垃圾收集（Gabage Collection，GC）, 我...
-
深入理解JVM（1） : Java內(nèi)存區(qū)域劃分Java與C++之間有一堵由內(nèi)存動(dòng)態(tài)分配和垃圾收集技術(shù)所圍成的“高墻”，墻外面的人想進(jìn)去，墻里面的人卻想出來(lái)。 Java虛擬機(jī)在執(zhí)行Java程序的過(guò)程中會(huì)把它管理的內(nèi)存劃分為...
-
《設(shè)計(jì)模式之禪》讀書(shū)筆記-2.6-代理模式
2.6 代理模式 代理的原理可先參看此文章：Java基礎(chǔ)-001-枚舉、反射、類(lèi)加載器、內(nèi)省、注解、泛型、代理 定義： Proxy Pattern，也叫委托模式Provide...
