發(fā)簡信
IP屬地：上海
-
餓了么元數(shù)據(jù)管理實(shí)踐之路
大數(shù)據(jù)挑戰(zhàn) 多種執(zhí)行、存儲引擎，分鐘、小時、天級的任務(wù)調(diào)度，怎樣梳理數(shù)據(jù)的時間線變化？ 任務(wù)、表、列、指標(biāo)等數(shù)據(jù)，如何進(jìn)行檢索、復(fù)用、清理、熱度...
-
Dr.Elephant源碼分析--MapReduce
Job日志 mapred-site.xml配置任務(wù)執(zhí)行日志路徑(hdfs) 作業(yè)啟動時，hadoop會將作業(yè)信息放在${yarn.app.map...
-
BroadcastManager--SparkEnv
Broadcast是分布式的數(shù)據(jù)共享，由BroadcastManager負(fù)責(zé)管理其創(chuàng)建或銷毀。Broadcast一般用于處理共享的配置文件、通用...
-
SerializerManager--SparkEnv
SparkEnv中有兩個序列化的組件，分別是SerializerManager和closureSerializer SerializerMana...
-
度量系統(tǒng)--MetricsSpark的度量系統(tǒng)有以下幾部分，也可以參照MetricsSystem類的注釋部分 Instance: 數(shù)據(jù)實(shí)例。Spark的Instance有...
-
事件總線--ListenerBusSpark中很多組件都是靠RPC、事件消息機(jī)制實(shí)現(xiàn)通信的。前者解決遠(yuǎn)程通信問題，后者則是本地較為高效的通信方式 定義ListenerBus Sp...
-
徹底理解ThreadLocalThreadLocal的作用是提供一個線程的局部變量，比如context、session。是直接把某個對象在各自線程中實(shí)例化一份，每個線程都有屬...
-
用Optional取代null
創(chuàng)建Optional對象 Optional.empty()：聲明一個空Optional Optional.of()：依據(jù)一個非空值創(chuàng)建Optio...
-
Function、Predicate、Consumer、Supplier接口
這些接口都有一個@FunctionalInterface注解，表明這個接口將是一個函數(shù)式接口，里面只能有一個抽象方法 Function Func...