發(fā)簡信
IP屬地：湖南
-
Flume Push方式整合Spark-Streaming
Approach : Flume-style Push-based Approach Flume 可以使用push的方式來整合spark-str...
-
Flume Pull方式整合Spark-Streaming
Approach: Pull-based Approach using a Custom Sink Flume的sink不直接連接Spark組件...
-
JVM類的加載過程
一、loading 加載 該加載是狹義上的，指將class文件從外部加載到內(nèi)存中 class文件來源可以有： 過程分為： 1、通過一個類...
-
groupByKey、reduceByKey、aggregateByKey區(qū)別
三者都可以做分組操作。reduceByKey、aggregateByKey不但分組還做了聚合操作 groupByKey直接進行shuffle操作...
-
Spark三大數(shù)據(jù)結(jié)構(gòu)RDD: 彈性分布式數(shù)據(jù)集 RDD特點 數(shù)據(jù)集：RDD是spark中最常見的數(shù)據(jù)結(jié)構(gòu)。RDD中不直接存儲數(shù)據(jù)，只存儲了數(shù)據(jù)的計算邏輯，只有當ac...
-
Flume概覽一、Flume 核心組件 一個Flume處理組件組成成為Agent 1）Soucrce 用來收集數(shù)據(jù)，是數(shù)據(jù)的來源， 2）Channel 用來暫...
-
離線計算和實時計算的對比數(shù)據(jù)來源 1）數(shù)據(jù)來源 離線計算：HDFS 歷史數(shù)據(jù)等，一般數(shù)據(jù)規(guī)模比較大 實時計算：一般來自于消息隊列（kafka等），實時地新增、修改記錄過...