發(fā)簡(jiǎn)信
IP屬地：廣東
-
Flink中實(shí)用的小知識(shí)點(diǎn)整理
目錄 1、Flink使用WaterMark處理亂序事件2、累加器和計(jì)數(shù)器3、Window使用4、流的切分和合并5、任務(wù)鏈6、Flink消費(fèi)kaf...
-
Flink中指定Key的幾種方式
前言 在Flink中比如某些算子（join,coGroup,keyBy,groupBy）要求在數(shù)據(jù)元上定義key。另外有些算子操作，例如redu...
-
決策樹(shù)與隨機(jī)森林及其在SparkMllib中的使用一.概念 決策樹(shù)和隨機(jī)森林：決策樹(shù)和隨機(jī)森林都是非線性有監(jiān)督的分類(lèi)模型。 決策樹(shù)是一種樹(shù)形結(jié)構(gòu)，樹(shù)內(nèi)部每個(gè)節(jié)點(diǎn)表示一個(gè)屬性上的測(cè)試，每個(gè)分支代表...
-
Spark任務(wù)輸出追蹤器MapOutputTracker詳解
一.什么是shuffle MapOutputTrancker用于跟蹤map任務(wù)的輸出狀態(tài)，此狀態(tài)便于reduce任務(wù)定位到map輸出結(jié)果所在的節(jié)...
-
Spark消息通信原理一.NettyRpcEnv主要組件 子組件TransportConf，Dispatcher，TransportClientFactory，Tra...
-
Spark中RangePartitioner的實(shí)現(xiàn)機(jī)制分析
一.分區(qū)器的區(qū)別 HashPartitioner分區(qū)可能HashPartitioner導(dǎo)致每個(gè)分區(qū)中數(shù)據(jù)量的不均勻。 RangePartitio...
-
Apache Kylin 從零開(kāi)始構(gòu)建Cube(含優(yōu)化策略)前言 Apache Kylin采用“預(yù)計(jì)算”的模式，用戶(hù)只需要提前定義好查詢(xún)維度，Kylin將幫助我們進(jìn)行計(jì)算，并將結(jié)果存儲(chǔ)到HBase中，為海...
-
Spark的數(shù)據(jù)本地化和延遲調(diào)度策略
一.概述 Spark數(shù)據(jù)本地化即計(jì)算向數(shù)據(jù)移動(dòng)，但數(shù)據(jù)塊所在的Executor不一定有足夠的的計(jì)算資源提供，為了讓task能盡可能的以最優(yōu)本地化...
-
Hive中語(yǔ)法規(guī)則大全，建議收藏
一、創(chuàng)建/刪除/修改/使用數(shù)據(jù)庫(kù) 二、創(chuàng)建/刪除/截?cái)啾?1.創(chuàng)建表 2.截?cái)啾砗蛣h除表 3.改變表/分區(qū)/列 三、創(chuàng)建/刪除/更改視圖 四、創(chuàng)...