還記得好幾年前,大概13或者14年,當(dāng)時不過是一個普通的工薪族,雖然玩玩程序代碼,但是高不成低不就,沒有辦法,作為程序媛,多少不會具備程序猿的那種對代碼符號的沖動。每日也就是...
還記得好幾年前,大概13或者14年,當(dāng)時不過是一個普通的工薪族,雖然玩玩程序代碼,但是高不成低不就,沒有辦法,作為程序媛,多少不會具備程序猿的那種對代碼符號的沖動。每日也就是...
一.概述 Spark數(shù)據(jù)本地化即計算向數(shù)據(jù)移動,但數(shù)據(jù)塊所在的Executor不一定有足夠的的計算資源提供,為了讓task能盡可能的以最優(yōu)本地化級別(Locality Lev...
前言 Apache Kylin采用“預(yù)計算”的模式,用戶只需要提前定義好查詢維度,Kylin將幫助我們進(jìn)行計算,并將結(jié)果存儲到HBase中,為海量數(shù)據(jù)的查詢和分析提供亞秒級返...
一.NettyRpcEnv主要組件 子組件TransportConf,Dispatcher,TransportClientFactory,TransportServer Tr...
一.分區(qū)器的區(qū)別 HashPartitioner分區(qū)可能HashPartitioner導(dǎo)致每個分區(qū)中數(shù)據(jù)量的不均勻。 RangePartitioner分區(qū)盡量保證每個分區(qū)中數(shù)...
一.什么是shuffle MapOutputTrancker用于跟蹤map任務(wù)的輸出狀態(tài),此狀態(tài)便于reduce任務(wù)定位到map輸出結(jié)果所在的節(jié)點地址,進(jìn)而獲取中間輸出結(jié)果,...
一.概念 決策樹和隨機(jī)森林:決策樹和隨機(jī)森林都是非線性有監(jiān)督的分類模型。 決策樹是一種樹形結(jié)構(gòu),樹內(nèi)部每個節(jié)點表示一個屬性上的測試,每個分支代表一個測試輸出,每個葉子節(jié)點代表...
前言 在Flink中比如某些算子(join,coGroup,keyBy,groupBy)要求在數(shù)據(jù)元上定義key。另外有些算子操作,例如reduce,groupReduce,...