快手?jǐn)?shù)倉(cāng)
-
架構(gòu)
image.png -
規(guī)模
image.png
快手目前集群規(guī)模有 1500 臺(tái)左右，作業(yè)數(shù)量大約是 500 左右，日處理?xiàng)l目數(shù)總共有 1.7 萬(wàn)億，峰值處理?xiàng)l目數(shù)大約是 3.7 千萬(wàn)。集群部署都是 On Yarn 模式，分為離線集群和實(shí)時(shí)集群兩類集群，其中離線集群混合部署，資源通過(guò)構(gòu)建不同級(jí)別隊(duì)列進(jìn)行隔離，實(shí)時(shí)集群是 Flink 專用集群，針對(duì)隔離性、穩(wěn)定性要求極高的業(yè)務(wù)部署。
-
應(yīng)用
image.png
日志實(shí)時(shí)Join
美團(tuán)數(shù)倉(cāng)
-
架構(gòu)
image.png
image.png - 規(guī)模
服務(wù)器上千臺(tái)，每秒處理埋點(diǎn)日志量1.5億條，binlog日志每秒千萬(wàn)級(jí)別
易企秀數(shù)倉(cāng)
-
架構(gòu)
image.png 規(guī)模
目前集群規(guī)模50臺(tái)，線上資源多集中與離線數(shù)據(jù)分析，80%處理離線業(yè)務(wù)，10%資源用來(lái)處理數(shù)據(jù)采集和清洗，剩下的10%資源用于實(shí)時(shí)任務(wù)處理。節(jié)假日期間日處理流量10億+，峰值數(shù)據(jù)5w/s；其中一些偏底層的計(jì)算任務(wù)，如數(shù)據(jù)同步和數(shù)據(jù)清洗相關(guān)任務(wù)會(huì)放到單獨(dú)隊(duì)列運(yùn)行，以確保數(shù)據(jù)穩(wěn)定。
