一.Spark UI 選項(xiàng)卡的組成 1.Jobs 1.1 首頁(yè) 補(bǔ)充： Scheduling Mode：application 中 task 任務(wù)的調(diào)度策略，由參數(shù) spar...
發(fā)簡(jiǎn)信
IP屬地：四川
-
-
Kafka Consumer Group和Consumer Rebalance機(jī)制
在新建一個(gè)Consumer時(shí)，我們可以通過(guò)指定groupId來(lái)將其添加進(jìn)一個(gè)Consumer Group中。Consumer Group是為了實(shí)現(xiàn)多個(gè)Consumer能夠并行...
-
Zookeeper——一致性協(xié)議:Zab協(xié)議聲明：本文寫(xiě)的時(shí)候，當(dāng)時(shí)就是完全不懂zk，邊看網(wǎng)上的文章邊學(xué)習(xí)歸納和整理，這不是我的產(chǎn)出，不用點(diǎn)贊打賞。大家理智友善的討論，有錯(cuò)誤歡迎指出。不過(guò)我最近不怎么上簡(jiǎn)書(shū)了?？赡軟](méi)來(lái)...
-
Flink Hudi 源碼之HoodieTableSink
Flink源碼分析系列文檔目錄 請(qǐng)點(diǎn)擊：Flink 源碼分析系列文檔目錄[http://www.itdecent.cn/p/d4a372809e3d] 源代碼分支 rele...
-
集群規(guī)模估算
背景：QPS = 200萬(wàn)/s 全天不間斷 讓高峰期QPS控制在集群能承載的總QPS的30%左右是比較安全的策略 即應(yīng)設(shè)計(jì)集群承載QPS上限為600萬(wàn)~700萬(wàn)/s 才是安...
-
sklearn 翻譯筆記：KNeighborsClassifier
翻譯原文地址：http://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsCla...
-
數(shù)倉(cāng)--DW--Hadoop數(shù)倉(cāng)實(shí)踐Case-13-周期快照事實(shí)表周期快照概述 周期快照事實(shí)表中的每行匯總了發(fā)生在某一標(biāo)準(zhǔn)周期， 如一天、 一周或一月的多個(gè)度量。 其粒度是周期性的時(shí)間段， 而不是單個(gè)事務(wù)。周期快照事實(shí)表通常包含許多數(shù)據(jù)的總...
-
-
數(shù)倉(cāng)--Theory--對(duì)數(shù)倉(cāng)面向主題的理解面向主題 面向主題是數(shù)倉(cāng)的四大特點(diǎn)之一，聽(tīng)起來(lái)很高大上，但是細(xì)細(xì)理解起來(lái)卻有些費(fèi)勁，本文主要是記錄一下個(gè)人的理解，參考互聯(lián)網(wǎng)上各種博客進(jìn)行理解。 概念解析 抽象概念主題(Su...
