容量與分級(jí)設(shè)計(jì) YARN為它正在調(diào)度的資源定義了最小分配和最大分配:每個(gè)為YARN運(yùn)行worker的服務(wù)器都有一個(gè)NodeManager，它提供資源分配，可以是內(nèi)存和/或cp...
發(fā)簡(jiǎn)信
IP屬地：北京
-
Capacity Scheduler -
資源分配和搶占涉及到的配置參數(shù)資源分配 FSParentQueue.assignContainer滿足不存在ReservedContainer && 隊(duì)列ResourceUsage < maxResour...
-
Fair Share計(jì)算實(shí)現(xiàn)原理
Steady Fair Share 我們計(jì)算steady fair share的時(shí)候，計(jì)算的都是加權(quán)值，即權(quán)重不同的隊(duì)列，將獲得不同的steady fair share，權(quán)重...
-
使用 FairScheduler 隊(duì)列屬性
在之前的第 4 部分中[https://clouderatemp.wpengine.com/blog/2016/06/untangling-apache-hadoop-yar...
-
Fair Scheduler Queue Basics
示例：具有正在Running的應(yīng)用程序的集群 假設(shè)我們有一個(gè)yarn集群，其總資源<內(nèi)存：800GB，vcores 200>，有兩個(gè)隊(duì)列：root.busy（權(quán)重=1.0）和...
-
-
-
BrokerLoadJob的JobState流轉(zhuǎn)過程
There are 3 steps in BrokerLoadJob: BrokerPendingTask, LoadLoadingTask, CommitAndPublis...
-
Thrift JDBC/ODBC Server安裝
添加Cloudera maven鏡像 在spark的pom文件中添加 CDH的maven鏡像[1]，并添加 Hadoop cdh5.6.1 的profile 具體添加配置的位...
-
Shuffle流程-源碼分析shuffle寫階段 DAGScheduler.submitMissingTasks ShuffleMapTask ShuffleMapTask.runTask shuffl...
-
任務(wù)切分-源碼分析
DAGScheduler.handleJobSubmitted submitMissingTasks ShuffleMapStage.findMissingPartitions
-
任務(wù)調(diào)度-源碼分析
TaskSchedulerImpl.submitTasks 調(diào)度器初始化 FIFOSchedulableBuilder.addTaskSetManager backend.r...
-
任務(wù)執(zhí)行-源碼分析
CoarseGrainedExecutorBackend.receive收到LaunchTask消息 使用executor的線程池threadPool執(zhí)行task TaskR...
-
stage劃分-源碼分析
eventProcessLoop POST JobSubmitted 事件 eventThread 消費(fèi)事件進(jìn)行處理 doOnReceive DAGScheduler.han...
-
rdd依賴-源碼分析
NarrowDependency MapPartitionsRDD var prev: RDD[T] OneToOneDependency ShuffleDependency...
-
spark通信-源碼分析
driver的網(wǎng)絡(luò)通信 -SparkContext.SparkEnvprivate[spark] def env: SparkEnv = _env_env = createS...
-
spark提交流程-源碼分析
org.apache.spark.deploy.SparkSubmit-main -YarnClusterApplication.start//ClientArguments...
-
Append 流、 Retract 流、 Upsert 流、動(dòng)態(tài)表Append-only 流： 僅通過 INSERT 操作修改的動(dòng)態(tài)表可以通過輸出插入的行轉(zhuǎn)換為流。 Retract 流： retract 流包含兩種類型的 message： ...
