什么是Kafka[#---kafka] Kafka的應(yīng)用場景[#kafka-----] Kafka的架構(gòu)[#kafka---]consumer的pull模式和push模式的區(qū)...
發(fā)簡信
IP屬地：廣東
-
-
Hadoop - HDFS分布式存儲、HA架構(gòu)原理、YARN調(diào)度原理
Hadoop 的組成 HDFS管理者:namenode工作者:DataNode輔助管理者:secondaryNameNode MapReduce YARN管理者:Resour...
-
FlinkSQL 平臺
背景 由于公司內(nèi)部需求較多，并不想每次都寫一個 streaming 程序，故而開始搭建 flinksql 平臺，基于 jdk1.8，flink1.12.x 效果 傳一個 sq...
-
Flink 架構(gòu)--官網(wǎng)譯文(v1.11)Flink是一個分布式系統(tǒng)，需要有效分配和管理計算資源才能執(zhí)行流應(yīng)用程序。 它與所有常見的群集資源管理器（如Hadoop YARN，Apache Mesos和Kubernet...
-
JobManager 高可用 (HA)--v1.11官網(wǎng)譯文概覽 JobManager協(xié)調(diào)每個Flink部署。 它負責(zé)調(diào)度和資源管理。 默認情況下，每個Flink集群只有一個JobManager實例。 這將創(chuàng)建一個單點故障（SPOF）...
-
【Flink 精選】如何排查 Checkpoint 異常問題？本文詳解 Checkpoint 機制，分享 Checkpoint 問題排查的手段，包括失敗、延期等問題。 1.Checkpoint 機制 1.1 Checkpoint 概念 ...
-
為什么需要spark也許你之前沒有做過大規(guī)模數(shù)據(jù)處理的項目，但是 Spark 這個詞我相信你一定有所耳聞。Spark 是當今最流行的分布式大規(guī)模數(shù)據(jù)處理引擎，被廣泛應(yīng)用在各類大數(shù)據(jù)處理場景。 2...
