什么是Kafka[#---kafka] Kafka的應(yīng)用場景[#kafka-----] Kafka的架構(gòu)[#kafka---]consumer的pull模式和push模式的區(qū)...
IP屬地:廣東
Hadoop 的組成 HDFS管理者:namenode工作者:DataNode輔助管理者:secondaryNameNode MapReduce YARN管理者:Resour...
背景 由于公司內(nèi)部需求較多,并不想每次都寫一個 streaming 程序,故而開始搭建 flinksql 平臺,基于 jdk1.8,flink1.12.x 效果 傳一個 sq...
Flink是一個分布式系統(tǒng),需要有效分配和管理計算資源才能執(zhí)行流應(yīng)用程序。 它與所有常見的群集資源管理器(如Hadoop YARN,Apache Mesos和Kubernet...
概覽 JobManager協(xié)調(diào)每個Flink部署。 它負責(zé)調(diào)度和資源管理。 默認情況下,每個Flink集群只有一個JobManager實例。 這將創(chuàng)建一個單點故障(SPOF)...
本文詳解 Checkpoint 機制,分享 Checkpoint 問題排查的手段,包括失敗、延期等問題。 1.Checkpoint 機制 1.1 Checkpoint 概念 ...
也許你之前沒有做過大規(guī)模數(shù)據(jù)處理的項目,但是 Spark 這個詞我相信你一定有所耳聞。Spark 是當今最流行的分布式大規(guī)模數(shù)據(jù)處理引擎,被廣泛應(yīng)用在各類大數(shù)據(jù)處理場景。 2...