細粒度資源管理的背景 目的 Flink 目前采用粗粒度的資源管理方法，其中task被部署到預(yù)定義的、通常相同的slot中，而不需要每個包含多少資源的概念。使用slot共享，可...
IP屬地：上海
-
深入解析 Flink 細粒度資源管理 -
MySQL備份和恢復(fù)類型
備份和恢復(fù)類型 物理（原始）與邏輯備份 物理備份由存儲數(shù)據(jù)庫內(nèi)容的目錄和文件的原始副本組成。這種類型的備份適用于出現(xiàn)問題時需要快速恢復(fù)的大型重要數(shù)據(jù)庫。邏輯備份將信息保存為邏...
-
Flink整合面向用戶的數(shù)據(jù)流SDKs/API(Flink關(guān)于棄用Dataset API的論述)
動機 Flink提供了三種主要的sdk/API來編寫程序:Table API/SQL、DataStream API和DataSet API。我們認為這個API太多了，建議棄用...
-
Flink JobManager | TaskManager內(nèi)存模型Flink內(nèi)存模型分析 JobManager內(nèi)存模型 TaskManager內(nèi)存模型 內(nèi)存模型分析 Flink使用內(nèi)存（Total Flink Memory）=框架堆內(nèi)存+框...
-
Flink使用Pod Template將狀態(tài)快照(Checkpoint、Savepoint)存儲在NFS
背景 Flink 版本 1.13.3，使用 native k8s[https://mp.weixin.qq.com/s/QE_37OrPVdRb7JOPtmj2zQ] 部署模...
-
Flink中如何實現(xiàn)一個自定義MetricReporter
什么是 Metrics 在 flink 任務(wù)運行的過程中，用戶通常想知道任務(wù)運行的一些基本指標，比如吞吐量、內(nèi)存和 cpu 使用情況、checkpoint 穩(wěn)定性等等。而通過...
-
flink+kafka的端到端一致性
上一篇中提到flink+kafka如何做到任務(wù)級順序保證，而端到端一致性即為實現(xiàn)用戶數(shù)據(jù)目標端與源端的準確一致，當源端數(shù)據(jù)發(fā)生更改時，保證目標端及時、正確、持久的寫入更改數(shù)據(jù)...
-
flink+kafka的端到端一致性上一篇中提到flink+kafka如何做到任務(wù)級順序保證，而端到端一致性即為實現(xiàn)用戶數(shù)據(jù)目標端與源端的準確一致，當源端數(shù)據(jù)發(fā)生更改時，保證目標端及時、正確、持久的寫入更改數(shù)據(jù)...
-
靜態(tài)方法單元測試
將mockito-core換成mockito-inline 先創(chuàng)建一個調(diào)用了靜態(tài)方法的待測試類 創(chuàng)建單元測試類 打印結(jié)果 測試通過，打印的日期是 2000-01-01。 Mo...
-
k8s application模式自動部署flink任務(wù)
啟動任務(wù)和更新任務(wù) 更新任務(wù) 刪除任務(wù) 關(guān)注作者公眾號 HEY DATA，一起討論更多
-
kafka+flink任務(wù)級順序保證順序保證難點 本文主要分析 CDC 業(yè)務(wù)場景中任務(wù)級順序保證，技術(shù)選型為：debezium、kafka、flink，其構(gòu)成了順序保證中至關(guān)重要的每一環(huán)，應(yīng)該充分考慮、分析各組...
-
flink相關(guān)概念介紹Flink定義 Apache Flink is a framework and distributed processing engine for stateful comp...
-
-
hive3.1.2安裝(基于mysql存儲元數(shù)據(jù))
1.下載 2.解壓 3.配置環(huán)境變量 4. 安裝 4.1 修改hive-config.sh 4.2上傳jar包 上傳mysql-connector-java-5.1.10.j...
-
hadoop集群快速部署
1. 修改Linux主機名 或修改配置文件 2. 修改IP 3. 修改主機名和IP的映射關(guān)系 4.關(guān)閉防火墻 5.ssh免登陸 （四個回車）執(zhí)行完這個命令后，會生成兩個文件i...
-
flink on native k8s by application mode
flink1.13于5月4日發(fā)布，版本迭代之快，更是體現(xiàn)了其勢不可擋的發(fā)展速度。社區(qū)活躍度逐步攀升，當然少不了與云原生等技術(shù)的集成。 本文主要講解flink的原生k8s ap...
-
kubeadmin部署k8s集群1、安裝要求 一臺或多臺機器，操作系統(tǒng) CentOS7.x-86_x64 硬件配置：2GB 或更多 RAM，2 個 CPU 或更多 CPU，硬盤 30GB 或更多 集群中所有...
-
Flink讀取Kafka數(shù)據(jù)寫入Hive前言 本文針對數(shù)據(jù)庫CDC(change data capture)場景設(shè)計，探討基于Flink1.12最新版本提供的實時寫入Hive的技術(shù)可行性，下面為本地IDEA程序案例...
