Flink Kafka Doris實(shí)戰(zhàn)demo 環(huán)境: Flink 1.12 Doris 0.12 Kafka 1.0.1+kafka3.1.1 一:編譯doris 參考官網(wǎng)...
Flink Kafka Doris實(shí)戰(zhàn)demo 環(huán)境: Flink 1.12 Doris 0.12 Kafka 1.0.1+kafka3.1.1 一:編譯doris 參考官網(wǎng)...
安裝升級(jí)PHP https://www.centos.bz/2018/05/centos-6-7-%E5%8D%87%E7%BA%A7-php-5-6-%E5%88%B0-7...
一:flink kafka offset配置 1. setStartFromGroupOffsets(默認(rèn)的): 查看partition offset 1.1、消費(fèi)者組在ka...
CDH最大文件描述符 Configuring Maximum File Descriptors 一:問題: 二:解決 三:參考 CDH服務(wù)最大文件描述符修改
一:問題: zookeeper oom掛掉之后重啟及選舉失敗 二:排查: 2.1 oom信息: 其中,F(xiàn)ileTxnLog負(fù)責(zé)維護(hù)事務(wù)日志對(duì)外的接口,包括事務(wù)日志的寫入和讀取...
代碼: chooseExcessReplicates 1.刪除節(jié)點(diǎn)副本多余一個(gè)的 2.刪除心跳最久的 3.刪除空間最小的 oldestHeartbeat
一:hbase現(xiàn)有硬件資源的理論性能 1.集群容量規(guī)劃公式: 優(yōu)化調(diào)整,發(fā)揮硬件的最大優(yōu)勢; 按照默認(rèn)配置, RegionSize = 10G,對(duì)應(yīng)參數(shù)為hbase.hreg...
滿滿的干貨!
輕松搞定defer和return怎么才能深刻理解defer和return之間關(guān)系呢?細(xì)讀本文后將對(duì)你有很大幫助。 一、理解基本概念 go函數(shù)中return不是原子操作,在編譯器中分解為兩個(gè)部分:返回值賦值和...
怎么才能深刻理解defer和return之間關(guān)系呢?細(xì)讀本文后將對(duì)你有很大幫助。 一、理解基本概念 go函數(shù)中return不是原子操作,在編譯器中分解為兩個(gè)部分:返回值賦值和...
沒解決,后面就沒去搞這個(gè)了
flink-cdh-parcel測試安裝先上flink-cdh-parcel測試安裝效果圖: 下載地址:https://archive.cloudera.com/csa/1.0.0.0 一:將FLINK-1.9.0...
(1)基礎(chǔ)知識(shí) dlbook_cn 中文翻譯版https://github.com/exacity/deeplearningbook-chinese 英文在線...
一、各數(shù)據(jù)類型內(nèi)存布局 Sizeof(uint8) = 1 字節(jié) = 8byte Sizeof(rune) = 4 Sizeof(int64) = 8 Sizeof(flo...
HBase集群平滑遷移步驟 測試環(huán)境 CDH版本HBASE版本測試源集群5.15.11.2.0測試目標(biāo)集群6.2.02.1.0 線上遷移環(huán)境 CDH版本HBASE版本線上源集...
HBase跨集群遷移調(diào)研方案回顧 遷移目的 HBase跨集群平滑遷移 方案 方案一 方案二 操作命令 snapshot replication 優(yōu)缺點(diǎn) 最終方案 CDH如何支...
背景: 如果作業(yè)由多個(gè)MR任務(wù)完成,則必然經(jīng)過多次完整的Map–shuffer–Reduce,中間節(jié)點(diǎn)的數(shù)據(jù)多次寫入HDFS,浪費(fèi)IO讀寫。(可以將HDFS理解為多個(gè)任務(wù)之間...
一、Zookeeper備份與遷移恢復(fù) 版本:3.4.5 目錄:/var/lib/zookeeper 容量:namenode1(2543M)、namenode2(2515M)、...
一、任務(wù)清單(一) 由于大量的MR任務(wù)會(huì)造成系統(tǒng)盤負(fù)載100%util,使用iotop分析主要是YARN任務(wù)造成的,因此需要把YARN的數(shù)據(jù)目錄/yarn/nm遷移到獨(dú)立磁盤...