Flink Kafka Doris實(shí)戰(zhàn)demo 環(huán)境： Flink 1.12 Doris 0.12 Kafka 1.0.1+kafka3.1.1 一：編譯doris 參考官網(wǎng)...
發(fā)簡信
IP屬地：寧夏
-
Flink Kafka Doris實(shí)戰(zhàn)demo
-
LDAP密碼修改系統(tǒng) Self Service Password
安裝升級(jí)PHP https://www.centos.bz/2018/05/centos-6-7-%E5%8D%87%E7%BA%A7-php-5-6-%E5%88%B0-7...
-
flink kafka offset配置/提交
一：flink kafka offset配置 1. setStartFromGroupOffsets(默認(rèn)的)： 查看partition offset 1.1、消費(fèi)者組在ka...
-
CDH服務(wù)最大文件描述符
CDH最大文件描述符 Configuring Maximum File Descriptors 一：問題： 二：解決 三：參考 CDH服務(wù)最大文件描述符修改
-
zookeeper oom一：問題： zookeeper oom掛掉之后重啟及選舉失敗 二：排查： 2.1 oom信息： 其中，F(xiàn)ileTxnLog負(fù)責(zé)維護(hù)事務(wù)日志對(duì)外的接口，包括事務(wù)日志的寫入和讀取...
-
更多大數(shù)據(jù)技術(shù)干貨，歡迎關(guān)注“大數(shù)據(jù)技術(shù)進(jìn)階”微信公眾號(hào)。
-
hdfs多副本刪除策略
代碼： chooseExcessReplicates 1.刪除節(jié)點(diǎn)副本多余一個(gè)的 2.刪除心跳最久的 3.刪除空間最小的 oldestHeartbeat
-
Hbase集群調(diào)優(yōu)
一：hbase現(xiàn)有硬件資源的理論性能 1.集群容量規(guī)劃公式： 優(yōu)化調(diào)整，發(fā)揮硬件的最大優(yōu)勢； 按照默認(rèn)配置， RegionSize = 10G，對(duì)應(yīng)參數(shù)為hbase.hreg...
-
滿滿的干貨！
輕松搞定defer和return
怎么才能深刻理解defer和return之間關(guān)系呢？細(xì)讀本文后將對(duì)你有很大幫助。 一、理解基本概念 go函數(shù)中return不是原子操作，在編譯器中分解為兩個(gè)部分：返回值賦值和...
-
輕松搞定defer和return
怎么才能深刻理解defer和return之間關(guān)系呢？細(xì)讀本文后將對(duì)你有很大幫助。 一、理解基本概念 go函數(shù)中return不是原子操作，在編譯器中分解為兩個(gè)部分：返回值賦值和...
-
沒解決，后面就沒去搞這個(gè)了
flink-cdh-parcel測試安裝
先上flink-cdh-parcel測試安裝效果圖： 下載地址：https://archive.cloudera.com/csa/1.0.0.0 一：將FLINK-1.9.0...
-
深度學(xué)習(xí)-關(guān)于ocr
（1）基礎(chǔ)知識(shí) dlbook_cn 中文翻譯版https://github.com/exacity/deeplearningbook-chinese 英文在線...
-
-
Go自學(xué)筆記(持續(xù)更新...)
一、各數(shù)據(jù)類型內(nèi)存布局 Sizeof(uint8) = 1 字節(jié) = 8byte Sizeof(rune) = 4 Sizeof(int64) = 8 Sizeof(flo...
-
HBase集群平滑遷移步驟HBase集群平滑遷移步驟 測試環(huán)境 CDH版本HBASE版本測試源集群5.15.11.2.0測試目標(biāo)集群6.2.02.1.0 線上遷移環(huán)境 CDH版本HBASE版本線上源集...
-
HBase跨集群遷移調(diào)研方案
HBase跨集群遷移調(diào)研方案回顧 遷移目的 HBase跨集群平滑遷移 方案 方案一 方案二 操作命令 snapshot replication 優(yōu)缺點(diǎn) 最終方案 CDH如何支...
-
Tez線上部署及性能測試:背景： 如果作業(yè)由多個(gè)MR任務(wù)完成，則必然經(jīng)過多次完整的Map–shuffer–Reduce，中間節(jié)點(diǎn)的數(shù)據(jù)多次寫入HDFS，浪費(fèi)IO讀寫。（可以將HDFS理解為多個(gè)任務(wù)之間...
-
CDH5.16 組件元數(shù)據(jù)備份和恢復(fù)
一、Zookeeper備份與遷移恢復(fù) 版本：3.4.5 目錄：/var/lib/zookeeper 容量：namenode1(2543M)、namenode2(2515M)、...
-
CDH5.16 各組件角色在線遷移
一、任務(wù)清單(一) 由于大量的MR任務(wù)會(huì)造成系統(tǒng)盤負(fù)載100%util，使用iotop分析主要是YARN任務(wù)造成的，因此需要把YARN的數(shù)據(jù)目錄/yarn/nm遷移到獨(dú)立磁盤...
