發(fā)簡信
IP屬地：四川
-
Datax日志壓縮并定期清理
背景 DataX 是一個進(jìn)程一個日志,不同于其他日志一天一個日志,合并到一個日志中進(jìn)行壓縮在查看日志時有一定的不便,可以通過腳本的方式對目錄進(jìn)行...
-
為什么會是Flink
Flink的具體優(yōu)勢有以下幾點(diǎn): 1.同時支持高吞吐、低延遲、高性能 Flink是目前開源社區(qū)中唯一一套集高吞吐、低延遲、高性能三者于一身的分布...
-
解決DataX自定義kuduWriter無法解析Blob類型字段的問題在之前的文章中分享如何在DataX中定義kuduWriter組件,在最近的工作中發(fā)現(xiàn)從oracle讀取blob類型的數(shù)據(jù)到kudu時,數(shù)據(jù)不是期...
-
DataX中的數(shù)據(jù)交互源碼探究因?yàn)楣ぷ鞯脑?需要排查數(shù)據(jù)源端到目標(biāo)端的數(shù)據(jù)是否丟失,正好有機(jī)會研究一下datax的源碼.這里我們探索的oracleReader和kuduWr...
-
Kudu使用最佳實(shí)踐以及踩坑記錄Kudu表結(jié)構(gòu)設(shè)計(jì)最佳實(shí)踐 1.字段設(shè)計(jì) 字段數(shù)量最好不要超過300個 除主鍵外,其他字段可以為空 每一個字段均可以設(shè)置自己的編碼以及壓縮方式 ...
-
如何用DataX自定義KuduWriter插件如何用DataX自定義KuduWriter之前，先了解一下什么是DataX，它能做什么事 DataX DataX 是阿里巴巴集團(tuán)內(nèi)被廣泛使用的離...
-
Alibaba之jvm-sandbox初體驗(yàn)前言 在開始之前，我們先來模擬一下以下的場景：小李：“小明，你的接口沒有返回數(shù)據(jù)，麻煩幫忙看一下？”小明：“我這邊的數(shù)據(jù)也是從別人的服務(wù)器中拿到...
-
Hive相關(guān)優(yōu)化map優(yōu)化 優(yōu)化并發(fā)個數(shù) 減少map數(shù)，合并小文件set mapred.max.split.size=100000000;單位b,代表一個map...
-
Hive是什么 Hive是一個SQL解析引擎，將SQL語句轉(zhuǎn)譯成MapReduce Job，然后在Hadoop平臺上運(yùn)行，達(dá)到快速開發(fā)的目的。 Hive...