分享數(shù)據(jù)、產(chǎn)品、設(shè)計(jì)、商業(yè)、想法。<br>MP：Thea 的若干好奇
發(fā)簡(jiǎn)信
IP屬地：四川
-
Datax日志壓縮并定期清理
背景 DataX 是一個(gè)進(jìn)程一個(gè)日志,不同于其他日志一天一個(gè)日志,合并到一個(gè)日志中進(jìn)行壓縮在查看日志時(shí)有一定的不便,可以通過(guò)腳本的方式對(duì)目錄進(jìn)行壓縮達(dá)到預(yù)期的結(jié)果 操作步驟 ...
-
為什么會(huì)是Flink
Flink的具體優(yōu)勢(shì)有以下幾點(diǎn): 1.同時(shí)支持高吞吐、低延遲、高性能 Flink是目前開源社區(qū)中唯一一套集高吞吐、低延遲、高性能三者于一身的分布式流式數(shù)據(jù)處理框架。像Apac...
-
解決DataX自定義kuduWriter無(wú)法解析Blob類型字段的問(wèn)題在之前的文章中分享如何在DataX中定義kuduWriter組件,在最近的工作中發(fā)現(xiàn)從oracle讀取blob類型的數(shù)據(jù)到kudu時(shí),數(shù)據(jù)不是期望的結(jié)果,接下來(lái)就讓我們一起來(lái)...
-
震驚了！原來(lái)這才是kafka！[TOC] 簡(jiǎn)介 kafka是一個(gè)分布式消息隊(duì)列。具有高性能、持久化、多副本備份、橫向擴(kuò)展能力。生產(chǎn)者往隊(duì)列里寫消息，消費(fèi)者從隊(duì)列里取消息進(jìn)行業(yè)務(wù)邏輯。一般在架構(gòu)設(shè)計(jì)中起到解...
-
DataX中的數(shù)據(jù)交互源碼探究因?yàn)楣ぷ鞯脑?需要排查數(shù)據(jù)源端到目標(biāo)端的數(shù)據(jù)是否丟失,正好有機(jī)會(huì)研究一下datax的源碼.這里我們探索的oracleReader和kuduWriter的數(shù)據(jù)交互,其他的組件...
-
@Iamnotme_5bbc 你可以去github上面復(fù)制一份
如何用DataX自定義KuduWriter插件
如何用DataX自定義KuduWriter之前，先了解一下什么是DataX，它能做什么事 DataX DataX 是阿里巴巴集團(tuán)內(nèi)被廣泛使用的離線數(shù)據(jù)同步工具/平臺(tái)，實(shí)現(xiàn)包括...
-
Kudu使用最佳實(shí)踐以及踩坑記錄Kudu表結(jié)構(gòu)設(shè)計(jì)最佳實(shí)踐 1.字段設(shè)計(jì) 字段數(shù)量最好不要超過(guò)300個(gè) 除主鍵外,其他字段可以為空 每一個(gè)字段均可以設(shè)置自己的編碼以及壓縮方式 Kudu1.7.0及其高版本,...
-
@Tomandy 是的
Alibaba之jvm-sandbox初體驗(yàn)
前言 在開始之前，我們先來(lái)模擬一下以下的場(chǎng)景：小李：“小明，你的接口沒有返回?cái)?shù)據(jù)，麻煩幫忙看一下？”小明：“我這邊的數(shù)據(jù)也是從別人的服務(wù)器中拿到的，但是我不確定是因?yàn)檫壿嬏幚?..
-
如何用DataX自定義KuduWriter插件如何用DataX自定義KuduWriter之前，先了解一下什么是DataX，它能做什么事 DataX DataX 是阿里巴巴集團(tuán)內(nèi)被廣泛使用的離線數(shù)據(jù)同步工具/平臺(tái)，實(shí)現(xiàn)包括...
-
Alibaba之jvm-sandbox初體驗(yàn)前言 在開始之前，我們先來(lái)模擬一下以下的場(chǎng)景：小李：“小明，你的接口沒有返回?cái)?shù)據(jù)，麻煩幫忙看一下？”小明：“我這邊的數(shù)據(jù)也是從別人的服務(wù)器中拿到的，但是我不確定是因?yàn)檫壿嬏幚?..
-
玩轉(zhuǎn)大數(shù)據(jù)
-
Hive相關(guān)優(yōu)化map優(yōu)化 優(yōu)化并發(fā)個(gè)數(shù) 減少map數(shù)，合并小文件set mapred.max.split.size=100000000;單位b,代表一個(gè)map能處理多大的數(shù)據(jù)量set ma...
-
-
HBase集群參數(shù)配置優(yōu)化
1.compact 我們首先假設(shè)一個(gè)現(xiàn)象：當(dāng)寫請(qǐng)求非常多，導(dǎo)致不斷生成HFile，但compact的速度遠(yuǎn)遠(yuǎn)跟不上HFile生成的速度，這樣就會(huì)使HFile的數(shù)量會(huì)越來(lái)越多，...
