讓科技融入生活，衍生新技術(shù)！
發(fā)簡(jiǎn)信
IP屬地：廣東
-
多平臺(tái)認(rèn)證作者
-
從數(shù)碼發(fā)燒友到酷玩評(píng)測(cè)人，筆點(diǎn)君一直在路上。<br>微博及自媒體：筆點(diǎn)酷玩；<br>微信：bidiankuwan，歡迎交流提問。
-
利用maxwell 組件實(shí)時(shí)監(jiān)聽Mysql的Binlog日志，并且把解析的json格式數(shù)據(jù)發(fā)送到kafka窗口供實(shí)時(shí)消費(fèi)一：在linux環(huán)境下安裝部署好mysql 1 ：開啟binlog sudo vi /etc/my.cnf (Mysql的配置文件) 2： mysql的binlog格式有...
-
MySQL的binlog日志
本文轉(zhuǎn)載于： https://www.cnblogs.com/martinzhang/p/3454358.html binlog 基本認(rèn)識(shí) MySQL的二進(jìn)制日志可以說是...
-
-
impala + kudu一些優(yōu)化心得
用了幾次impala + kudu做大數(shù)據(jù)實(shí)時(shí)計(jì)算場(chǎng)景，一路踏坑過來，這里分享踏坑經(jīng)驗(yàn) 一開始需要全量導(dǎo)入kudu，這時(shí)候我們先用sqoop把關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入臨時(shí)表，再用i...
-
兩集群數(shù)據(jù)拷貝
業(yè)務(wù)場(chǎng)景： 公司有兩套集群，A集群專門做數(shù)據(jù)存儲(chǔ)，B集群專門做數(shù)據(jù)清洗和數(shù)據(jù)展現(xiàn) A集群每天定時(shí)把數(shù)據(jù)同步過來B集群后，B集群負(fù)責(zé)后續(xù)清洗和供業(yè)務(wù)系統(tǒng)使用 集群背景 兩套集群...
-
flume-ng添加自定義攔截器
業(yè)務(wù)場(chǎng)景：收集nginx日志中個(gè)別信息進(jìn)入kafka，為了避免kafka壓力過大，這里優(yōu)化了兩點(diǎn) 刷選掉不需要分析的數(shù)據(jù)進(jìn)入kafka 盡量把消息均勻分布在不同的broker...
-
kafka =>SparkStreaming=>kudu集成kerberos本文檔主要介紹在cdh集成kerberos情況下，sparkstreaming怎么消費(fèi)kafka數(shù)據(jù)，并存儲(chǔ)在kudu里面 假設(shè)kafka集成kerberos 假設(shè)kudu集...
-
生產(chǎn)beeline事故分析場(chǎng)景分析 生產(chǎn)環(huán)境用beeline連接hive總是偶爾卡死 hive健康檢查也總是偶爾告警 hive健康檢查失敗的同時(shí)，beeline連不上hive 場(chǎng)景截圖如下：beeli...
