_c
發(fā)簡信
IP屬地：上海
-
@戀愛季節(jié) 這東西適合ETL, 性能是瓶頸, 不適合做的太深.
SDC-Cluster-PipelineStoreResource-原理源碼
PipelineStoreResource.getPipeline(pid)PipelineStoreResource.savePipeline()PipelineStore...
-
@戀愛季節(jié) 啥問題?
SDC-Cluster-PipelineStoreResource-原理源碼
PipelineStoreResource.getPipeline(pid)PipelineStoreResource.savePipeline()PipelineStore...
-
SDC-生產(chǎn)報(bào)錯(cuò)和問題記錄
SDC 編譯相關(guān)問題 報(bào)bundles.SupportBundleContentGeneratorProcessor not found 可能是缺少 streamsets-d...
-
MapReduce 原理和源碼-實(shí)戰(zhàn)Local模式下的 MapReduce 計(jì)算步驟(圖解) 步驟詳解 "main"線程中完成input切片和Job提交 本地構(gòu)建submitJobDir臨時(shí)目錄 根據(jù)Input...
-
JMX監(jiān)控工具實(shí)戰(zhàn)
JMXTRANS Jmxtrans的安裝 從web下載 rpm 或tar包, 這里下載tar包;直接安裝; https://repo1.maven.org/maven2/o...
-
KafkaServer端報(bào)錯(cuò)分析
Server端啟動(dòng)時(shí)報(bào)錯(cuò) WARN Found a corrupted index file due to requirement failed: Corrupt index...
-
Kylin實(shí)戰(zhàn)
Kylin的部署 要準(zhǔn)備的環(huán)境包括:HDFS的安裝和啟動(dòng): 特別注意啟動(dòng)job-historyserver服務(wù),并開放10020端口;HBASE的安裝和啟動(dòng)hive的安裝; ...
-
Sqoop的實(shí)戰(zhàn)
Sqoop用法 安裝sqoop,并創(chuàng)建軟連接ln -s sqoop-1.4.6-cdh5.16.2 sqoop-release// 更新軟連接;ln -snf sqoop...
-
Zookeeper-實(shí)戰(zhàn)
Zookeeper部署 相關(guān)zk版本的安裝: 安裝和配置zk 主要是修改zoo.cfg, 設(shè)置data目錄和server Id; 修改zkServer.sh 設(shè)置默認(rèn)日志目...
-
HBase實(shí)戰(zhàn)
HBase 命令操作 HBase Shell的常見命令 . "$bin"/hbase-config.sh commandToRun="start" 查看是否是分布式: 配置d...
-
Zepplin實(shí)戰(zhàn)
Zepplin的安裝和部署 下載: http://www.apache.org/dyn/closer.cgi/zeppelin/zeppelin-0.8.2/zeppelin...
-
Hive的實(shí)戰(zhàn)
Hive的命令和使用 BeeLine的命令: Usage: java org.apache.hive.cli.beeline.BeeLine-u ...
-
阿里，頭條，美團(tuán)，快手大數(shù)據(jù)開發(fā)崗面試總結(jié)
從3月份開始，陸續(xù)面了阿里，頭條，美團(tuán)，快手四家公司的大數(shù)據(jù)開發(fā)崗位，近20場面試面下來挺耗費(fèi)腦力的，不過結(jié)果還行，除了頭條外，目前拿到了其他三家的offer，今天把還能記住...
-
Spark Failures 失敗任務(wù)總結(jié)Task的失敗 關(guān)于Task的狀態(tài): 6大狀態(tài) Task異常 執(zhí)行Task的異常類型分別有TaskResultLost、ExecutorLostFailure、Execpti...