IP屬地：廣東
-
Kafka 的認(rèn)證機(jī)制Kafka 認(rèn)證機(jī)制 自 0.9.0.0 版本開始，Kafka 正式引入了認(rèn)證機(jī)制，用于實(shí)現(xiàn)基礎(chǔ)的安全用戶認(rèn)證，這是將 Kafka 上云或進(jìn)行多...
-
Flume Taildir Source源碼修改---監(jiān)聽目錄
一、需求 flume taildir源碼只支持監(jiān)控一級(jí)目錄下的文件，能不能支持監(jiān)聽子目錄下的所有文件flume版本:1.9.0 二、思路 源碼中...
-
CDH 6.3.1 rpm+http安裝部署
一、準(zhǔn)備工作 1.離線部署主要分為三塊: a.MySQL離線部署 b.CM離線部署 c.Parcel?件離線源部署 2.規(guī)劃 3.下載源 支持的...
-
Spark Streaming 狀態(tài)管理算子的選擇比較
一、updateStateByKey 官方原話: 也即是說它會(huì)統(tǒng)計(jì)全局的key的狀態(tài)，就算沒有數(shù)據(jù)輸入，它也會(huì)在每一個(gè)批次的時(shí)候返回之前的key...
-
Spark Streaming 從指定時(shí)間戳開始消費(fèi) kafka 數(shù)據(jù)
一、需求 從指定時(shí)間戳（比如 2 小時(shí)前）開始消費(fèi) Kafka 數(shù)據(jù) 二、思路 我們知道通過 Kafka 的 API 可以得到指定時(shí)間戳對(duì)應(yīng)數(shù)據(jù)...
-
CDK &CDS 安裝
一、下載安裝包 http://archive.cloudera.com/kafka/parcels/4.1.0/ http://archive....
-
kafka單機(jī)安裝部署
一、環(huán)境準(zhǔn)備 kafka-2.2.1-kafka4.1.0.tar.gz 已經(jīng)安裝好zookeeper環(huán)境 kafka-eagle-bin-1....
-
hadoop,spark中使用lzo
一、環(huán)境準(zhǔn)備 hadoop-2.6.0-cdh5.15.1并支持壓縮(參考:hadoop安裝文檔) lzo jar包(下載地址:lzo jar下...
-
Azkaban安裝部署及使用一、介紹 Azkaban是LinkedIn開源的任務(wù)調(diào)度框架，類似于JavaEE中的JBPM和Activiti工作流框架.如ETL的過程，Sqo...