IP屬地：廣東
-
Kafka 的認證機制Kafka 認證機制 自 0.9.0.0 版本開始，Kafka 正式引入了認證機制，用于實現基礎的安全用戶認證，這是將 Kafka 上云或進行多...
-
Flume Taildir Source源碼修改---監(jiān)聽目錄
一、需求 flume taildir源碼只支持監(jiān)控一級目錄下的文件，能不能支持監(jiān)聽子目錄下的所有文件flume版本:1.9.0 二、思路 源碼中...
-
CDH 6.3.1 rpm+http安裝部署
一、準備工作 1.離線部署主要分為三塊: a.MySQL離線部署 b.CM離線部署 c.Parcel?件離線源部署 2.規(guī)劃 3.下載源 支持的...
-
Spark Streaming 狀態(tài)管理算子的選擇比較
一、updateStateByKey 官方原話: 也即是說它會統(tǒng)計全局的key的狀態(tài)，就算沒有數據輸入，它也會在每一個批次的時候返回之前的key...
-
Spark Streaming 從指定時間戳開始消費 kafka 數據
一、需求 從指定時間戳（比如 2 小時前）開始消費 Kafka 數據 二、思路 我們知道通過 Kafka 的 API 可以得到指定時間戳對應數據...
-
CDK &CDS 安裝
一、下載安裝包 http://archive.cloudera.com/kafka/parcels/4.1.0/ http://archive....
-
kafka單機安裝部署
一、環(huán)境準備 kafka-2.2.1-kafka4.1.0.tar.gz 已經安裝好zookeeper環(huán)境 kafka-eagle-bin-1....
-
hadoop,spark中使用lzo
一、環(huán)境準備 hadoop-2.6.0-cdh5.15.1并支持壓縮(參考:hadoop安裝文檔) lzo jar包(下載地址:lzo jar下...
-
Azkaban安裝部署及使用一、介紹 Azkaban是LinkedIn開源的任務調度框架，類似于JavaEE中的JBPM和Activiti工作流框架.如ETL的過程，Sqo...