Kafka 認(rèn)證機(jī)制 自 0.9.0.0 版本開始，Kafka 正式引入了認(rèn)證機(jī)制，用于實(shí)現(xiàn)基礎(chǔ)的安全用戶認(rèn)證，這是將 Kafka 上云或進(jìn)行多租戶管理的必要步驟。截止到當(dāng)前...
IP屬地：廣東
-
Kafka 的認(rèn)證機(jī)制 -
Flume Taildir Source源碼修改---監(jiān)聽目錄
一、需求 flume taildir源碼只支持監(jiān)控一級(jí)目錄下的文件，能不能支持監(jiān)聽子目錄下的所有文件flume版本:1.9.0 二、思路 源碼中org.apache.flum...
-
CDH 6.3.1 rpm+http安裝部署
一、準(zhǔn)備工作 1.離線部署主要分為三塊: a.MySQL離線部署 b.CM離線部署 c.Parcel?件離線源部署 2.規(guī)劃 3.下載源 支持的版本：requirements...
-
Spark Streaming 狀態(tài)管理算子的選擇比較
一、updateStateByKey 官方原話: 也即是說它會(huì)統(tǒng)計(jì)全局的key的狀態(tài)，就算沒有數(shù)據(jù)輸入，它也會(huì)在每一個(gè)批次的時(shí)候返回之前的key的狀態(tài) 特點(diǎn): 大數(shù)據(jù)量的時(shí)候...
-
Spark Streaming 從指定時(shí)間戳開始消費(fèi) kafka 數(shù)據(jù)
一、需求 從指定時(shí)間戳（比如 2 小時(shí)前）開始消費(fèi) Kafka 數(shù)據(jù) 二、思路 我們知道通過 Kafka 的 API 可以得到指定時(shí)間戳對(duì)應(yīng)數(shù)據(jù)所在的 segment 的起始...
-
CDK &CDS 安裝
一、下載安裝包 http://archive.cloudera.com/kafka/parcels/4.1.0/ http://archive.cloudera.com/sp...
-
kafka單機(jī)安裝部署
一、環(huán)境準(zhǔn)備 kafka-2.2.1-kafka4.1.0.tar.gz 已經(jīng)安裝好zookeeper環(huán)境 kafka-eagle-bin-1.3.9.tar.gz 二、安裝...
-
hadoop,spark中使用lzo
一、環(huán)境準(zhǔn)備 hadoop-2.6.0-cdh5.15.1并支持壓縮(參考:hadoop安裝文檔) lzo jar包(下載地址:lzo jar下載地址) lzo安裝包(下載地...
-
Azkaban安裝部署及使用一、介紹 Azkaban是LinkedIn開源的任務(wù)調(diào)度框架，類似于JavaEE中的JBPM和Activiti工作流框架.如ETL的過程，Sqoop在凌晨1點(diǎn)從RDBMS中抽...
-
Flume事務(wù)詳解本文基于AvroSource,MemoryChannel,HDFSSink三個(gè)組件，對(duì)Flume數(shù)據(jù)傳輸?shù)氖聞?wù)進(jìn)行分析，如果使用的是其他組件，F(xiàn)lume事務(wù)具體的處理方式將會(huì)...
-
Flume內(nèi)部原理剖析一、概述 Flume將數(shù)據(jù)表示為事件，事件是非常簡(jiǎn)單的數(shù)據(jù)結(jié)構(gòu)，具有一個(gè)主體和一個(gè)報(bào)頭集合，事件的主體是一個(gè)字節(jié)數(shù)組，通常是是Flume傳送過來的負(fù)載，抱頭被標(biāo)記為一個(gè)map...
-
Flume Sink處理器介紹 Sink運(yùn)行器（Sink Runner）運(yùn)行一個(gè)Sink組（Sink Group），Sink組可以含有一個(gè)或多個(gè)Sink。如果組中只存在一個(gè)Sink，那么沒有組將會(huì)更有...
-
flume安裝及使用
一、下載安裝包并解壓 下載地址:http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.15.1.tar.gz解...
-
windows 提交mapreduce程序到y(tǒng)arn上執(zhí)行一、配置 可能會(huì)出現(xiàn)沒有權(quán)限寫hdfs的/tmp路徑,需要設(shè)置環(huán)境變量HADOOP_USER_NMAE=hadoop(hadoop是我的超級(jí)用戶) 二、結(jié)果展示
-
設(shè)計(jì)模式之簡(jiǎn)單工廠模式
一、需求 用任意一種面向?qū)ο笳Z言實(shí)現(xiàn)一個(gè)計(jì)算器控制臺(tái)程序，要求輸入兩個(gè)數(shù)和運(yùn)算符號(hào)，等到結(jié)果。 二、實(shí)現(xiàn) 程序入口 操作父類 操作子類 操作工產(chǎn)類 三、詳解 面向?qū)ο缶幊掏ㄟ^...
-
MapReduce：詳細(xì)介紹Shuffle的執(zhí)行流程一、Shuffle描述 Shuffle的正常意思是洗牌或弄亂，可能大家更熟悉的是Java API里的Collections.shuffle(List)方法，它會(huì)隨機(jī)地打亂參數(shù)...
-
Hadoop wordcount作業(yè)提交流程源碼分析
一、概括: wordcount作業(yè)提交流程,主要集中在JobSubmitter.submitJobInternal中，包括檢測(cè)輸出目錄合法性，設(shè)置作業(yè)提交信息（主機(jī)和用戶），...
-
-
生產(chǎn)檢測(cè)HDFS HA failover 腳本
一、腳本 二、總結(jié) 當(dāng)hdfs failover 之后可以發(fā)送郵件給指定用戶使用crontab 每小時(shí)定時(shí)調(diào)度
