記錄點(diǎn)滴，希望能幫助到別人！
發(fā)簡信
IP屬地：北京
-
寫的非常好,就是worker節(jié)點(diǎn)數(shù)量怎么確定啊?
[譯]運(yùn)行在YARN上的Spark程序的Executor，Cores和Memory的分配
好久沒更新了，。。。太懶了。 在跑Spark-On-Yarn程序的時候，往往會對幾個參數(shù)（num-executors，executor-cores，executor-memo...
-
-
將來的你，一定會感謝現(xiàn)在拼命努力的自己
-
目前從事大數(shù)據(jù)開發(fā)工作，使用語言java、scala和python
-
去看那盡頭一眼...<br><a href="https://links.jianshu.com/go?to=http%3A%2F%2Fdiscipled.me%2F" target="_blank">http://discipled.me/</a>
-
Hadoop總結(jié)Linux 1. 問題：Linux常用命令 參考答案：find、df、tar、ps、top、netstat等。（盡量說一些高級命令） 2. 問題：Linux查看內(nèi)存、磁盤存儲...
-
8、Flume高階自定義組件_Flume自定義Sink
1.1．自定義Sink說明 需求如下：從網(wǎng)絡(luò)端口當(dāng)中發(fā)送數(shù)據(jù)，自定義sink，使用sink從網(wǎng)絡(luò)端口接收數(shù)據(jù)，然后將數(shù)據(jù)保存到本地文件當(dāng)中去。 1.2．自定義Sink原理實(shí)現(xiàn)...
-
7、Flume高階自定義組件_Flume自定義Source1.1．自定義Source說明 官方提供了自定義source的接口說明： https://flume.apache.org/FlumeDeveloperGuide.html#...
-
6、Flume攔截器_Flume自定義攔截器1．背景介紹 Flume提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。Flume有各種自帶的攔截器，比如：TimestampInterceptor、HostI...
-
5、Flume攔截器_日志的采集和匯總1.案例場景 現(xiàn)在要求：把A、B 機(jī)器中的access.log、nginx.log、web.log 采集匯總到C機(jī)器上然后統(tǒng)一收集到hdfs中。但是在hdfs中要求的目錄為：...
-
4、Flume的高階特性1．load-balance負(fù)載均衡 a1.sinkgroups = g1a1.sinkgroups.g1.sinks = k1 k2 k3a1.sinkgroups.g1....
-
3.Flume簡單案例
1．采集目錄到HDFS 采集需求：服務(wù)器的某特定目錄下，會不斷產(chǎn)生新的文件，每當(dāng)有新文件出現(xiàn)，就需要把文件采集到HDFS中去根據(jù)需求，首先定義以下3大要素采集源，即sourc...
-
2.Flume安裝部署
1.Flume的安裝過程 1.上傳安裝包到數(shù)據(jù)源所在節(jié)點(diǎn)上2.然后解壓 tar -zxvf apache-flume-1.8.0-bin.tar.gz3.然后進(jìn)入flume...
-
1.Apache Flume介紹1.概述 2.運(yùn)行機(jī)制 每一個agent相當(dāng)于一個數(shù)據(jù)傳遞員，內(nèi)部有三個組件：Source：采集源，用于跟數(shù)據(jù)源對接，以獲取數(shù)據(jù)；Sink：下沉地，采集數(shù)據(jù)的傳送目的，用于往...
