flume也很靈活,配置也簡(jiǎn)單
Flume日志采集系統(tǒng)與Logstash對(duì)比Flume日志采集系統(tǒng)——初體驗(yàn)(Logstash對(duì)比版) 本文就從如下的幾個(gè)方面講述下我的使用心得:初體驗(yàn)——與Logstash的對(duì)比安裝部署啟動(dòng)教程參數(shù)與實(shí)例分析 Flu...
本地調(diào)試出現(xiàn)空指針的解決辦法:
本地調(diào)試的時(shí)候會(huì)出現(xiàn)空指針的情況,這個(gè)是時(shí)候該如何解決呢?
1,下載hadoop包并解壓,解決winutils 的問(wèn)題
2,配置hadoop本地環(huán)境變量
3,程序中設(shè)置System.setProperty("hadoop.home.dir", "D:\\hadoop-2.6.5\\hadoop-2.6.5")
至此問(wèn)題得到解決。
Structured Streaming實(shí)時(shí)讀取kafka數(shù)據(jù)案例我們知道sparkstreaming官方已經(jīng)停止了維護(hù),從spark2.2開始全力打造Structured Streaming,下面我們來(lái)介紹Structured Strea...
package com.ky.produce; import org.apache.kafka.clients.producer.KafkaProducer;import o...
你的pom包版本有問(wèn)題
Structured Streaming實(shí)時(shí)讀取kafka數(shù)據(jù)案例我們知道sparkstreaming官方已經(jīng)停止了維護(hù),從spark2.2開始全力打造Structured Streaming,下面我們來(lái)介紹Structured Strea...
Mysql離線安裝文檔 第一大部分 Linux離線安裝mysql 要用到編譯工具(cmake)以及庫(kù)文件。 可以使用命令查看服務(wù)器上是否已經(jīng)安裝了cmake編譯工具 命令:r...
springboot如何訪問(wèn)windows本地和linux上的外部文件?首先編寫一個(gè)WebMvcConfiguration配置文件類@Configurationpublic ...
spark連接到hive首先要先配置3個(gè)文件,放到idea的resource目錄下,如下:core-site.xml從集群環(huán)境中拉下來(lái)。hdfs-site.xml從環(huán)境中拉下...
// HBase.createTable(table, new String[]{family}, false);final LineIterator ...
需要自定義一個(gè)sink組件,其實(shí)很簡(jiǎn)單,只需要繼承ForeachWriter,實(shí)現(xiàn)相關(guān)的方法即可。class RedisSink extends ForeachWriterR...
springboot整合redis@Configuration@EnableCachingpublic class RedisConfig { } springboot整合k...