發(fā)簡(jiǎn)信
IP屬地：廣東
-
windows本機(jī)搭建Hadoop環(huán)境
記錄一下整個(gè)過(guò)程： 一、下載Hadoop安裝包 官網(wǎng)下載Hadoop 2.6，并配置相關(guān)環(huán)境變量，自行百度 下載hadooponwindows-...
-
kettle8.0源碼編譯kettle作為一款開(kāi)源etl工具，在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域的應(yīng)用還算是比較廣泛的，做過(guò)數(shù)倉(cāng)的朋友應(yīng)該都知道，在做etl開(kāi)發(fā)的時(shí)候，對(duì)于參數(shù)變量的引用是時(shí)...
-
接入es數(shù)據(jù)到hdfs
最近接到一個(gè)需求，需要接入es日志數(shù)據(jù)到hdfs，進(jìn)行分析，網(wǎng)上查找了一下資料，總結(jié)一下方法大致有如下幾種 hive本身直接支持連接es可直接參...
-
Flume實(shí)時(shí)接入
今天花了半天時(shí)間抽空看了一下flume實(shí)時(shí)接入，結(jié)合數(shù)據(jù)倉(cāng)庫(kù)中有部分報(bào)表有著準(zhǔn)實(shí)時(shí)刷新的需求，需要抽數(shù)階段近乎實(shí)時(shí)，為后面統(tǒng)計(jì)計(jì)算節(jié)省時(shí)間。雖然...
-
【數(shù)據(jù)倉(cāng)庫(kù)】元數(shù)據(jù)血緣分析
現(xiàn)在數(shù)據(jù)倉(cāng)庫(kù)基本上采用Hadoop平臺(tái)了，那么數(shù)據(jù)倉(cāng)庫(kù)里面元數(shù)據(jù)的血緣分析的思路有哪些呢 基本上有下面這兩種思路： 1、解析hql腳本，通過(guò)正則...
-
本機(jī)調(diào)試spark程序一、idea新建maven項(xiàng)目，配置pom.xml 二、下載jar包hadoop-common-2.2.0-bin-master.zip 下載地...
-
spark使用JavaAPI統(tǒng)計(jì)文本出現(xiàn)的字符頻率最高的前五package com.neo.spark; import org.apache.spark.SparkConf; import org.apa...
-
idea 打包Java程序最近開(kāi)始學(xué)習(xí)Java，年紀(jì)大了，感覺(jué)學(xué)起東西來(lái)，有點(diǎn)力不從心了，好在經(jīng)過(guò)努力和同事的幫助下，順利的解決了問(wèn)題。 idea工具打包的流程： 1、F...