1、ETL數(shù)據(jù)架構(gòu)層次 2、建表規(guī)范 3、命名規(guī)范 4、作業(yè)開發(fā)規(guī)范 注釋： 作業(yè)說明是一種注釋,位于作業(yè)最開始部分。作業(yè)說明有助于提高代碼的可讀性和可維護(hù)性。注釋放置在界面...
發(fā)簡(jiǎn)信
IP屬地：北京
-
ETL開發(fā)規(guī)范 -
-
Spark RDD 編程指南(官方文檔中文版+補(bǔ)充)
Spark RDD 編程指南(官方文檔中文版+補(bǔ)充) 1.總覽 Spark 提供的主要抽象是彈性分布式數(shù)據(jù)集(RDD),它是跨集群節(jié)點(diǎn)劃分的元素的集合，可以并行操作。通過從h...
-
idea 使用maven的archetype模板來創(chuàng)建Spark 項(xiàng)目
目錄 [toc] 版本 Scala 版本：2.11.8 spark 版本：spark-2.4.4-bin-hadoop2.7.tgz 一、創(chuàng)建Scala 工程 1. 創(chuàng)建ma...
-
DataX 數(shù)據(jù)全量，增量同步方案關(guān)于DataX 增量更新實(shí)現(xiàn) 注：參考來源文章 增量更新總體思路：從目標(biāo)數(shù)據(jù)庫(kù)讀取一個(gè)最大值的記錄，可以是DataTime 或者 RowVersion 類型，然后根據(jù)這個(gè)最大...
-
-
使用maven的模板archetype 來創(chuàng)建scala項(xiàng)目
文檔參考：https://docs.scala-lang.org/tutorials/scala-with-maven.html new project--->maven--...
-
Flume實(shí)戰(zhàn)(1)—single agent flow的實(shí)現(xiàn)1.理論基礎(chǔ) 需要注意的是： 一個(gè)source可以對(duì)接多個(gè)channel 一個(gè)sink只能對(duì)接一個(gè)channel 實(shí)現(xiàn)一個(gè)數(shù)據(jù)流的需求關(guān)鍵點(diǎn)就在于source和sink類型的...
-
-
sqoop 1.99.7 導(dǎo)入導(dǎo)出數(shù)據(jù)準(zhǔn)備要導(dǎo)入的數(shù)據(jù) mysql創(chuàng)建表并插入數(shù)據(jù) 準(zhǔn)備要導(dǎo)出的數(shù)據(jù) customer.csv 上傳到hdfs 任意目錄 啟動(dòng)相關(guān)服務(wù) 首先保證SQOOP_SERVER_EXTRA...
-
Hive開發(fā)環(huán)境搭建1. 安裝Hive 1.1準(zhǔn)備工作 Hive官網(wǎng)：https://hive.apache.org/ 下載hive，如（ apache-hive-2.3.3-bin.tar.g...
-
在eclipse 中構(gòu)建hadoop
1.添加hadoop插件 hadoop-eclipse-plugin-2.7.0.jar放入eclipse\plugins hadoop-eclipse-plugin-2.7...
-
java環(huán)境變量配置
1.安裝JDK jdk 下載地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 注意查...
-
大數(shù)據(jù)開發(fā)環(huán)境軟件安裝1.java 相關(guān) 1.安裝jdk IntelliJ idea,eclipse Tomcat ：開源免費(fèi)的jsp服務(wù)器 Maven ：java項(xiàng)目中jar包管理工具,mave...
-
襲明 ·基本上很多有這問題的人都是懶，死死在等，男的女的都一樣，從不主動(dòng)去找，主動(dòng)去學(xué)如何去愛。愛是動(dòng)詞。
天嘩 評(píng)論自這個(gè)社會(huì)正把單身男女逼上絕路 -
花上10分鐘跟我學(xué)PPT手繪字!前段時(shí)間寫了一篇文章，和大家探討如何做手繪風(fēng)PPT，受到大家的喜愛。 有些朋友私信問我，字體能不能做成手繪的？ 既然都做了手繪風(fēng)的PPT了，為什么字體不能手繪呢？今天欣星就和...
-
《攝影》專題介紹 用文字記錄美好生活 用鏡頭捕捉精彩瞬間 攝影，發(fā)現(xiàn)生活中的美！ 本專題收錄文章方向： 1.風(fēng)光攝影、人像攝影、記錄攝影、藝術(shù)攝影、畫意攝影、商業(yè)攝影、水墨攝影等； 2.攝影技巧，后期技巧，攝影器材測(cè)評(píng)等； 3.手機(jī)拍攝、專業(yè)攝影器材拍攝均可； 4.文章須為原創(chuàng)，不得抄襲，如有抄襲行為，后果自負(fù)。 投稿須知詳見： 《攝影》專題投稿須知 http://www.itdecent.cn/p/3dcbd7ac31f4 專題主編：伩天游 http://www.itdecent.cn/u/f5112cf64af7
