介紹 最近涉及 Nginx 輸出的埋點日志,實時接入 Kafka,我需要實時解析 Kafka 中埋點日志,但是在解析過程中,出現(xiàn) \x22 這樣的字符,使我不能將字符串解析...
介紹 最近涉及 Nginx 輸出的埋點日志,實時接入 Kafka,我需要實時解析 Kafka 中埋點日志,但是在解析過程中,出現(xiàn) \x22 這樣的字符,使我不能將字符串解析...
概述 Java 中的 final 關(guān)鍵字非常重要,它可以應用與類、方法以及變量。這篇文章中我將帶你看看: 什么是 final 關(guān)鍵字? 將變量、方法和類聲明為 final 代...
不可變類介紹 不可變類: 所謂的不可變類是指這個類的實例一旦創(chuàng)建完成后,就不能修改其成員變量值。如JDK 內(nèi)部自帶的很多不可變類:Integer、Long 和 String ...
說明 最近在做 Hive 事實表 left join 多張維表時,出現(xiàn)了部分數(shù)據(jù)丟失的情況(結(jié)果表數(shù)據(jù)量比原始事實表少 10000 多條),針對該問題研究,讓我對 SQL o...
說明 在最近的項目中,需要將最終生成的 Hive 表數(shù)據(jù)導出到文件中,具體實現(xiàn)請參見下方 SQL。 查詢結(jié)果導入到 hdfs 文件 一般方式: 自定義輸出樣式方式: 查詢結(jié)果...
說明 在最近的項目中,時間數(shù)據(jù)是以秒的形式展現(xiàn)的,需要將時間轉(zhuǎn)換成 UTC + 0800 的形式,才有了如下代碼。 代碼實現(xiàn)
問題展示 在 Scala 編程中經(jīng)常會使用 Java 的集合類型,但是使用中會出現(xiàn)如下錯誤: java.util.List[String] 2.java.util.Set[S...
Apache Flink社區(qū)很高興地宣布Apache Flink 1.7.0。最新版本包括超過420個已解決的問題以及Flink的一些令人興奮的新增內(nèi)容,我們將在本文的以下部...
rz和sz 的安裝及使用簡介 rz,sz 是 Linux/Unix 同 Windows 進行 ZModem 文件傳輸?shù)拿钚泄ぞ?。?yōu)點:不用再打開一個 sftp 工具登錄上去上傳下載文件。 rz:運...
基本用法 Shell 的 if 語法 和 C 語言等高級語言非常相似,唯一需要注意的地方就是 Shell 的 if 語句對空格方面的要求比較嚴格(其實 Shell 對所有語法...
job的配置 Job基本配置Job基本配置定義了一個Job基礎(chǔ)的、框架級別的配置信息,包括: Job Setting配置 job.setting.speed(流量控制)Job...
如何在 MySQL 通過一個 SQL 語句,實現(xiàn)從多個表中組合字段然后插入到一個新表中。具體情形是:有三張表 a、b、c,現(xiàn)在需要從表 b 和 表 c 中分別查幾個字段的值插...
快速介紹 HdfsWriter 提供向 HDFS 文件系統(tǒng)指定路徑中寫入 TEXTFILE 文件和 ORCFile 文件,文件內(nèi)容可與 Hive 表關(guān)聯(lián)。 功能限制 (1) ...
快速介紹 MysqlReader 插件實現(xiàn)了從 MySQL 讀取數(shù)據(jù)。在底層實現(xiàn)上,MysqlReader 通過 JDBC 連接遠程 MySQL 數(shù)據(jù)庫,并執(zhí)行相應的 SQL...
概述 最近項目使用到 PD ,在使用PD 的實體模型時,多個實體中不能出現(xiàn)重名屬性的問題,下方是解決方案。 操作 1.菜單欄:Tools——>Model Options 2....
概述 ETL是BI項目最重要的一個環(huán)節(jié),通常情況下ETL會花掉整個項目的1/3的時間,ETL設(shè)計的好壞直接關(guān)接到BI項目的成敗。ETL也是一個長期的過程,只有不斷的發(fā)現(xiàn)問題并...
刪除文件第一行記錄,即字段名稱 處理的文件第一行都是字段名稱,我們在文件中的數(shù)據(jù)導入到數(shù)據(jù)倉庫Hive中時,不需要第一行字段名稱,因此,這里在做數(shù)據(jù)預處理時,刪除第一行。命令...
概述 在Linux的grep命令中如何使用or,and,not操作符呢? 其實,在grep命令中,有or和not操作符的等價選項,但是并沒有g(shù)rep and這種操作符。不過呢...