介紹 最近涉及 Nginx 輸出的埋點日志，實時接入 Kafka，我需要實時解析 Kafka 中埋點日志，但是在解析過程中，出現(xiàn) \x22 這樣的字符，使我不能將字符串解析...
發(fā)簡信
IP屬地：山西
-
Java或Scala，如何將\x22這樣的字符轉(zhuǎn)換為字符串？
-
深入理解 Java 中的 final 關(guān)鍵字
概述 Java 中的 final 關(guān)鍵字非常重要，它可以應用與類、方法以及變量。這篇文章中我將帶你看看： 什么是 final 關(guān)鍵字？ 將變量、方法和類聲明為 final 代...
-
Java 不可變類（immutable）機制與 String 的不可變性
不可變類介紹 不可變類： 所謂的不可變類是指這個類的實例一旦創(chuàng)建完成后，就不能修改其成員變量值。如JDK 內(nèi)部自帶的很多不可變類：Integer、Long 和 String ...
-
-
SQL 中 on 條件與 where 條件的區(qū)別說明 最近在做 Hive 事實表 left join 多張維表時，出現(xiàn)了部分數(shù)據(jù)丟失的情況（結(jié)果表數(shù)據(jù)量比原始事實表少 10000 多條），針對該問題研究，讓我對 SQL o...
-
Hive 查詢數(shù)據(jù)導出到本地目錄或 hdfs 的方法
說明 在最近的項目中，需要將最終生成的 Hive 表數(shù)據(jù)導出到文件中，具體實現(xiàn)請參見下方 SQL。 查詢結(jié)果導入到 hdfs 文件 一般方式： 自定義輸出樣式方式： 查詢結(jié)果...
-
Unix 時間戳轉(zhuǎn) UTC 時間
說明 在最近的項目中，時間數(shù)據(jù)是以秒的形式展現(xiàn)的，需要將時間轉(zhuǎn)換成 UTC + 0800 的形式，才有了如下代碼。 代碼實現(xiàn)
-
Scala編程中常見錯誤：Error:(28, 21) value foreach is not a member of java.util.List[String]
問題展示 在 Scala 編程中經(jīng)常會使用 Java 的集合類型，但是使用中會出現(xiàn)如下錯誤： java.util.List[String] 2.java.util.Set[S...
-
Apache Flink 1.7.0 發(fā)布公告
Apache Flink社區(qū)很高興地宣布Apache Flink 1.7.0。最新版本包括超過420個已解決的問題以及Flink的一些令人興奮的新增內(nèi)容，我們將在本文的以下部...
-
rz和sz 的安裝及使用
簡介 rz,sz 是 Linux/Unix 同 Windows 進行 ZModem 文件傳輸?shù)拿钚泄ぞ?。?yōu)點：不用再打開一個 sftp 工具登錄上去上傳下載文件。 rz：運...
-
Shell 中 if 語句的使用
基本用法 Shell 的 if 語法 和 C 語言等高級語言非常相似，唯一需要注意的地方就是 Shell 的 if 語句對空格方面的要求比較嚴格（其實 Shell 對所有語法...
-
DataX 流量和臟數(shù)據(jù)控制
job的配置 Job基本配置Job基本配置定義了一個Job基礎(chǔ)的、框架級別的配置信息，包括： Job Setting配置 job.setting.speed(流量控制)Job...
-
MySQL 中 Insert into select from 的使用
如何在 MySQL 通過一個 SQL 語句，實現(xiàn)從多個表中組合字段然后插入到一個新表中。具體情形是：有三張表 a、b、c，現(xiàn)在需要從表 b 和 表 c 中分別查幾個字段的值插...
-
DataX HdfsWriter 插件文檔
快速介紹 HdfsWriter 提供向 HDFS 文件系統(tǒng)指定路徑中寫入 TEXTFILE 文件和 ORCFile 文件，文件內(nèi)容可與 Hive 表關(guān)聯(lián)。 功能限制 (1) ...
-
MysqlReader 插件文檔
快速介紹 MysqlReader 插件實現(xiàn)了從 MySQL 讀取數(shù)據(jù)。在底層實現(xiàn)上，MysqlReader 通過 JDBC 連接遠程 MySQL 數(shù)據(jù)庫，并執(zhí)行相應的 SQL...
-
Power Designer16.5設(shè)計CDM多個實體屬性不能重名問題概述 最近項目使用到 PD ，在使用PD 的實體模型時，多個實體中不能出現(xiàn)重名屬性的問題，下方是解決方案。 操作 1.菜單欄：Tools——>Model Options 2....
-
ETL設(shè)計詳解（數(shù)據(jù)抽取、清洗與轉(zhuǎn)換）
概述 ETL是BI項目最重要的一個環(huán)節(jié)，通常情況下ETL會花掉整個項目的1/3的時間，ETL設(shè)計的好壞直接關(guān)接到BI項目的成敗。ETL也是一個長期的過程，只有不斷的發(fā)現(xiàn)問題并...
-
Shell ETL 操作
刪除文件第一行記錄，即字段名稱 處理的文件第一行都是字段名稱，我們在文件中的數(shù)據(jù)導入到數(shù)據(jù)倉庫Hive中時，不需要第一行字段名稱，因此，這里在做數(shù)據(jù)預處理時，刪除第一行。命令...
-
grep -v、-e、-E
概述 在Linux的grep命令中如何使用or，and，not操作符呢？ 其實，在grep命令中，有or和not操作符的等價選項，但是并沒有g(shù)rep and這種操作符。不過呢...
