一、統(tǒng)一的數(shù)據(jù)處理組件棧，不僅能處理流處理，還可以用于批處理，機器學(xué)習(xí)，可以滿足不同的用戶的需求，對不同形式的計算進行了整合。 二、支持時間時間，接入時間，處理時間等時間概念...
IP屬地：北京
-
定期刪除Hive表的過期數(shù)據(jù)
定期刪除Hive表的過期數(shù)據(jù) 由于Hive中有很多表都是每日全量的，數(shù)據(jù)量比較大，有些是可以將過去歷史分區(qū)的數(shù)據(jù)進行刪除的，所以需要一個定時執(zhí)行的腳本，定時刪除前七天的過期數(shù)...
-
SparkStreaming延遲監(jiān)控
SparkStreaming延遲監(jiān)控 這篇博客來源于一個慘痛的線上事故經(jīng)歷，我們編寫好SparkStreaming程序清洗行為數(shù)據(jù)，然后每十分鐘往Hive寫一次，大家都以為任...
-
Linux環(huán)境下安裝FLink1.10.0并啟動SQL-client讀取Hive1.2.1的數(shù)據(jù)
Linux環(huán)境下安裝FLink1.10.0并啟動SQL-client讀取Hive數(shù)據(jù) 首先去官網(wǎng)下載Flink1.10.0的tgz的包，教程如上篇文章上半部分流程一樣，然后配...
-
Window10安裝Flink1.10.0-大坑
Window10安裝Flink1.10.0 基本可以確定在window10安裝Flink1.10.0啟動時會出問題，特別惡心，目前無法修復(fù)，現(xiàn)在講一講我的踩坑經(jīng)歷。 首先我們...
-
Flink1.10.0讀取并插入Hive1.2.1
FLink讀取+插入Hive數(shù)據(jù)入坑指南 Flink1.9以上版本可以使用hivecatalog讀取Hive數(shù)據(jù)，但是1.9對于Hive的版本支持不太友好，只支持2.3.4和...
-
Flink1.9.1寫入Hbase1.1.2
這次試手Flink從kafka讀數(shù)據(jù)寫入hbase，遇到了很大的坑 1.我的程序是用Flink 1.9.1從本地kafka讀取數(shù)據(jù)，寫到本地hbase，本地zookeeper...
-
-
元數(shù)據(jù)
1.元數(shù)據(jù)的定義： 元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，元數(shù)據(jù)打通了源數(shù)據(jù)、數(shù)據(jù)倉庫、數(shù)據(jù)應(yīng)用、記錄了數(shù)據(jù)從產(chǎn)生到消費的全過程。元數(shù)據(jù)主要記錄數(shù)據(jù)倉庫中魔性的定義、各層級間的映射關(guān)系、監(jiān)...
-
數(shù)據(jù)開發(fā)、數(shù)據(jù)分析、數(shù)據(jù)挖掘、算法研究、數(shù)據(jù)產(chǎn)品！
-
-
Go資料的一些筆記，常用包的介紹和例子，沒有編程基礎(chǔ)也可食用 (投稿一直沒處理可以給管理員發(fā)私信，一般會盡量盡早處理的，多謝支持）
-
產(chǎn)品經(jīng)理 on the GO!
