IP屬地：北京
-
Flink特性
一、統(tǒng)一的數(shù)據(jù)處理組件棧，不僅能處理流處理，還可以用于批處理，機(jī)器學(xué)習(xí)，可以滿足不同的用戶的需求，對不同形式的計算進(jìn)行了整合。 二、支持時間時間...
-
定期刪除Hive表的過期數(shù)據(jù)
定期刪除Hive表的過期數(shù)據(jù) 由于Hive中有很多表都是每日全量的，數(shù)據(jù)量比較大，有些是可以將過去歷史分區(qū)的數(shù)據(jù)進(jìn)行刪除的，所以需要一個定時執(zhí)行...
-
SparkStreaming延遲監(jiān)控
SparkStreaming延遲監(jiān)控 這篇博客來源于一個慘痛的線上事故經(jīng)歷，我們編寫好SparkStreaming程序清洗行為數(shù)據(jù)，然后每十分鐘...
-
Linux環(huán)境下安裝FLink1.10.0并啟動SQL-client讀取Hive1.2.1的數(shù)據(jù)
Linux環(huán)境下安裝FLink1.10.0并啟動SQL-client讀取Hive數(shù)據(jù) 首先去官網(wǎng)下載Flink1.10.0的tgz的包，教程如上...
-
Window10安裝Flink1.10.0-大坑
Window10安裝Flink1.10.0 基本可以確定在window10安裝Flink1.10.0啟動時會出問題，特別惡心，目前無法修復(fù)，現(xiàn)在...
-
Flink1.10.0讀取并插入Hive1.2.1
FLink讀取+插入Hive數(shù)據(jù)入坑指南 Flink1.9以上版本可以使用hivecatalog讀取Hive數(shù)據(jù)，但是1.9對于Hive的版本支...
-
Flink1.9.1寫入Hbase1.1.2
這次試手Flink從kafka讀數(shù)據(jù)寫入hbase，遇到了很大的坑 1.我的程序是用Flink 1.9.1從本地kafka讀取數(shù)據(jù)，寫到本地hb...
-
元數(shù)據(jù)
1.元數(shù)據(jù)的定義： 元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)，元數(shù)據(jù)打通了源數(shù)據(jù)、數(shù)據(jù)倉庫、數(shù)據(jù)應(yīng)用、記錄了數(shù)據(jù)從產(chǎn)生到消費(fèi)的全過程。元數(shù)據(jù)主要記錄數(shù)據(jù)倉庫中魔性...
-
2019-08-22 Windows 安裝 mysql 8.0.171.去官網(wǎng)下載MySQL安裝包 鏈接：https://dev.mysql.com/downloads/mysql/ 2.解壓到對應(yīng)的路徑下，創(chuàng)建...