IP屬地：廣西
-
Flink日志采集、集中存儲、可視化查詢實踐1. 背景 筆者的開發(fā)大數(shù)據(jù)平臺XSailboat[http://www.itdecent.cn/p/cacdcf5ec088]中包含基于Fl...
-
本地運行Flink退出時java.nio.file.DirectoryNotEmptyException解決方法1. 背景 在開發(fā)大數(shù)據(jù)平臺XSailboat[http://www.itdecent.cn/p/cacdcf5ec088]中的查看Flink...
-
Hadoop YARN的ResourceManager報錯TableNotFoundException：prod.timelineservice.flowactivity解決
1. 問題 在resourcemanager.log中出現(xiàn)下面的異常： 2. 代碼分析 分析查看源代碼 類org.apache.hadoop.y...
-
Flink連接HDFS出現(xiàn)java.net.UnknownHostException解決辦法
1. 背景 在開發(fā)大數(shù)據(jù)平臺XSailboat[http://www.itdecent.cn/p/cacdcf5ec088]中的查看Flink...
-
Flink的DAG可視化開發(fā)實踐1. 引言 筆者早年間有很長一段時間都在阿里云DataWorks上帶著團(tuán)隊進(jìn)行數(shù)據(jù)開發(fā)，后來因為一個契機(jī)自己搞起了大數(shù)據(jù)平臺XSailboat[...
-
數(shù)據(jù)治理平臺思路1. 何為數(shù)據(jù)治理 數(shù)據(jù)治理是為了讓數(shù)據(jù)在形式上和質(zhì)量上更好地達(dá)成某一數(shù)據(jù)應(yīng)用目標(biāo)而進(jìn)行的數(shù)據(jù)集成、數(shù)據(jù)整理、數(shù)據(jù)分析、數(shù)據(jù)修繕、數(shù)據(jù)發(fā)布，數(shù)據(jù)...
-
一站式大數(shù)據(jù)平臺XSailboat簡介--Hadoop、Hive、Flink、DataStudio、數(shù)據(jù)服務(wù)、API網(wǎng)關(guān)、認(rèn)證中心、數(shù)據(jù)可視化、離線分析、實時計算、應(yīng)用引擎等1. 引言 從2021年年底開始，筆者帶領(lǐng)一個微型團(tuán)隊開始開發(fā)我們的大數(shù)據(jù)平臺XSailboat，目前已經(jīng)初步具備實用化條件，產(chǎn)品將持續(xù)性地開發(fā)...
-
7. 相關(guān)標(biāo)準(zhǔn)(五)-大數(shù)據(jù)系統(tǒng)基本要求5、GB/T 38673-2020 信息技術(shù) 大數(shù)據(jù) 大數(shù)據(jù)系統(tǒng)基本要求（1）了解本標(biāo)準(zhǔn)的范圍、術(shù)語和定義，熟悉大數(shù)據(jù)系統(tǒng)框架、功能要求、非功能...
-
指標(biāo)建模1. 背景 筆者正在開發(fā)大數(shù)據(jù)平臺(XSailboat)中的指標(biāo)建模工具(SailIMS)。以此篇文檔梳理一下其中一部分關(guān)鍵性的功能設(shè)計。內(nèi)容重...