@誓言vip 開(kāi)源出來(lái)的東西得有資源快速迭代，我們正在積蓄力量
一站式大數(shù)據(jù)平臺(tái)XSailboat簡(jiǎn)介--Hadoop、Hive、Flink、DataStudio、數(shù)據(jù)服務(wù)、API網(wǎng)關(guān)、認(rèn)證中心、數(shù)據(jù)可視化、離線(xiàn)分析、實(shí)時(shí)計(jì)算、應(yīng)用引擎等1. 引言 從2021年年底開(kāi)始，筆者帶領(lǐng)一個(gè)微型團(tuán)隊(duì)開(kāi)始開(kāi)發(fā)我們的大數(shù)據(jù)平臺(tái)XSailboat，目前已經(jīng)初步具備實(shí)用化條件，產(chǎn)品將持續(xù)性地開(kāi)發(fā)、完善、迭代升級(jí)。 在接下來(lái)的...
1. 背景 筆者的開(kāi)發(fā)大數(shù)據(jù)平臺(tái)XSailboat[http://www.itdecent.cn/p/cacdcf5ec088]中包含基于Flink的可視化計(jì)算管道開(kāi)發(fā)和運(yùn)...
1. 背景 在開(kāi)發(fā)大數(shù)據(jù)平臺(tái)XSailboat[http://www.itdecent.cn/p/cacdcf5ec088]中的查看Flink任務(wù)的狀態(tài)數(shù)據(jù)工具時(shí)，用Sta...
1. 問(wèn)題 在resourcemanager.log中出現(xiàn)下面的異常： 2. 代碼分析 分析查看源代碼 類(lèi)org.apache.hadoop.yarn.server.time...
1. 背景 在開(kāi)發(fā)大數(shù)據(jù)平臺(tái)XSailboat[http://www.itdecent.cn/p/cacdcf5ec088]中的查看Flink任務(wù)的狀態(tài)數(shù)據(jù)工具時(shí)，用Sta...
1. 引言 筆者早年間有很長(zhǎng)一段時(shí)間都在阿里云DataWorks上帶著團(tuán)隊(duì)進(jìn)行數(shù)據(jù)開(kāi)發(fā)，后來(lái)因?yàn)橐粋€(gè)契機(jī)自己搞起了大數(shù)據(jù)平臺(tái)XSailboat[https://www.jia...
1. 何為數(shù)據(jù)治理 數(shù)據(jù)治理是為了讓數(shù)據(jù)在形式上和質(zhì)量上更好地達(dá)成某一數(shù)據(jù)應(yīng)用目標(biāo)而進(jìn)行的數(shù)據(jù)集成、數(shù)據(jù)整理、數(shù)據(jù)分析、數(shù)據(jù)修繕、數(shù)據(jù)發(fā)布，數(shù)據(jù)應(yīng)用的過(guò)程。 2. 為什么需要...
1. 引言 從2021年年底開(kāi)始，筆者帶領(lǐng)一個(gè)微型團(tuán)隊(duì)開(kāi)始開(kāi)發(fā)我們的大數(shù)據(jù)平臺(tái)XSailboat，目前已經(jīng)初步具備實(shí)用化條件，產(chǎn)品將持續(xù)性地開(kāi)發(fā)、完善、迭代升級(jí)。 在接下來(lái)的...
5、GB/T 38673-2020 信息技術(shù) 大數(shù)據(jù) 大數(shù)據(jù)系統(tǒng)基本要求（1）了解本標(biāo)準(zhǔn)的范圍、術(shù)語(yǔ)和定義，熟悉大數(shù)據(jù)系統(tǒng)框架、功能要求、非功能要求。 3. 術(shù)語(yǔ)和定義 GB...
1. 背景 筆者正在開(kāi)發(fā)大數(shù)據(jù)平臺(tái)(XSailboat)中的指標(biāo)建模工具(SailIMS)。以此篇文檔梳理一下其中一部分關(guān)鍵性的功能設(shè)計(jì)。內(nèi)容重點(diǎn)不在解釋各種理論和方法，而是...
4、GB/T 38667-2020 信息技術(shù) 大數(shù)據(jù) 數(shù)據(jù)分類(lèi)指南（1）了解本標(biāo)準(zhǔn)的范圍、術(shù)語(yǔ)和定義，熟悉數(shù)據(jù)分類(lèi)的過(guò)程，以及分類(lèi)視角、分類(lèi)維度和分類(lèi)方法。 3. 術(shù)語(yǔ)和定義...
3、GB/T 37973-2019 信息安全技術(shù) 大數(shù)據(jù)安全管理指南（1）了解本標(biāo)準(zhǔn)的范圍、術(shù)語(yǔ)和定義，了解大數(shù)據(jù)安全需求、大數(shù)據(jù)分類(lèi)分級(jí)、大數(shù)據(jù)活動(dòng)及安全要求、大數(shù)據(jù)安全風(fēng)...
2、GB/T 35589-2017 信息技術(shù) 大數(shù)據(jù)技術(shù)參考模型（1）了解本標(biāo)準(zhǔn)的范圍、術(shù)語(yǔ)和定義，熟悉大數(shù)據(jù)參考架構(gòu)的目的、目標(biāo)，熟悉大數(shù)據(jù)參考架構(gòu)及其各組成部分。 1.范...
1、GB/T 35295-2017 信息技術(shù) 大數(shù)據(jù) 術(shù)語(yǔ)（1）了解本標(biāo)準(zhǔn)的范圍、術(shù)語(yǔ)和定義，以及密切相關(guān)的通用術(shù)語(yǔ)。 2.1.1 大數(shù)據(jù) big data具有體量巨大、來(lái)源...
1、《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》國(guó)發(fā)〔2015〕50 號(hào)（1）熟悉數(shù)據(jù)共享的范圍邊界和使用方式。 (一)加快政府?dāng)?shù)據(jù)開(kāi)放共享，推動(dòng)資源整合，提升治理能力。1、大力推動(dòng)政府部門(mén)數(shù)...
1、《中華人民共和國(guó)民法典》中華人民共和國(guó)主席令第四十五號(hào)（1）了解隱私權(quán)和個(gè)人信息保護(hù)有關(guān)內(nèi)容。 第六章 隱私權(quán)和個(gè)人信息保護(hù)第一千零三十二條自然人享有隱私權(quán)。任何組織或者...
1. 背景 ??在筆者開(kāi)發(fā)的大數(shù)據(jù)平臺(tái)(XSailboat)中，包含一個(gè)任務(wù)開(kāi)發(fā)、調(diào)度、監(jiān)控的模塊，叫XTaskWorks。這里的任務(wù)是使用Java，在XTaskFrame框...
1. 環(huán)境信息 java 1.8 SpringBoot 2.4.4 SpringGateway 3.0.5 2. 配置application.properties 證書(shū)生成方...
1. keytool命令 keytool密鑰和證書(shū)管理工具 命令: -certreq 生成證書(shū)請(qǐng)求-changealias 更改條目的別名...
1. 應(yīng)用場(chǎng)景 ??通常用在以文件的形式下載大量數(shù)據(jù)。 2. 寫(xiě)法舉例 3. 擴(kuò)展 ??如果被下載的資源滿(mǎn)足以下條件，則可以先將數(shù)據(jù)寫(xiě)到Temp File，然后返回TempF...