發(fā)簡(jiǎn)信
IP屬地：上海
-
該如何設(shè)計(jì)數(shù)倉(cāng)的匯總層(DWS)
關(guān)于數(shù)據(jù)倉(cāng)庫(kù)的分層，似乎大家都有一個(gè)共同的認(rèn)識(shí)。但涉及到每一層該如何去建模，可能每個(gè)人都有自己的理解。數(shù)據(jù)建模，毫無(wú)疑問(wèn)是數(shù)倉(cāng)建設(shè)的重中之重，然...
-
實(shí)時(shí)數(shù)倉(cāng)|以u(píng)psert的方式讀寫(xiě)Kafka數(shù)據(jù)——以Flink1.12為例
在某些場(chǎng)景中，比如GROUP BY聚合之后的結(jié)果，需要去更新之前的結(jié)果值。這個(gè)時(shí)候，需要將 Kafka 消息記錄的 key 當(dāng)成主鍵處理，用來(lái)確...
-
Flink on Hive構(gòu)建流批一體數(shù)倉(cāng)
Flink使用HiveCatalog可以通過(guò)批或者流的方式來(lái)處理Hive中的表。這就意味著Flink既可以作為Hive的一個(gè)批處理引擎，也可以通...
-
Flink集成Hive之Hive Catalog與Hive Dialect--以Flink1.12
在上一篇分享Flink集成Hive之快速入門(mén)--以Flink1.12為例[https://mp.weixin.qq.com/s/99ehmNzJ...
-
Flink集成Hive之快速入門(mén)--以Flink1.12為例
使用Hive構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)已經(jīng)成為了比較普遍的一種解決方案。目前，一些比較常見(jiàn)的大數(shù)據(jù)處理引擎，都無(wú)一例外兼容Hive。Flink從1.9開(kāi)始支持...
-
數(shù)倉(cāng)開(kāi)發(fā)需要了解的5大SQL分析函數(shù)
基本語(yǔ)法 analytic_function_name: 函數(shù)名稱(chēng) — 比如 RANK(), SUM(), FIRST()等等 partitio...
-
第十一篇|基于SparkSQL的電影分析項(xiàng)目實(shí)戰(zhàn)在之前的分享中，曾系統(tǒng)地介紹了Spark的基本原理和使用方式，感興趣的可以翻看之前的分享文章。在本篇分享中，將介紹一個(gè)完整的項(xiàng)目案例，該案例會(huì)真...
-
篇五|ClickHouse數(shù)據(jù)導(dǎo)入(Flink、Spark、Kafka、MySQL、Hive)
本文分享主要是ClickHouse的數(shù)據(jù)導(dǎo)入方式，本文主要介紹如何使用Flink、Spark、Kafka、MySQL、Hive將數(shù)據(jù)導(dǎo)入Clic...
-
篇四|ClickHouse的可視化界面與集群狀態(tài)監(jiān)控介紹 tabix支持通過(guò)瀏覽器直接連接 ClickHouse，不需要安裝其他軟件，就可以訪問(wèn)ClickHouse，具有以下特點(diǎn)： ?亮語(yǔ)法的編輯...
個(gè)人介紹