一、DDL操作 1.1 create操作 primary key主鍵(可選) clickhouse中的主鍵，和其他數(shù)據(jù)庫不太一樣，它只提供了數(shù)據(jù)的一級(jí)索引，但是卻不是唯一約束...
IP屬地：北京
-
ClickHouse——SQL操作 -
clickhouse使用一些優(yōu)化和經(jīng)驗(yàn)
一些經(jīng)驗(yàn) 1，查詢強(qiáng)烈要求帶上分區(qū)鍵過濾和主鍵過濾，如 where day = today() and itime = now()。 2，建表的時(shí)候，選擇合適的分區(qū)鍵和...
-
Flink1.14.4 集群安裝前言 因公司需要驗(yàn)證FlinkCDC的能力，而且要求按照最終的生產(chǎn)模式去部署，因此對(duì)安裝過程做個(gè)記錄，小白請(qǐng)多指教~ 一、集群規(guī)劃 二、部署Flink集群 1.版本選擇 2....
-
hive 外部表映射 es
背景：公司有需求將hive數(shù)據(jù)導(dǎo)入es，之前是通過datax進(jìn)行導(dǎo)數(shù)的；但是datax多線程很耗內(nèi)存，并且經(jīng)常性會(huì)出現(xiàn)一些程序上的問題。故想要使用hive外部表映射es的方式...
-
flink實(shí)戰(zhàn)-使用廣播實(shí)現(xiàn)報(bào)警閾值動(dòng)態(tài)更新
使用CEP進(jìn)行網(wǎng)站監(jiān)控報(bào)警和報(bào)警恢復(fù) flink CEP 簡介 flink CEP（Complex event processing），是在Flink之上實(shí)現(xiàn)的復(fù)雜事件處理庫...
-
Spark SQL：map操作連環(huán)報(bào)錯(cuò)記錄（too many elements for tuple，ClassNotFoundException: scala.Any，<refinement>
摘要：Spark SQL，Scala 由于Scala限制Tuple最大元素為22個(gè)導(dǎo)致的血案 問題復(fù)現(xiàn) 實(shí)際的業(yè)務(wù)場(chǎng)景是使用Spark SQL加工數(shù)倉的表，由于邏輯比較復(fù)雜如...
-
Spark架構(gòu)模式與Flink的對(duì)比Spark架構(gòu)模式與Flink的對(duì)比 Spark和Flink都屬于流批一體的分布式計(jì)算引擎。Flink屬于流處理框架，通過流來模擬批，Spark屬于批處理框架，通過批來模擬流...
-
Flink 批處理算子詳解
批處理程序的結(jié)果 獲取運(yùn)行時(shí) 添加Source 定義算子轉(zhuǎn)換函數(shù) 定義Sink 啟動(dòng)程序 source 定義 // 遞歸定義整個(gè)目錄下的所有文件 算子 Aggregate 連...
-
Flink面試八股文-1(持續(xù)更新)
1. 簡單介紹一下Flink Flink是一個(gè)面向流處理和批處理的分布式數(shù)據(jù)計(jì)算引擎，能夠基于同一個(gè)Flink運(yùn)行，可以提供流處理和批處理兩種類型的功能。 在 Flink 的...
