一、DDL操作 1.1 create操作 primary key主鍵(可選) clickhouse中的主鍵，和其他數(shù)據(jù)庫不太一樣，它只提供了數(shù)據(jù)的一級索引，但是卻不是唯一約束...
IP屬地：北京
-
ClickHouse——SQL操作 -
clickhouse使用一些優(yōu)化和經(jīng)驗
一些經(jīng)驗 1，查詢強烈要求帶上分區(qū)鍵過濾和主鍵過濾，如 where day = today() and itime = now()。 2，建表的時候，選擇合適的分區(qū)鍵和...
-
Flink1.14.4 集群安裝前言 因公司需要驗證FlinkCDC的能力，而且要求按照最終的生產(chǎn)模式去部署，因此對安裝過程做個記錄，小白請多指教~ 一、集群規(guī)劃 二、部署Flink集群 1.版本選擇 2....
-
hive 外部表映射 es
背景：公司有需求將hive數(shù)據(jù)導入es，之前是通過datax進行導數(shù)的；但是datax多線程很耗內(nèi)存，并且經(jīng)常性會出現(xiàn)一些程序上的問題。故想要使用hive外部表映射es的方式...
-
flink實戰(zhàn)-使用廣播實現(xiàn)報警閾值動態(tài)更新
使用CEP進行網(wǎng)站監(jiān)控報警和報警恢復 flink CEP 簡介 flink CEP（Complex event processing），是在Flink之上實現(xiàn)的復雜事件處理庫...
-
Spark SQL：map操作連環(huán)報錯記錄（too many elements for tuple，ClassNotFoundException: scala.Any，<refinement>
摘要：Spark SQL，Scala 由于Scala限制Tuple最大元素為22個導致的血案 問題復現(xiàn) 實際的業(yè)務場景是使用Spark SQL加工數(shù)倉的表，由于邏輯比較復雜如...
-
Spark架構模式與Flink的對比Spark架構模式與Flink的對比 Spark和Flink都屬于流批一體的分布式計算引擎。Flink屬于流處理框架，通過流來模擬批，Spark屬于批處理框架，通過批來模擬流...
-
Flink 批處理算子詳解
批處理程序的結果 獲取運行時 添加Source 定義算子轉換函數(shù) 定義Sink 啟動程序 source 定義 // 遞歸定義整個目錄下的所有文件 算子 Aggregate 連...
-
Flink面試八股文-1(持續(xù)更新)
1. 簡單介紹一下Flink Flink是一個面向流處理和批處理的分布式數(shù)據(jù)計算引擎，能夠基于同一個Flink運行，可以提供流處理和批處理兩種類型的功能。 在 Flink 的...
-
flinksql - operator - udf
概念 自定義標量函數(shù)，接收一個或多個列，輸出一個列，行與行是一一對應的 構造函數(shù)在jobmanager上創(chuàng)建udf時就執(zhí)行 open方法在所有并行子任務上都執(zhí)行一次，且在調用...
-
請問不用輸入密碼嗎
Python鏈接Hive讀取數(shù)據(jù)的幾種方式
R和Python是數(shù)據(jù)分析人員常用的兩個工具, 筆主在R通過RJDBC鏈接Hive 介紹了R如何鏈接Hive, 今天換Python. 以下有幾種鏈接方式, 標題均包含了官方鏈...
-
Hive自定義UDF、UDTF（initialize部分源碼解析）這里分析Hive中部分UDF及UDTF函數(shù)的源碼并依此進行自定義 1.UDF 這里UDF以Upper方法為例 此方法會將傳入的字符串變?yōu)榇髮懞蠓祷?代碼如下： 該類主要繼承了...
