FlinkSQL提供了連接外部數(shù)據(jù)的方法,即通過(guò)建立Flink表與外部數(shù)據(jù)關(guān)聯(lián)起來(lái)。其中最基本的連接方式為普通動(dòng)態(tài)表連接,普通動(dòng)態(tài)表允許讀取外部...
概念 自定義標(biāo)量函數(shù),接收一個(gè)或多個(gè)列,輸出一個(gè)列,行與行是一一對(duì)應(yīng)的 構(gòu)造函數(shù)在jobmanager上創(chuàng)建udf時(shí)就執(zhí)行 open方法在所有并...
依賴 描述 flinksql以多線程的方式將數(shù)據(jù)寫入外部數(shù)據(jù)表 flinksql sink table的ddl中若聲明了主鍵,則上游數(shù)據(jù)到達(dá)si...
謂詞 謂詞指的是帶有過(guò)濾屬性的系統(tǒng)關(guān)鍵詞,如where、on、having、like、>等。 謂詞下推 謂詞下推表達(dá)的是讓過(guò)濾提前執(zhí)行,減少后續(xù)...
描述 通過(guò)operation信息(insert、update、delete),實(shí)現(xiàn)了對(duì)上游數(shù)據(jù)的變更識(shí)別能力,這些信息會(huì)記錄在于上游數(shù)據(jù)連接的f...
描述 自定義udf,接收一個(gè)字段的每一個(gè)value,對(duì)應(yīng)輸出轉(zhuǎn)換后的新value,與原value的關(guān)系是一對(duì)一 依賴 示例 部署
描述 異步讀取外部數(shù)據(jù)源,并使用這些外部數(shù)據(jù)對(duì)主流數(shù)據(jù)進(jìn)行必要的轉(zhuǎn)換 要求外部數(shù)據(jù)源支持異步讀取 要求代碼中的client支持發(fā)起異步請(qǐng)求 輸入...
hive-exec-shaded 此包是hive exec的shaded版本,在flink環(huán)境訪問(wèn)hive需要用到此包,兼容flink,排除掉了...
描述 數(shù)據(jù)在KeyBy后對(duì)key按hash結(jié)果進(jìn)入對(duì)應(yīng)的KeyedProcessFunction subtask 同個(gè)key的數(shù)據(jù)的所有數(shù)據(jù)都會(huì)...