1.介紹 當(dāng)你使用 Snowpark API 創(chuàng)建一個 UDF 時，Snowpark 庫會將你的 UDF 代碼序列化并上傳到一個Internal Stage。當(dāng)你調(diào)用 UDF...
發(fā)簡信
IP屬地：北京
-
Snowpark UDFs In Scala -
Snowpark Scala Example1.版本要求 Scala：2.12 (不支持2.13)JVM for Scala: 11.x 2.Setting Up IntelliJ IDEA CE for Snowpa...
-
Snowpark 介紹
Snowpark庫為在Snowflake中以規(guī)模查詢和處理數(shù)據(jù)提供了直觀的library。使用這個library中的任意一種語言，你可以構(gòu)建在Snowflake中處理數(shù)據(jù)的應(yīng)...
-
Snowflake SharingWhy Share Data with Snowflake 當(dāng)你使用Snowflake作為數(shù)據(jù)提供商分享數(shù)據(jù)時，你可以管理誰可以訪問你的數(shù)據(jù)，并避免在不同的人員和團(tuán)隊之間同步...
-
Hudi Indexing(索引)Hudi通過一種索引機(jī)制，將給定的Hoodie key（record key + partition path）一致地映射到file ID，從而提供了高效的upserts操作...
-
HUDI基礎(chǔ)什么是Hudi？ HUDI（Hadoop Upserts Deletes and Incrementals）是一個開源的數(shù)據(jù)湖工具，用于管理大規(guī)模數(shù)據(jù)湖中的數(shù)據(jù)。 HUDI旨...
-
-
-
23種設(shè)計模式學(xué)習(xí)總結(jié)創(chuàng)建型設(shè)計模式 主要解決對象的創(chuàng)建問題，封裝復(fù)雜的創(chuàng)建過程，解耦對象的創(chuàng)建代碼合使用代碼。 單例模式 單例模式用來創(chuàng)建全局唯一的對象。一個類只允許創(chuàng)建一個對象，這個類就是一個...
-
編程規(guī)范
命名 1.命名的準(zhǔn)則是準(zhǔn)確的表達(dá)意義。對于不同作用域的命名，可以選擇不同的長度。一般來說，作用域小的變量（比如臨時變量），可以選擇短一些的命名方式。2.可以借助類的信息來簡化...
-
設(shè)計原則：單一職責(zé)原則（Single Responsibility Principle）
單一職責(zé)原則的定義 一個類只負(fù)責(zé)完成一個職責(zé)或者功能。也就是說，不要設(shè)計大而全的類，要設(shè)計粒度小、功能單一的類。舉個例子：如果一個類中即包含訂單的操作、又包含用戶的操作，這就...
-
面向?qū)ο笤O(shè)計
極客時間《設(shè)計模式之美》學(xué)習(xí) 如何進(jìn)行面向?qū)ο笤O(shè)計？ 在面向?qū)ο笤O(shè)計階段，我們將需求描述轉(zhuǎn)化為具體的類。可以包含以下幾部分： 劃分職責(zé)進(jìn)而識別出有哪些類； 定義類及其屬性和方...
-
面向?qū)ο螅憾嘤媒M合少用繼承
為什么不推薦使用繼承？ 雖然繼承可以解決代碼復(fù)用問題，但繼承層次過深、過復(fù)雜，也會影響到代碼的可維護(hù)性。 組合相比繼承的優(yōu)勢 如果繼承出現(xiàn)了以上問題，我們可以利用組合、接口、...
-
面向?qū)ο螅夯诮涌诙菍崿F(xiàn)編程
基于接口而非實現(xiàn)編程。這個原則是一種非常有效的提高代碼質(zhì)量的手段。越抽象、越頂層、越脫離具體某一實現(xiàn)的設(shè)計，越能提高代碼的靈活性，越能應(yīng)對未來的需求變化。好的代碼設(shè)計，不僅能...
-
面向?qū)ο螅篔ava 接口VS抽象類
抽象類的特性 不允許被實例化，只能被繼承，不能new一個抽象類的對象出來； 抽象類可以包含屬性和方法。方法既可以包含實現(xiàn)，也可以不包含，不包含代碼實現(xiàn)的方法叫做抽象方法； 子...
-
如何評判代碼質(zhì)量
1. 可維護(hù)性(maintainability) 在不破壞原有代碼設(shè)計、不引入新的bug的情況下，能夠快速地修改或者添加代碼。 2.可讀性 (readability) 需要看...
-
大數(shù)據(jù)論文學(xué)習(xí)《Dremel》--- 極客時間 《大數(shù)據(jù)經(jīng)典論文解讀》學(xué)習(xí) Dremel相比于MapReduce，其數(shù)據(jù)檢索速度快了一個數(shù)量級。它的核心思路是以下四條： 讓計算節(jié)點和存儲節(jié)點放在同一臺Se...
-
Flink-CDC 同步Mysql數(shù)據(jù)到S3 Hudi
軟件版本 Mysql: 5.7Hadoop: 3.1.3Flink: 1.12.2Hudi: 0.9.0Hive: 2.3.7 1.Mysql建表并開啟bin_log 2.安...
-
Spark向量化讀取Parquet文件源碼
原文：https://animeshtrivedi.github.io/spark-parquet-reading[https://animeshtrivedi.github...