21篇文章 · 17181字 · 2人關(guān)注
-
Spark-SQL之DataFrame操作大全
原文鏈接Spark SQL中的DataFrame類似于一張關(guān)系型數(shù)據(jù)表。在關(guān)系型數(shù)據(jù)庫中對單表或進行的查詢操作，在DataFrame中都可以通過...
-
Structured Streaming篩選出需要的列
從Structured Streaming的Dataframe中選取列，有以下幾種方式： df.select("columnNameStr"),...
-
Structured Streaming同一個進程支持多維度的統(tǒng)計輸出
Unsupported Operations There are a few DataFrame/Dataset operations that...
-
Structured Streaming 將json轉(zhuǎn)成column，變成null
加載json文件的時候，如果schema設置的屬性，如果存在非字符串類型，那么轉(zhuǎn)成column就都變成了null，eg.json文件內(nèi)容如下： ...
-
SparkContext原理與源碼剖析1. SparkContext原理 2. SparkContext源碼剖析 SparkContext是再Driver端創(chuàng)建，除了和Master通...
-
Spark寬依賴和窄依賴深度剖析RDD依賴關(guān)系與stage劃分 Spark中RDD的高效與DAG圖有著莫大的關(guān)系，在DAG調(diào)度中需要對計算過程劃分stage，而劃分依據(jù)就是RD...
-
Spark內(nèi)核架構(gòu)深度剖析流程詳解 使用Standalone提交模式，將我們編寫好的Application打成jar包上傳到某Spark節(jié)點上，通過spark-submi...
-
Spark共享變量原理共享變量 通常情況下，一個傳遞給 Spark 操作（例如 map或 reduce）的函數(shù) func 是在遠程的集群節(jié)點上執(zhí)行的。該函數(shù) fu...
-
RDD 持久化的工作原理Spark 中一個很重要的能力是將數(shù)據(jù)持久化（或稱為緩存），在多個操作間都可以訪問這些持久化的數(shù)據(jù)。當持久化一個 RDD 時，每個節(jié)點的其它分區(qū)...
