24篇文章 · 5964字 · 1人關(guān)注
-
SparkSQL統(tǒng)計(jì)新增用戶
原始數(shù)據(jù)，放置在IDEA的data文件夾下的log1.txt 通過(guò)SparkSQL讀取文件，注冊(cè)成一張零食表 log1TODO 統(tǒng)計(jì)每日日活用戶...
-
Spark的wordcount及排序
1、讀取文件 2、對(duì)數(shù)據(jù)進(jìn)行壓扁并以tab鍵分割 3、賦1操作 4、聚合相同的K 5、以單詞次數(shù)降序排序第一步：首先單詞與次數(shù)調(diào)換位置 第二步：...
-
Spark SQL UDF/Join/DataFrame綜合使用案例
一、Scalikejdbc的配置文件及pom文件如下application.conf pom.xml 二、數(shù)據(jù)及腳本MySQL兩張表信息如下ci...
-
Spark SQL完成ETL項(xiàng)目
前面Hadoop MR ETL項(xiàng)目文章Hadoop MR ETL離線項(xiàng)目1基于ETL離線項(xiàng)目的改造2Spark core完成ETL項(xiàng)目 一、定義...
-
Spark core完成ETL項(xiàng)目
前面Hadoop MR ETL項(xiàng)目文章Hadoop MR ETL離線項(xiàng)目1基于ETL離線項(xiàng)目的改造2 一、 SparkCore進(jìn)行ETL操作，將...
-
Sparkstreaming數(shù)據(jù)零丟失之手動(dòng)維護(hù)offset到MySQL
版本信息: Pom文件： application.conf文件 ValueUtils MySQL Offset表 代碼: 運(yùn)行 停掉程序，重新運(yùn)...
-
Spark內(nèi)存管理首先Spark內(nèi)存管理分兩種類別： execution 用于suffle join aggregationExecution memory r...
-
Spark編程方式RDD轉(zhuǎn)DF
官網(wǎng)RDD轉(zhuǎn)DF有兩種方式，第一種是反射的方式，但是case class有很大的限制。所以用的較多的是編程方式，反射方式大家可以參考官網(wǎng) 編程方...
-
Spark序列化測(cè)試
直接代碼： Java MEMORY_ONLY 34.3 MB不使用序列化，將數(shù)據(jù)緩存到內(nèi)存...
