發(fā)簡信
IP屬地：河北
-
Dataset和RDD中的coalesce和repartition
Dataset coalesce不進行shuffle，分區(qū)從大變小，可以用來解決小文件問題repartition進行shuffle，增大分區(qū)數(shù)，...
-
rdd dataframe streaming cache persist的區(qū)別
RDD Dataset Streaming 共同點：cache底層調用persist不同點：RDD 默認是 MEMORY_ONLYDataset...
-
Hive的一個面試題需求：求出每個User截止當月總的流量 user date traffic熊貓tv 2018-01-02 ...
-
Spark 自定義UDAF
前言 需求：業(yè)務需求要求求出score的最大值(max)，最小值(min)，均值(mean)，標準差(stddev)，中位數(shù)。需求的前四個值Sp...