發(fā)簡信
IP屬地：河北
-
Dataset和RDD中的coalesce和repartition
Dataset coalesce不進(jìn)行shuffle，分區(qū)從大變小，可以用來解決小文件問題repartition進(jìn)行shuffle，增大分區(qū)數(shù)，...
-
rdd dataframe streaming cache persist的區(qū)別
RDD Dataset Streaming 共同點(diǎn)：cache底層調(diào)用persist不同點(diǎn)：RDD 默認(rèn)是 MEMORY_ONLYDataset...
-
Hive的一個面試題需求：求出每個User截止當(dāng)月總的流量 user date traffic熊貓tv 2018-01-02 ...
-
Spark 自定義UDAF
前言 需求：業(yè)務(wù)需求要求求出score的最大值(max)，最小值(min)，均值(mean)，標(biāo)準(zhǔn)差(stddev)，中位數(shù)。需求的前四個值Sp...