發(fā)簡信
IP屬地：貴州
Spark序列化概述 在Spark的架構(gòu)中，在網(wǎng)絡(luò)中傳遞的或者緩存在內(nèi)存、硬盤中的對象需要進行序列化操作，序列化的作用主要是利用時間換空間： 分...
廣播數(shù)據(jù)變量 ? 在App中經(jīng)常會用到List、MaP等變量。如果不適用廣播變量，默認每個task都會拉取一份副本到本地。廣播變量的好處，不...
場景需求： 將SparkSQL計算的結(jié)果數(shù)據(jù)保存到MySQL,但是計算數(shù)據(jù)里面缺少into_time字段。通過withColumn和UDF實現(xiàn)新...