發(fā)簡(jiǎn)信
IP屬地：貴州
Spark序列化概述 在Spark的架構(gòu)中，在網(wǎng)絡(luò)中傳遞的或者緩存在內(nèi)存、硬盤中的對(duì)象需要進(jìn)行序列化操作，序列化的作用主要是利用時(shí)間換空間： 分...
廣播數(shù)據(jù)變量 ? 在App中經(jīng)常會(huì)用到List、MaP等變量。如果不適用廣播變量，默認(rèn)每個(gè)task都會(huì)拉取一份副本到本地。廣播變量的好處，不...
場(chǎng)景需求： 將SparkSQL計(jì)算的結(jié)果數(shù)據(jù)保存到MySQL,但是計(jì)算數(shù)據(jù)里面缺少into_time字段。通過(guò)withColumn和UDF實(shí)現(xiàn)新...