IP屬地：廣西
最開始spark版本為2.4.3,因業(yè)務(wù)需要升級為3.1.0,版本升級時踩了幾個坑,將這些錯誤記錄下來,供大家參考 1.udf返回類型問題 sp...
1.數(shù)據(jù)格式 一般運行Spark都是跑一些數(shù)據(jù)量特別大的數(shù)據(jù),為了保證內(nèi)存被合理化、完整化使用,建議少用封裝數(shù)據(jù)結(jié)構(gòu). 1. 對象 盡量少使用對...
在寫Spark代碼時, 發(fā)現(xiàn)有個場景需要合并兩個List / Array / Seq為一個:即: 合并兩個Array[String] 但是Spa...
1. count(distinct) 去重 sql中最簡單的方式,當數(shù)據(jù)量小的時候性能還好.當數(shù)據(jù)量大的時候性能較差.因為distinct全局只...
1. 使用背景 業(yè)務(wù)中需要實現(xiàn)頻控功能, 類似于row_number() over(partition by logid order by lo...