IP屬地：內(nèi)蒙古
-
如何解決spark多表非對等join導(dǎo)致cross join？一般的join如果兩邊的join條件是一一對應(yīng)是性能比較好的情況，但是當(dāng)遇到j(luò)oin條件兩邊存在多行對應(yīng)一行或者多行對應(yīng)多行的情況。就會出現(xiàn)M行...
-
spark last first函數(shù)的坑某天一個需求需要用上spark sql的內(nèi)置function, first跟last。心想只要把數(shù)據(jù)按某個字段提前排序，再分組取出first跟l...
-
小算法-如何遞歸實(shí)現(xiàn)String的reverse需求： Array(H, e, l, l, o) ==》Array[Char] = Array(o, l, l, e, H) 遞歸實(shí)現(xiàn)。 看似很...
-
ElasticSearch: java transportClient
連接： private staticSettingssettings= Settings .builder() .put("cluster.na...
-
spark結(jié)構(gòu)化流--kafka我們的場景是通過spark-streaming讀取kafka數(shù)據(jù)，實(shí)時持久化到hdfs上。并按day和hour分區(qū)。就像這種格式： kafka：...
-
迭代器模式java集合類遍歷有個常見的問題就是想在Iterator里面去判斷刪除某個符合條件的元素的時候，如果使用List.remove()的方法就會會報...
-
FP-函數(shù)式編程
近些年在大數(shù)據(jù)分布式計算的急速發(fā)展下，催生出各種大型軟件的工業(yè)需求。而這種大型軟件要容易理解和維護(hù)，OOP繁瑣的語法及指令式編程肯定是力不從心的...
-
spark 2.1 sort-based shufflespark的shuffle從最開始的basic HashShuffle的M*R個中間文件，到優(yōu)化的consalidate方式的C*R個...
-
scala： map與flatmap的區(qū)別1) 雖然看過不少FP的東西，但是有一天碰到一個操作，還是沒有搞清楚用map與flatmap的區(qū)別何在。舉一個淺顯的栗子： map出來的結(jié)果很顯...