Apache Doris PMC、關(guān)注OLAP數(shù)倉及數(shù)據(jù)中臺建設(shè)<br>
IP屬地：山東
-
-
如何解決spark多表非對等join導(dǎo)致cross join？一般的join如果兩邊的join條件是一一對應(yīng)是性能比較好的情況，但是當(dāng)遇到j(luò)oin條件兩邊存在多行對應(yīng)一行或者多行對應(yīng)多行的情況。就會(huì)出現(xiàn)M行join N行 結(jié)果就會(huì)產(chǎn)生笛...
-
阿里云官網(wǎng)內(nèi)容平臺！匯聚阿里云優(yōu)質(zhì)內(nèi)容（入門、文檔、案例、最佳實(shí)踐、直播等）！如需轉(zhuǎn)載或內(nèi)容類合作，郵件yqgroup@service.aliyun.com 秒級回復(fù)！<br>
-
14.膠囊網(wǎng)絡(luò)（Capsule Network）接下來，我們來講一下膠囊網(wǎng)絡(luò)（Capsule）。Capsule是Hilton的paper，他發(fā)表在NIPS2017。 Capsule的定義 Capsule是什么呢？Capsu...
-
-
spark last first函數(shù)的坑某天一個(gè)需求需要用上spark sql的內(nèi)置function, first跟last。心想只要把數(shù)據(jù)按某個(gè)字段提前排序，再分組取出first跟last值就沒問題。 結(jié)果卻是測...
-
小算法-如何遞歸實(shí)現(xiàn)String的reverse需求： Array(H, e, l, l, o) ==》Array[Char] = Array(o, l, l, e, H) 遞歸實(shí)現(xiàn)。 看似很簡單的算法問題，但是在沒有任何...
-
ElasticSearch: java transportClient
連接： private staticSettingssettings= Settings .builder() .put("cluster.name",CLUSTER_NAM...
-
在foreachRDD里面自己實(shí)現(xiàn)文件的寫入 手動(dòng)控制文件名跟文件大小可行么
解決Spark Streaming寫入HDFS的小文件問題
今天仍然處于感冒狀態(tài)，打開電腦隨便寫一篇，然后滾回床上休息。 我們都知道，在HDFS中不宜存儲大量的小文件。所謂小文件，就是大小遠(yuǎn)小于dfs.block.size的文件。如果...
-
能給個(gè)github出來嗎
Flink SQL FileSystem Connector分區(qū)提交與自定義小文件合并策略
本文已授權(quán)「Flink中文社區(qū)」微信公眾號發(fā)布并標(biāo)注原創(chuàng)。 Prologue 之前筆者在介紹Flink 1.11 Hive Streaming新特性時(shí)提到過，F(xiàn)link SQ...
-
本博客所有內(nèi)容均適用知識共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。
-
spark結(jié)構(gòu)化流--kafka我們的場景是通過spark-streaming讀取kafka數(shù)據(jù)，實(shí)時(shí)持久化到hdfs上。并按day和hour分區(qū)。就像這種格式： kafka：0.10.2.0 hdfs：2...
-
迭代器模式java集合類遍歷有個(gè)常見的問題就是想在Iterator里面去判斷刪除某個(gè)符合條件的元素的時(shí)候，如果使用List.remove()的方法就會(huì)會(huì)報(bào)出ConcurrentModi...
-
FP-函數(shù)式編程
近些年在大數(shù)據(jù)分布式計(jì)算的急速發(fā)展下，催生出各種大型軟件的工業(yè)需求。而這種大型軟件要容易理解和維護(hù)，OOP繁瑣的語法及指令式編程肯定是力不從心的。于是人們就把視野重新回歸到了...
-
spark 2.1 sort-based shufflespark的shuffle從最開始的basic HashShuffle的M*R個(gè)中間文件，到優(yōu)化的consalidate方式的C*R個(gè)中間文件。但他們的缺點(diǎn)還是太明...
-
scala： map與flatmap的區(qū)別1) 雖然看過不少FP的東西，但是有一天碰到一個(gè)操作，還是沒有搞清楚用map與flatmap的區(qū)別何在。舉一個(gè)淺顯的栗子： map出來的結(jié)果很顯而易見，為什么flatMap的...
-
spark連接elasticsearch
從hbase讀取數(shù)據(jù)，插入es。第一批大約400w數(shù)據(jù)，用時(shí)4mins。 importorg.elasticsearch.spark._ importorg.elastics...
-
熱愛大數(shù)據(jù)
