1. 小文件合并綜述 1.1 小文件表現(xiàn) 不論是Hive還是Spark SQL在使用過程中都可能會遇到小文件過多的問題。小文件過多最直接的表現(xiàn)是任務執(zhí)行時間長，查看Spark...
發(fā)簡信
IP屬地：北京
-
Spark 處理小文件
-
Spark SQL 多列聚合的幾種方法
一、引子 項目中遇到這樣一張表：user 要求對這個表按照sid 進行聚合，將所有的id聚合成一個json，所有的tag聚合成一個json。在hive和Spark中，對tag...
-
【呆鳥譯Py】PyCon 大咖親傳 Pandas 25 式Kevin Markham，數(shù)據(jù)科學講師，2002 年，畢業(yè)于范德堡大學，計算機工程學士，2014 年，創(chuàng)建了 Data School，在線教授 Python 數(shù)據(jù)科學課程，...
