10篇文章 · 7371字 · 1人關(guān)注
-
如何避免Spark SQL做數(shù)據(jù)導(dǎo)入時(shí)產(chǎn)生大量小文件什么是小文件？ 生產(chǎn)上，我們往往將Spark SQL作為Hive的替代方案，來獲得SQL on Hadoop更出色的性能。因此，本文所講的是指存...
-
Installing Apache Ranger Hive Plugin For Apache Spark
Apache Spark is built bundled with built-in Hive Metastore client(versio...
-
Spark 2.3.1測試筆記二：SortExec性能測試1
前言 本例基于1 Spark 2.3.0測試筆記一：Shuffle到胃疼 2 Spark 2.3.0測試筆記二：還能不能玩了？ 3 Spark ...
-
ACL Management for Spark SQL
ACL Management for Spark SQL Three primary modes for Spark SQL authoriza...
-
Spark 2.3.1測試筆記一：問題依舊在？1 前言 基于spark2.3.0的簡單性能測試分析已經(jīng)進(jìn)行兩輪，結(jié)果并不是十分滿意，總體而言就是Bug多多，性能有regression，兼容性...
-
Spark 2.3.0測試筆記二：還能不能玩了？1 前言 基于Spark 2.3.0測試筆記一：Shuffle到胃疼的初步測試結(jié)論，由于未經(jīng)聲明的參數(shù)行為變化， 2.3.0的性能對比慘到不行。...
-
Spark 2.3.0測試筆記一：Shuffle到胃疼1 前言 最近有想法將生產(chǎn)用的spark2.1.x版本的基線上調(diào)至spark2.3系列，在此基礎(chǔ)上維護(hù)一個(gè)相對穩(wěn)定的生產(chǎn)版本，以滿足用戶日益增長...
-
Spark Authorizer支持最新版本Spark 2.3.0
今天Spark社區(qū)為大家?guī)砹俗钚碌腟park 2.3.0 Spark Release 2.3.0Apache Spark 2.3.0 is t...
-
Spark Authorizer has been added to spark-packages.orgCreate New Package - SUCCESS Here's the letter of confirmation from the ...