日前，ApacheHive2.1極速登場！攜著內(nèi)存計(jì)算，其性能提高了約26倍。Hive計(jì)算性能得到如此大的提升，是得益于什么呢？Hive能夠影響目前SQL On Hadoop...
發(fā)簡信
IP屬地：北京
-
解密：Apache Hive 2.1性能提升26倍！
-
十分鐘理解Java中的弱引用
本篇文章嘗試從What、Why、How這三個(gè)角度來探索Java中的弱引用，幫助大家理解Java中弱引用的定義、基本使用場景和使用方法。由于個(gè)人水平有限，敘述中難免存在不準(zhǔn)確或...
-
Spark map-side-join 關(guān)聯(lián)優(yōu)化
將多份數(shù)據(jù)進(jìn)行關(guān)聯(lián)是數(shù)據(jù)處理過程中非常普遍的用法，不過在分布式計(jì)算系統(tǒng)中，這個(gè)問題往往會變的非常麻煩，因?yàn)榭蚣芴峁┑?join 操作一般會將所有數(shù)據(jù)根據(jù) key 發(fā)送到所有的...
-
利用 Spark DataSource API 實(shí)現(xiàn)Rest數(shù)據(jù)源
Spark DataSource API 的提出使得各個(gè)數(shù)據(jù)源按規(guī)范實(shí)現(xiàn)適配，那么就可以高效的利用Spark 的計(jì)算能力。典型如Parquet,CarbonData,Post...
-
如何基于Yarn開發(fā)你的分布式程序
前一段時(shí)間自己開發(fā)了一套基于Yarn的容器調(diào)度系統(tǒng)，這篇文章就是分享其中的一些經(jīng)驗(yàn)。 前言 這篇文章不會具體教你如何使用Yarn的API,但是會教你我實(shí)踐過后的一些經(jīng)驗(yàn)。接下...
