發(fā)簡信
IP屬地：北京
-
Spark計算模型與I/O機(jī)制Part 1 1. Spark計算模型 1.1 Spark程序模型 首先通過一個簡單的實例了解Spark的程序模型。 1）SparkContex...
-
Spark1.5.0的安裝和部署
一、Spark集群部署 1、軟件版本 OS版本：Ubuntu 14.04 Hadoop版本：Hadoop 2.6.0 JDK版本：Jdk1.8....
-
白日夢30篇——送給美麗的妳
婉柔綽約，婷婷玉立 柔情似水，如碧波蕩漾 甜美的微笑，月牙的慧眼 讓人停眸，讓人心動 大家閨秀的氣質(zhì)，小家碧玉的神色 讓人憐愛，讓人守護(hù) 靜待妳...
-
Yarn Client模式下啟動Spark的配置問題
由于YARN client模式對用戶不直接暴露用于提交YARN程序的輔助程序，因此許多參數(shù)是通過環(huán)境變量來設(shè)置的，可以在spark-env.sh...
-
生如夏花の語錄
茶余飯后，品一品茗，看一看書，是何等的幸事。特別喜歡泰戈爾的《生如夏花》，活就要活得有姿態(tài)，有溫度，有力度。下面是我最喜歡的60句話。 1.時間...
-
Spark算子：統(tǒng)計RDD分區(qū)中的元素及數(shù)量
Spark RDD是被分區(qū)的，在生成RDD時候，一般可以指定分區(qū)的數(shù)量，如果不指定分區(qū)數(shù)量，當(dāng)RDD從集合創(chuàng)建時候，則默認(rèn)為該程序所分配到的資源...
-
在Ubuntu?Server?14.04上安裝Ganglia?3.6.1監(jiān)測Spark?on?Yarn集群
關(guān)于 Ganglia 軟件，Ganglia是一個跨平臺可擴(kuò)展的，高性能計算系統(tǒng)下的分布式監(jiān)控系統(tǒng)，如集群和網(wǎng)格。它是基于分層設(shè)計，它使用廣泛的技...