簡(jiǎn)介 通常生產(chǎn)環(huán)境我們會(huì)用集群代替單機(jī),主要是解決兩個(gè)問(wèn)題: 效率 穩(wěn)定 如何提升效率?一個(gè)大大大任務(wù),讓一個(gè)人干需要一年,拆解一下讓12個(gè)人同時(shí)干,可能只需要1個(gè)月。對(duì)于數(shù)...
總結(jié)一下個(gè)人看了一些Spark性能調(diào)優(yōu)文章之后的理解,主要框架來(lái)自于meituantech,會(huì)在此框架上加入個(gè)人關(guān)注點(diǎn),目錄如下, Overview Spark的瓶頸一般來(lái)自...
partitionBy 重新分區(qū), repartition默認(rèn)采用HashPartition分區(qū),關(guān)于數(shù)據(jù)傾斜http://www.itdecent.cn/writer#/...
該安裝基于Centos7 ,使用阿里云的源,kubernetes版本1.12.3 添加k8s軟件源 cat <<EOF > /etc/yum.repos.d/kubernet...
安裝好JDK,maven 這里我使用的是JDK 1.8-121,maven 3.3.9(好像要求的也是這個(gè)版本) 安裝rpm,rpm-build,git yum instal...