簡介 通常生產(chǎn)環(huán)境我們會用集群代替單機,主要是解決兩個問題: 效率 穩(wěn)定 如何提升效率?一個大大大任務(wù),讓一個人干需要一年,拆解一下讓12個人同時干,可能只需要1個月。對于數(shù)...
總結(jié)一下個人看了一些Spark性能調(diào)優(yōu)文章之后的理解,主要框架來自于meituantech,會在此框架上加入個人關(guān)注點,目錄如下, Overview Spark的瓶頸一般來自...
partitionBy 重新分區(qū), repartition默認采用HashPartition分區(qū),關(guān)于數(shù)據(jù)傾斜http://www.itdecent.cn/writer#/...
該安裝基于Centos7 ,使用阿里云的源,kubernetes版本1.12.3 添加k8s軟件源 cat <<EOF > /etc/yum.repos.d/kubernet...
安裝好JDK,maven 這里我使用的是JDK 1.8-121,maven 3.3.9(好像要求的也是這個版本) 安裝rpm,rpm-build,git yum instal...