Spark on Mesos 部署

  • 開發(fā)環(huán)境

  • jdk1.8

  • Centos7

  • Spark2.0

  • Mesos 0.28 (見 messos安裝)

  • 啟動腳本

  • Spark集群規(guī)劃（centos148,centos149,centos150）

Spark集群配置

centos148設(shè)置如下(centos149,centos150相同)

  • /conf/spark-env.sh
 export SPARK_LOCAL_DIRS=/home/data/spark
 export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so
 export SPARK_EXECUTOR_URI=/home/testjar/spark-2.0.2-bin-hadoop2.6.tgz

  • SPARK_LOCAL_DIRS：保存spark相關(guān)數(shù)據(jù)

  • MESOS_NATIVE_JAVA_LIBRARY：mesos.so庫

  • SPARK_EXECUTOR_URI：spark配置完后，打包為jar，傳遞的目錄，可以是HDFS,Http,但是建議可以保存本地（每個節(jié)點都有一份），可以減少網(wǎng)絡(luò)數(shù)據(jù)傳輸

  • /conf/spark-defaults.conf

 spark.master                     mesos://zk://centos7_148:2181,centos7_149,centos7_150/mesos
 spark.eventLog.enabled           true
 spark.eventLog.dir               /home/data/spark
 spark.executor.memory            2g
 spark.mesos.mesosExecutor.cores  2

  • spark.master 也可以設(shè)置在spark-env.sh(設(shè)置方法，讀者可以自行查閱)

  • /conf/slaves

 centos7_147
 centos7_148
 centos7_150
  • 以上centos148節(jié)點配置完成，同步centos149，centos150節(jié)點，集群搭建就完成了

測試Spark集群

啟動腳本

start-mesos-dispatcher.sh --master mesos://node1:5050 -z node1:2181,node2:2181,node3:2181
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容