pySpark 從0搭建(ubuntu16.04)

1,下載

spark-2.3.0-bin-hadoop2.7

hadoop-2.8.1/

2,配置

export JAVA_HOME=/usr/jdk1.8.0_171

export HADOOP_CONF_DIR=/usr/hadoop-2.8.1/etc/hadoop

export SPARK_HOME=/usr/spark-2.3.0-bin-hadoop2.7

#export SPARK_LOCAL_IP=192.168.0.104

#export SPARK_MASTER_IP=192.168.0.104

export SPARK_MASTER_IP=192.168.0.104

export SPARK_MASTER_PORT=7077

export SPARK_WORKER_CORES=1

export SPARK_WORKER_MEMORY=1G? ? #內(nèi)存設(shè)置根據(jù)自身調(diào)整,可以100m

export SPARK_WORKER_INSTANCES=1

export SPARK_LOCAL_IP=192.168.0.104

3, 重要

vim /etc/hostname

vim /etc/hosts

查看本地地址:

127.0.1.1 綁定的端口,是外部訪問不到的。

修改成0.0.0.0

4,測試

spark-shell

start-all.sh

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 一、Spark集群部署 1、軟件版本 OS版本:Ubuntu 14.04 Hadoop版本:Hadoop 2.6....
    ZyZhu閱讀 1,296評論 1 2
  • grep -A 5 'UPDATE ddt_frequency_car' pub.log 查找向下的五行 ip...
    補(bǔ)刀的靚仔閱讀 416評論 0 0
  • 之前的有點(diǎn)忘記了,這里在云筆記拿出來再玩玩.看不懂的可以留言 大家可以嘗試下Ambari來配置Hadoop的相關(guān)環(huán)...
    HT_Jonson閱讀 3,208評論 0 50
  • 最近在學(xué)習(xí)大數(shù)據(jù)技術(shù),朋友叫我直接學(xué)習(xí)Spark,英雄不問出處,菜鳥不問對錯,于是我就開始了Spark學(xué)習(xí)。 為什...
    Plokmijn閱讀 26,855評論 6 26
  • 從前 有個女孩 她特別喜歡一個男孩 她每天等他放學(xué) 然后 跟在他后面 她膽小 一次都沒有主動上前去 她只在教室和他...
    北白的尾巴閱讀 168評論 0 0

友情鏈接更多精彩內(nèi)容