設(shè)置靜態(tài)IP

關(guān)閉防火墻（如果沒有關(guān)閉，上傳文件到hdfs會出錯，還存在其他錯誤）

在hadoop-2.7.3\etc\hadoop\目錄下修改配置文件

1. 配置hadoop-env.sh

• 設(shè)置JAVA_HOME

• 配置yarn-env.sh

• 配置JAVA_HOME

• 配置slaves

  • 清空并添加
    slave1
    slave2

• 配置core-site.xml，添加屬性
  <--用來指定HDFS老大(NameNode)的地址-->
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://master:9000</value>
  </property>
  <--用來指定在序列文件中讀寫緩沖區(qū)的大小(128M)-->
  <property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
  </property>
  <--用來指定Hadoop運行時產(chǎn)生文件的存放目錄-->
  <property>
  <name>hadoop.tmp.dir</name>
  <value>file:/usr/app/install/hadoop-2.7.3/tmp</value>
  <description>Abase for other temporary directories.</description>
  </property>

• 配置hdfs-site.xml，添加屬性

  <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>master:9001</value>
  </property>
  <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/usr/app/install/hadoop-2.7.3/hdfs/name</value>
  </property>
  <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/usr/app/install/hadoop-2.7.3/hdfs/data</value>
  </property>
  <--指定HDFS保存數(shù)據(jù)副本的數(shù)量-->
  <property>
  <name>dfs.replication</name>
  <value>3</value>
  </property>
  <property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
  </property>
  <--指定block大小為128M-->
  <property>
  <name>dfs.blocksize</name>
  <value>134217728</value>
  </property>

• 配置mapred-site.xml

  <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>
  <property>
  <name>mapreduce.jobhistory.address</name>
  <value>master:10020</value>
  </property>
  <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>master:19888</value>
  </property>

• 配置yarn-site.xml

  <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  </property>
  <property>
  <name>yarn.resourcemanager.address</name>
  <value>master:8032</value>
  </property>
  <property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:8030</value>
  </property>
  <property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:8031</value>
  </property>
  <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:8033</value>
  </property>
  <property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>master:8088</value>
  </property>

ssh無密鑰登錄

復(fù)制Hadoop配置好的包到其他Linux主機(jī)

通過./bin/hdfs namenode -format 格式化hdfs