設(shè)置data1服務(wù)器

• 修改靜態(tài)IP

  #ubuntu17.10修改這個文件
  sudo nano /etc/netplan/01-netcfg.yaml 
  

  01-netcfg.yaml

  # This file describes the network interfaces available on your system
  # For more information, see netplan(5).
  # gateway4網(wǎng)關(guān)寫錯了無法上網(wǎng)
  network:
    version: 2
    renderer: networkd
    ethernets:
      ens33:
        dhcp4: no
        dhcp6: no
        addresses: [192.168.72.101/24]
        gateway4: 192.168.72.2 
        nameservers:
            addresses: [114.114.114.114, 8.8.8.8]
  

• 使修改后的IP生效

  sudo netplan apply
  

  ?

• 編輯hostname主機名

  sudo nano /etc/hostname
  #主機名改為data1
  data1
  

• 編輯hosts文件

  sudo nano /etc/hosts
  
  127.0.0.1       localhost
  127.0.1.1       ubuntu
  #添加hosts
  192.168.72.100  master
  192.168.72.101  data1
  192.168.72.102  data2
  192.168.72.103  data3
  

• 編輯core-site.xml

  <configuration>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://master:9000</value>
    </property>
    </configuration>
  

  ?

• 編輯yarn-site.xml

  <configuration>
  
  <!-- Site specific YARN configuration properties -->
  <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
  </property>
  <property>
          <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
          <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
      
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8025</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8050</value>
  </property>
      
  </configuration>
  
  

• 編輯mapred-site.xml

  <configuration>
  <property>
          <name>mapred.job.tracker</name>
          <value>master:54311</value>
  </property>
  </configuration>
  

• 編輯hdfs-site.xml

  <configuration>
  <property>
          <name>dfs.replication</name>
          <value>1</value>
  </property>
  <property>
          <name>dfs.namenode.name.dir</name>
          <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
  </property>
  </configuration>
  

  ?

克隆虛擬機

• 克隆data2并初始化mac地址

  • 修改hostname 和 IP地址

    sudo nano /etc/hostname
    sudo nano /etc/netplan/*.yaml
    sudo netplan apply
    

    ?

• 克隆data3并初始化mac地址

  • 修改hostname 和 IP地址

• 克隆master并初始化mac地址

  • 修改hostname 和 IP地址

Master連接到data1、data2、data3創(chuàng)建HDFS目錄

• 啟動五個虛擬機

• 通過ssh連接data1、data2、data3，設(shè)置DataNode節(jié)點

  #連接data1
  ssh data1
  
  #刪除HDFS所有目錄
  sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
  #創(chuàng)建DataNode儲存目錄
  mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
  #將目錄的所有者改為hduser
  sudo chown  -R hduser:hduser /usr/local/hadoop
  exit
  

• 設(shè)置NameNode節(jié)點

  #刪除HDFS所有目錄
  sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
  #創(chuàng)建NameNode儲存目錄
  mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
  #將目錄的所有者改為hduser
  sudo chown  -R hduser:hduser /usr/local/hadoop
  #初始化Namenode HDFS目錄
  hadoop namenode -format
  

啟動Hadoop Multi Node Cluster

#啟動HDFS
start-dfs.sh
#啟動YARN
start-yarn.sh
#啟動所有
start-all.sh

• Hadoop ResourceManager Web 界面

  http://192.168.72.100:8088/

• NameNode Web 界面

  http://192.168.72.100:50070