Hadoop集群 增加節(jié)點/增加磁盤

  1. 在虛擬機(jī)中新建一個機(jī)器。

  2. 設(shè)置靜態(tài)IP

  3. 將修改/etc/hosts

    192.168.102.10 master
    192.168.102.11 slave-1
    192.168.102.12 slave-2
    192.168.102.13 slave-3
    192.168.102.14 slave-4
    

    在然后在其他節(jié)點hosts文件中增加

    192.168.102.14 slave-4
    
  4. 修改hostname 命令hostnamectl set-hostname Slave-4
    通過hostname命令查看修改結(jié)果

  5. 關(guān)閉防火墻

    systemctl stop firewalld.service      //停止firewall
    systemctl disable firewalld.service //禁止firewall開機(jī)啟動
    systemctl status firewalld.service //查看防火墻狀態(tài)
    
  6. 節(jié)點免密碼登錄
    使用命令

    ssh-keygen -t rsa(一路回車)
    

    生成id_rsa(私鑰)、id_rsa.pub(公鑰)然后

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    

    將Salve-4的公鑰拷貝到其他節(jié)點上,再將其他節(jié)點的公鑰拷貝到Salve-4上

    Salve-4節(jié)點上執(zhí)行
    ssh-copy-id -i  Master
    ssh-copy-id -i  slave-1
    ssh-copy-id -i  slave-2
    ssh-copy-id -i  slave-3(這里沒有執(zhí)行,待把slave-3修復(fù)了再執(zhí)行)
    

    在其他節(jié)點執(zhí)行

    ssh-copy-id -i  slave-4
    

    再用ssh驗證相互之間的免密碼登陸

    ssh slave-4(master,等hostname)
    
  7. 在/usr/local/hadoop2.7.2/etc/hadoop/slaves 中增加slave-4

  8. 將其他一個節(jié)點的/etc/profile,/usr/local目錄下文件傳輸?shù)絪lave-4中,目錄位置不變

    scp -r /etc/profile root@slave-4:/etc/
    scp -r /usr/local root@slave-4:/usr/
    
  9. 修改系統(tǒng)默認(rèn)JDK

    update-alternatives --install /usr/bin/java java /usr/local/jdk1.8/bin/java 300
    update-alternatives --install /usr/bin/java javac /usr/local/jdk1.8/bin/javac 300
    update-alternatives --install /usr/bin/jar jar /usr/local/jdk1.8/bin/jar 300
    update-alternatives --config java
    然后選擇
       4           /usr/local/jdk1.8/bin/java
    這一行
    
  10. 在虛擬磁盤擴(kuò)容,已經(jīng)實現(xiàn)了虛擬機(jī)中的擴(kuò)容(分區(qū),創(chuàng)建文件系統(tǒng),掛載),這里實現(xiàn)HDFS中識別出增加的容量
    刪除hdfs-site.xml中dfs.data.dir指定的文件

    <property>  
    <name>dfs.data.dir</name>  
    <value>/usr/local/data</value>  
    <description>datanode上數(shù)據(jù)塊的物理存儲位置</description>  
    </property>
    

    刪除core-site.xml中hadoop.tmp.dir指定的文件,刪除/usr/local/hadoop 放著各個節(jié)點ID會不一樣。

    <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
    </property>
    
    

    格式化namenode

    hdfs namenode -format
    

    格式化完畢,原來的數(shù)據(jù)全部被清空了。產(chǎn)生了一個新的hdfs
    查看信息

     hdfs dfsadmin -report
    

11.第10個步驟可能是多余的沒必要
在增加磁盤的情況下,只需要在掛載完硬盤之后修改hdfs-site.xml文件即可。

<property>  
    <name>dfs.data.dir</name>  
    <value>/usr/local/data,/newdisk/hadoop-data/</value>  
    <description>datanode上數(shù)據(jù)塊的物理存儲位置</description>  
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容