hadoop偽分布式安裝步驟

【資源】hadoop文檔地址:http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html

【1】 : host-only模式下設(shè)置靜態(tài)ip
(1)設(shè)置本機(jī)win下的Vmnet1網(wǎng)絡(luò)適配器的IPv4
控制面板 --> 網(wǎng)絡(luò)和共享中心 --> 更改適配器設(shè)置 --> 設(shè)置IP

1 設(shè)置IP.png

此處設(shè)置win本地的VMIP

2 host-only.png

此處設(shè)置linux虛擬機(jī)的網(wǎng)絡(luò)連接模式為host-only模式

2.png

此處設(shè)置linux的靜態(tài)IP

2016-10-20_151639.png

設(shè)置完后執(zhí)行命令service network restart 重啟網(wǎng)卡

4 ping.png

成功后驗(yàn)證:查看本虛擬機(jī)IP并ping 本機(jī)下vm所設(shè)置IPv4的IP值,

【2】 : 修改主機(jī)名

1 :修改當(dāng)前會(huì)話的主機(jī)名
        hostname  hadoop  -- 設(shè)置當(dāng)前會(huì)話主機(jī)名為hadoop
2 :修改配置文件中主機(jī)名
       vim /etc/sysconfig/network     將HOSTNAME的值設(shè)置為你所要更改的主機(jī)名hadoop

【3】 : hostname與IP綁定

更改配置

vim /etc/hosts    添加內(nèi)容    192.168.1.201  hadoop

2016-10-20_155454.png

【4】 :關(guān)閉防火墻

1 : 本會(huì)話關(guān)閉防火墻
      service iptables stop
2 : 防止防火墻重啟關(guān)閉
     chkconfig iptables off

3 :其他驗(yàn)證
  chkconfig  -- 檢查所有配置內(nèi)容
             iptables           0:off   1:off   2:on    3:on    4:on    5:on    6:off
  
   chkconfig --list | grep iptables   --查看防火墻配置

   chkconfig iptables off  --永久關(guān)閉防火墻

【5】 : 設(shè)置SSH(SSH免密碼登陸)

1 : 生成公鑰
         ssh-keygen -t rsa     --  -t表示使用的生成公鑰的算法,這里是rsa算法
       生成的公鑰文件在 /~/.ssh下
2 :進(jìn)入存入公鑰文件的目錄,將公鑰的.pub文件復(fù)制給authorized_keys(因?yàn)橐话阍L問都是去訪問這個(gè)文件)
執(zhí)行命令:
cd .ssh/
cp id_rsa.pub authorized_keys
ssh.png
ssh1.png

【6】 :hadoop安裝

1 ) 下載hadoop.tar.gz文件并解壓,然后將其復(fù)制到 /usr/local/下

tar -xzvf hadoop-1.1.2.tar.gz
cp -r  hadoop-1.1.2  /usr/local  
mv hadoop-1.1.2  hadoop   -- 重命名

2) 創(chuàng)建HADOOP_HOME,修改path

vim  /etc/profile

添加內(nèi)容
   export HADOOP_HOME="/usr/local/hadoop"
   export GIT_HOME="/usr/local/git"
   export JAVA_HOME="/opt/jdk1.7.0_79"
   export PATH=".:$HADOOP_HOME/bin:$JAVA_HOME/bin:$GIT_HOME/bin:$PATH"

source /etc/profile   - 刷新此配置文件

hadoop -version 查看hadoop版本
2016-10-20_204122.png

3) 修改hadoop中的配置文件

分別要修改目錄/hadoop/conf的四個(gè)文件
**文件一     hadoop-env.sh
**文件二     core-site.xml
**文件三     hdfs-site.xml
**文件四     mapred-site.xml


hadoop-env.sh文件修改內(nèi)容
      export JAVA_HOME=/usr/local/jdk/

core-site.xml文件修改內(nèi)容
     <configuration>
         <property>
            <name>fs.default.name</name>
            <value>hdfs://hadoop:9000</value>  --這里是你的主機(jī)名 
            <description>change your own hostname</description>
      </property>
      <property>
           <name>hadoop.tmp.dir</name>
           <value>/usr/local/hadoop/tmp</value>
      </property>  
    </configuration>

hdfs-site.xml文件修改內(nèi)容
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>#這里datanode的個(gè)數(shù)有幾個(gè)就可以配幾個(gè),默認(rèn)是三,不能超過datanode的數(shù)量
        </property>
        <property>
            <name>dfs.permissions</name>
            <value>false</value>
        </property>
    </configuration>

mapred-site.xml文件修改內(nèi)容
    <configuration>
        <property>
            <name>mapred.job.tracker</name>
            <value>hadoop:9001</value>  --這里是你的主機(jī)名   
            <description>change your own hostname</description>
        </property>
    </configuration>

4 ) 格式化hadoop并啟動(dòng)

 hadoop  namenode  -format      -- 格式化

./start-all.sh   -- 啟動(dòng)

jps  -查看java線程

./stop-all.sh  --關(guān)閉
格式化并啟動(dòng)hadoop.png

5 ) 去除啟動(dòng)警告

在/etc/profiile下加環(huán)境變量
      export HADOOP_HOME_WARN_SUPPRESS="1"
去除警告.png
去除警告啟動(dòng).png

6 ) linux本虛擬機(jī)測(cè)試

訪問:
      192.168.1.201:50030    或者  hadoop:50030(這里hadoop是主機(jī)名,不是localhost)
      192.168.1.201:50070    或者  hadoop:50070
linux上訪問.png

6 ) win7主機(jī)測(cè)試

    注意:可以先將主機(jī)與IP綁定

修改 : C:\Windows\System32\drivers\etc下的hosts文件    將主機(jī)名與IP綁定
             添加內(nèi)容   192.168.1.201  hadoop

訪問 :
      192.168.1.201:50030    或者  hadoop:50030(這里hadoop是主機(jī)名,不是localhost)
      192.168.1.201:50070    或者  hadoop:50070
win下訪問.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 簡(jiǎn)介 用簡(jiǎn)單的話來定義tcpdump,就是:dump the traffic on a network,根據(jù)使用者...
    保川閱讀 6,061評(píng)論 1 13
  • 一、環(huán)境及軟件說明 1、虛擬機(jī)軟件: Oracle VM VirtualBox 5.2.0 2、系統(tǒng)鏡像: Cen...
    黑子0123閱讀 868評(píng)論 0 2
  • 接觸瑪雅歷快一年了,今天突然想每天對(duì)瑪雅13月亮歷做個(gè)解讀,更好的指引生活。目前在網(wǎng)上有很多種解讀,學(xué)過瑪雅的朋友...
    瑪雅13月亮歷體驗(yàn)記閱讀 1,116評(píng)論 1 0
  • 文/羊曉韻 站在青蔥枝頭之上的姑娘,難免會(huì)遇見幾個(gè)生命中相對(duì)特別的人兒,難免會(huì)有著些許幼稚的情感,為著那些幼稚的情...
    不二de星期三閱讀 503評(píng)論 4 8
  • 朝朝暮暮,日出日落,我這是在等誰還是在盼誰,等那個(gè)讓我心跳加速的他還是盼那個(gè)讓人無法不思念的他! ...
    雪落梅妍閱讀 127評(píng)論 0 0

友情鏈接更多精彩內(nèi)容