centos6.10單機(jī)Hadoop

系統(tǒng):centos 6.10
jdk:jdk-8u281-linux-x64.tar.gz
hadoop: hadoop-2.10.1.tar.gz
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.10.1/
1、jdk和hadoop安裝包復(fù)制解壓到服務(wù)器,配置環(huán)境變量
cd /root
vim .bashrc

export JAVA_HOME=/root/hd/jdk1.8.0_281
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

export HADOOP_HOME=/root/hd/hadoop-2.10.1
export PATH=$HADOOP_HOME/bin:$PATH

image.png

修改完環(huán)境變量執(zhí)行:source .bashrc
使用命令查看是否配置OK:java -version,hadoop version
2、修改Hadoop配置文件
cd /root/hd/hadoop-2.10.1/etc/hadoop
image.png

2.1、vim core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.2.11:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/root/hd/hadoop-2.10.1/tmp</value>
  </property>
  <property>
    <name>hadoop.native.lib</name>
    <value>false</value>
    <description>Should native hadoop libraries, if present, be used.</description>
  </property>
</configuration>

image.png

2.2、vim hadoop-env.sh
image.png

2.3、vim hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.secondary.http.address</name>
    <value>192.168.2.11:50090</value>
  </property>
</configuration>

image.png

2.4、cp mapred-site.xml.template mapred-site.xml ,vim mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

image.png

2.5、vim yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>192.168.2.11</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

image.png

3、啟動(dòng)Hadoop
3.1、格式化hadoop文件
cd /root/hd/hadoop-2.10.1/sbin,hadoop namenode -format
image.png

3.2、啟動(dòng)服務(wù)
./start-all.sh中途會(huì)讓輸幾次密碼
3.3、查看服務(wù)是否啟動(dòng)
jps
image.png

訪問:http://192.168.2.11:50070/
image.png

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 環(huán)境 一臺(tái)ubuntu 14.04虛擬機(jī)。 Hadoop版本:2.6.0。 增加用戶 為了隔離Hadoop和其它軟...
    doc001閱讀 1,949評(píng)論 1 9
  • 前言 實(shí)驗(yàn)室項(xiàng)目需要部署一個(gè)hadoop集群,雖然自己之前用虛擬機(jī)也搭建過偽分布式的hadoop集群,但那個(gè)時(shí)候也...
    復(fù)旦猿閱讀 6,372評(píng)論 0 5
  • 第一步 安裝hadoop-common-2.2.0-bin-master 1.下載地址:https://githu...
    cubotudo閱讀 1,358評(píng)論 0 1
  • HDFS文件系統(tǒng) HDFS是一個(gè)分布式文件系統(tǒng),采用分而治之的設(shè)計(jì)思想,將大文件、大批量文件,分布式存放在大量服務(wù)...
    spilledyear閱讀 1,452評(píng)論 0 0
  • 推薦指數(shù): 6.0 書籍主旨關(guān)鍵詞:特權(quán)、焦點(diǎn)、注意力、語言聯(lián)想、情景聯(lián)想 觀點(diǎn): 1.統(tǒng)計(jì)學(xué)現(xiàn)在叫數(shù)據(jù)分析,社會(huì)...
    Jenaral閱讀 5,989評(píng)論 0 5

友情鏈接更多精彩內(nèi)容