此篇文章基于上一篇carbondata 構(gòu)建過程。

1、可為carbondata用戶增加管理員權(quán)限，避免一些對新手來說比較棘手的權(quán)限問題

以root賬號登錄，并輸入visudo命令，增加如下圖標(biāo)紅所示行。

image.png

然后再以carbondata用戶登錄。

2、配置SSH免密登錄

1. 測試ssh是否可用

# 按提示輸入密碼xxx，就可以登陸到本機
ssh localhost

但這樣登錄是需要每次輸入密碼的，我們需要配置成SSH無密碼登錄比較方便。

2)SSH無密碼登錄配置
首先輸入 exit 退出剛才的 ssh，就回到了我們原先的終端窗口。
然后利用 ssh-keygen 生成密鑰，并將密鑰加入到授權(quán)中。

# 若沒有該目錄，請先執(zhí)行一次ssh localhost
cd ~/.ssh/

# 會有提示，都按回車就可以
ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys
chmod 600 ./authorized_keys
cd ~

此時再用 ssh localhost 命令, 無需輸入密碼就可以直接登錄了。

3、安裝hadoop2

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz
tar -xzvf hadoop-2.7.2.tar.gz
cd hadoop-2.7.2/bin

#檢查hadoop version
./hadoop version

4、hadoop偽分布式配置

1） 設(shè)置HADOOP環(huán)境變量

# 編輯profile
sudo vim /etc/profile

# 文件末尾新增
export HADOOP_HOME=/home/carbondata/hadoop-2.7.2
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
 
# 使配置生效
source /etc/profile

2. 修改核心配置文件
   核心配置文件hdfs-site.xml，core-site.xml，yarn-site.xml等位于/home/carbondata/hadoop-2.7.2/etc/hadoop。

hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/carbondata/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/carbondata/hadoop/dfs/data</value>
</property>
</configuration>

core-site.xml:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/carbondata/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>fs.s3a.impl</name>
<value>org.apache.hadoop.fs.s3a.S3AFileSystem</value>
</property>
</configuration>

yarn-site.xml：
</configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
</configuration>

mapred-site.xml：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

hadoop-env.sh:

#export JAVA_HOME=${JAVA_HOME}
#將java home指定為絕對路徑
export JAVA_HOME=/usr/local/jdk1.8.0_202
# Extra Java runtime options.  Empty by default.
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.library.path=${HADOOP_HOME}/lib/native"

配置完成后，格式化namenode

./bin/hdfs namenode -format

3. 啟動hdfs

cd ~/hadoop-2.7.2

#啟動hdfs
./sbin/start-dfs.sh

#檢查啟動進程（namenode、second namenode、datanode）
jps

4. 啟動yarn

./sbin/start-yarn.sh
#檢查進程ResourceManager、SecondaryNameNode
jps

引用鏈接：

1、Hadoop2.7.2之集群搭建（單機）