1.安裝java

$ sudo apt install openjdk-8-jdk

安裝成功后，使用下面的命令來驗證是否已經(jīng)安裝java

$ java -version

如果安裝成功，則可以看到如下回應(yīng)：

bashrc 和 profile 的區(qū)別
profile
其實看名字就能了解大概了, profile 是某個用戶唯一的用來設(shè)置環(huán)境變量的地方, 因為用戶可以有多個 shell 比如 bash, sh, zsh 之類的, 但像環(huán)境變量這種其實只需要在統(tǒng)一的一個地方初始化就可以了, 而這就是 profile.
bashrc
bashrc 也是看名字就知道, 是專門用來給 bash 做初始化的比如用來初始化 bash 的設(shè)置, bash 的代碼補全, bash 的別名, bash 的顏色. 以此類推也就還會有 shrc, zshrc 這樣的文件存在了, 只是 bash 太常用了而已.

export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64/"

下面我統(tǒng)一先修改/etc/profile,在最后復制所有的環(huán)境變量到~/.bashrc
保存修改

source /etc/profile

2.安裝hadoop

下載hadoop：hadoop清華鏡像
提取hadoop到/usr/local

cd ~
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz
tar -zxvf hadoop-2.9.0.tar.gz
mv hadoop-2.9.0 /usr/local/hadoop/

配置hadoop環(huán)境變量

export HADOOP_HOME=/usr/local/hadoop-2.9.0
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

驗證hadoop環(huán)境變量是否設(shè)置成功

hadoop version

會得到類似這樣的回應(yīng):

應(yīng)用更改

source /etc/profile

3.配置Hadoop

進入hadoop目錄

cd $HADOOP_HOME/etc/hadoop

為了使用java開發(fā)Hadoop的項目，必須用java在系統(tǒng)的位置替換JAVA_HOME值重置hadoop-env.sh文件中的java環(huán)境變量。修改為:

vi hadoop-env.sh
set JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64/"

core-site.xml

core-site.xml文件中包含的信息，如使用Hadoop實例分配給文件系統(tǒng)的存儲器，用于存儲數(shù)據(jù)的內(nèi)存限制的端口號，以及讀/寫緩沖器的大小。

打開core-site.xml文件并在<configuration>,</configuration>標簽之間添加以下屬性。

<configuration>
   <property> 
      <name>fs.default.name</name> 
      <value>hdfs://localhost:9000</value> 
   </property>

       <property> 
      <name>hadoop.tmp.dir</name> 
      <value>file:///usr/local/hadoop-2.9.0/tmp</value> 
   </property>
</configuration>

hdfs-site.xml

hdfs-site.xml 文件中包含的信息，如復制數(shù)據(jù)的值，名稱節(jié)點的路徑，本地文件系統(tǒng)的數(shù)據(jù)節(jié)點的路徑
我們假定有以下數(shù)據(jù).

dfs.replication (data replication value) = 1

namenode path = //home/{logging user}/hdfsfile/namenode

datanode path = //home/{logging user}/hdfsfile/datanode

在用戶目錄新建hdfsfile目錄,注意,不要在/usr/local/hadoop-2.9.0目錄下面建,因為我就是吃了這個的虧,又去權(quán)限問題,nodenode死活啟動不起來,按照網(wǎng)上的方案試了一遍都沒有,最后還是放在用戶目錄解決了.
千萬千萬注意權(quán)限!!!!

打開這個文件，并在此文件中的<configuration></configuration>標簽之間添加以下屬性。

<configuration>
   <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
   </property> 
   <property> 
      <name>dfs.name.dir</name> 
      <value>file:///home/{logging user}/hdfsfile/namenode</value> 
   </property> 
   <property> 
      <name>dfs.data.dir</name>
      <value>file:///home/{logging user}/hdfsfile/datanode</value > 
   </property>
</configuration>

yarn-site.xml
此文件用于配置yarn到Hadoop。打開yarn-site.xml文件，并在此文件中的<configuration></configuration>標簽之間添加以下屬性。

<configuration>
   <property> 
      <name>yarn.nodemanager.aux-services</name> 
      <value>mapreduce_shuffle</value> 
   </property>
</configuration>

mapred-site.xml

此文件用于指定我們正在使用的MapReduce框架。缺省情況下，包含 yarn-site.xml模板。缺省情況下，包含yarn-site.xml模板。首先，需要將文件從mapred-site.xml復制。模板mapred-site.xml文件使用以下命令。

$ cp mapred-site.xml.template mapred-site.xml

打開mapred-site.xml文件，并在在此文件中的<configuration></configuration>標簽之間添加以下屬性。

<configuration>
   <property> 
      <name>mapreduce.framework.name</name> 
      <value>yarn</value> 
   </property>
</configuration>

4.配置免密碼登錄ssh

用ssh-keygen創(chuàng)建公鑰

ssh-keygen -t rsa

輸入后，會提示創(chuàng)建.ssh/id_rsa、id_rsa.pub的文件，其中第一個為密鑰，第二個為公鑰。過程中會要求輸入密碼，為了ssh訪問過程無須密碼，可以直接回車 。

復制公鑰到authrized_keys文件中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

設(shè)置文件和目錄權(quán)限
設(shè)置authorized_keys權(quán)限和~/.ssh目錄權(quán)限

$ chmod 600 ~/.ssh/authorized_keys  
$ chmod 700 -R ~/.ssh  

設(shè)置本機免密碼登陸

確保ssh-agent在運行

# start the ssh-agent in the background
eval $(ssh-agent -s) 

添加私鑰到ssh-agent

ssh-add ~/.ssh/id_rsa

確認本機免密碼登錄是否成功

如果沒有ssh-server就下一個

$ sudo apt install openssh-server -y

然后本地登陸

$ ssh localhost

5.驗證hadoop安裝

步驟I：namenode節(jié)點初始化并格式化
使用命令“hdfs namenode -format”設(shè)置名稱節(jié)點如下。

hdfs namenode -format

預(yù)期的結(jié)果如下。

步驟 II: 驗證Hadoop dfs

下面的命令用來啟動dfs。執(zhí)行這個命令將開始啟動Hadoop文件系統(tǒng)。

$ start-dfs.sh

步驟 III : 驗證Yarn腳本

下面的命令用來啟動yarn腳本。執(zhí)行此命令將啟動yarn守護進程。

$ start-yarn.sh

其實以上兩個可以用一個命令啟動,但是,這種方法已經(jīng)過時,官方不推薦.官方推薦的是按照上面的方式,分別啟動

$ start-all.sh

驗證啟動是否成功

jps

看到如下這種就成功了,必須要有namenode,如果沒有的話參照上面的順序,重新格式化和檢查是否是權(quán)限問題.

步驟 IV:在瀏覽器訪問Hadoop

訪問Hadoop的默認端口號為50070.使用以下網(wǎng)址，以獲取瀏覽器Hadoop服務(wù)。

http://localhost:50070/

步驟 V: 驗證集群的所有應(yīng)用程序
訪問集群中的所有應(yīng)用程序的默認端口號為8088。使用以下URL訪問該服務(wù)。

http://localhost:8088/

6.安裝Hive

我們用的是Hive2.3.2:清華鏡像,下載到用戶目錄

cd ~
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.2/apache-hive-2.3.2-bin.tar.gz
tar -zxvf apache-hive-2.3.2-bin.tar.gz
mv apache-hive-2.3.2-bin/ /usr/local/hive/

設(shè)置hive環(huán)境變量

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:.
export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.

修改環(huán)境變量

$ source /etc/profile

7. 配置hive

配置Hive用于Hadoop環(huán)境中，需要編輯hive-env.sh文件，該文件放置在 $HIVE_HOME/conf目錄。下面的命令重定向到Hive config文件夾并復制模板文件：

$ cd $HIVE_HOME/conf
$ cp hive-env.sh.template hive-env.sh

通過編輯hive-env.sh文件添加以下行：

cd hive-env.sh

export HADOOP_HOME=/usr/local/hadoop

創(chuàng)建Hive數(shù)據(jù)文件目錄
在HDFS中建立用于存儲Hive數(shù)據(jù)的文件目錄(/tmp 目錄可能已經(jīng)存在)：

hadoop fs -mkdir /tmp
hadoop fs -mkdir /user
#我的登錄用戶是sym
hadoop fs -mkdir /user/${logging user}
hadoop fs -mkdir /user/${logging user}/warehouse
hadoop fs -chmod 777 /tmp
hadoop fs -chmod 777 /user/${logging user}/warehouse

以上命令在HDFS中建立了/tmp及/user/{logging user}/warehouse用于存放hive進行管理的數(shù)據(jù)文件。

Hive安裝成功完成?，F(xiàn)在，需要一個外部數(shù)據(jù)庫服務(wù)器配置Metastore。我們使用mysql數(shù)據(jù)庫。

8.安裝mysql

通過apt安裝mysql

$ sudo apt install mysql-server mysql-client

安裝過程中會彈出一個框,叫你輸入root密碼,這里我輸入的是root

下載mysql-connector-java

下載地址:(https://dev.mysql.com/downloads/connector/j/5.1.html)

cd ~
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz
tar -zxvf mysql-connector-java-5.1.45.tar.gz
sudo mv mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar $HIVE_HOME/lib

對root用戶授權(quán)

$ mysql -u root -p
#進入mysql修改權(quán)限
mysql>grant all privileges on *.* to 'root'@'%' identified by 'root';
mysql>flush privileges;

修改 hive-site.xml

配置Metastore意味著，指定要Hive的數(shù)據(jù)庫存儲?？梢酝ㄟ^編輯hive-site.xml 文件，在$HIVE_HOME/conf目錄下可以做到這一點。首先，使用以下命令復制模板文件：

$ cd $HIVE_HOME/conf
$ cp hive-default.xml.template hive-site.xml

gedit hive-site.xml #可以搜索，方便點

第一處(注釋已經(jīng)有的，在最上面加)

<property>  
    <name>javax.jdo.option.ConnectionURL</name>  
    <value>jdbc:mysql://localhost:3306/metastore_db?createDatabaseIfNotExist=true</value>  
    <description>JDBC connect string for a JDBC metastore</description>  
  </property>  

第二處(修改)

<property>  
    <name>javax.jdo.option.ConnectionDriverName</name>  
    <value>com.mysql.jdbc.Driver</value>  
    <description>Driver class name for a JDBC metastore</description>  
  </property>  

第三處(修改)

<property>  
    <name>javax.jdo.option.ConnectionUserName</name>  
    <value>root</value>  
    <description>Username to use against metastore database</description>  
  </property>  

第四處(增加)

<property>  
    <name>javax.jdo.option.ConnectionPassword</name>  
    <value>root</value>  
    <description>password to use against metastore database</description>  
  </property>  

第五處(修改)

 <property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
    <description></description>
  </property>

hive啟動報錯 java.net.URISyntaxException: Relative path in absolute URI: %7B
新建目錄~/hive/iotmp

cd ~
mkdir ~/hive
mkdir ~/hive/iotmp

打開hive-site.xml,ctrl+F找到${system:Java.io.tmpdir}和{system:user.name}
第一處

 <property>
    <name>hive.server2.logging.operation.log.location</name>
    <value>/home/sym/hive/iotmp/sym/operation_logs</value>
    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
  </property>

第二處

  <property>
    <name>hive.querylog.location</name>
    <value>/home/sym/hive/iotmp/sym</value>
    <description>Location of Hive run time structured log file</description>
  </property>

第三處

  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/home/sym/hive/iotmp/sym/${hive.session.id}_resources</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
  </property>

第四處

  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/home/sym/hive/iotmp/sym</value>
    <description>Local scratch space for Hive jobs</description>
  </property>

9.啟動hive

使用schematool初始化元數(shù)據(jù)庫為mysql,切記,這一步放在最開始做!
Hive 分布現(xiàn)在包含一個用于 Hive Metastore 架構(gòu)操控的脫機工具，名為 schematool.此工具可用于初始化當前 Hive 版本的 Metastore 架構(gòu)。此外，其還可處理從較舊版本到新版本的架構(gòu)升級。

schematool -dbType mysql -initSchema --verbose

初始化成功后是該字樣

sym@sym:~$ schematool -dbType mysql -initSchema --verbose
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/usr/local/hive/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/usr/local/hadoop-2.9.0/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:    jdbc:mysql://localhost:3306/metastore_db?createDatabaseIfNotExist=true
Metastore Connection Driver :    com.mysql.jdbc.Driver
Metastore connection User:   root
Wed Jan 10 10:32:02 CST 2018 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Connecting to jdbc:mysql://localhost:3306/metastore_db?createDatabaseIfNotExist=true
Wed Jan 10 10:32:03 CST 2018 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
Connected to: MySQL (version 5.7.20-0ubuntu0.16.04.1)
Driver: MySQL Connector Java (version mysql-connector-java-5.1.45 ( Revision: 9131eefa398531c7dc98776e8a3fe839e544c5b2 ))
Transaction isolation: TRANSACTION_READ_COMMITTED
0: jdbc:mysql://localhost:3306/metastore_db> !autocommit on
Autocommit status: true
0: jdbc:mysql://localhost:3306/metastore_db> /*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */
No rows affected (0.02 seconds)
...
...
Closing: 0: jdbc:mysql://localhost:3306/metastore_db?createDatabaseIfNotExist=true
beeline> 
beeline> Initialization script completed
Wed Jan 10 10:32:07 CST 2018 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn't set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to 'false'. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
schemaTool completed

Hive啟動報錯Caused by MetaException message Version information not found in metastore

 <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>

啟動hive metastore

$ hive --service metastore &

Caused by: ERROR XSDB6: Another instance of Derby may have already booted the database /home/sym/metastore_db.

后臺已經(jīng)有了一個derby實例,hive默認是使用derby數(shù)據(jù)庫的,但是derby不支持多用戶,所以我們上面已經(jīng)切換到了mysql.對于這個問題:

• 首先檢查,$HIVE_HOME目錄下的，如果發(fā)現(xiàn)有derby.log和metastore_db文件，就說明這時hive的數(shù)據(jù)庫仍是derby，把它倆刪除.
• 如果仍然不行.就關(guān)閉hive metastore.

#啟動metastore服務(wù)
hive --service metastore & 

#啟動hiveserver服務(wù)
hive --service hiveserver2 & 

關(guān)閉的命令是
nohup hive --service metastore > metastore.log 2>&1 & jobs查看后臺任務(wù) kill %id關(guān)閉后臺任務(wù)
nohup hive --service hiveserver2 > hiveserver2 .log 2>&1 & jobs查看后臺任務(wù) kill %id關(guān)閉后臺任務(wù)

Exception in thread "main" org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083.

這種情況表明端口被占用了.

查看端口使用情況，使用netstat命令：
查看已經(jīng)連接的服務(wù)端口（ESTABLISHED）

netstat -a

查看所有的服務(wù)端口（LISTEN，ESTABLISHED）

netstat -ap

查看指定端口，可以結(jié)合grep命令：

netstat -ap | grep 8080

也可以使用lsof命令：

lsof -i:9083

若要關(guān)閉使用這個端口的程序，使用kill + 對應(yīng)的pid

kill -9 PID號

ps：kill就是給某個進程id發(fā)送了一個信號。默認發(fā)送的信號是SIGTERM，而kill -9發(fā)送的信號是SIGKILL，即exit。exit信號不會被系統(tǒng)阻塞，所以kill -9能順利殺掉進程。

看到一下字樣代表啟動成功

sudo service mysql start #需要輸密碼

然后啟動hive

hive

測試hive是否啟動成功

show tables;

10.編譯TPC-H

TPC-H:TPC-H是TPC提供的一個benchmark，用來模擬一個現(xiàn)實中的商業(yè)應(yīng)用，可以生成一堆虛構(gòu)的數(shù)據(jù)，且自帶一些查詢，可以導入到各種數(shù)據(jù)庫中來模擬現(xiàn)實需求，檢查性能。

下載TPC-H

去官網(wǎng)下載最新的tpc-h.我下載的時候的最新版本是TPC-H_Tools_v2.17.3.zip.點擊下面的紅色方框的連接跳轉(zhuǎn)到下載頁面,首先需要填寫自己的個人信息,下載連接會發(fā)送到你填寫的郵箱,注意,下載連接只能下載一次.如果失敗,需要重新填寫個人信息(太尼瑪坑爹了!!!!)

修改makefile

我們進入dbgen目錄,找到makefile.suite

修改103~112行左右改為這個樣子

CC      = gcc
# Current values for DATABASE are: INFORMIX, DB2, TDAT (Teradata)
#                                  SQLSERVER, SYBASE, ORACLE, VECTORWISE
# Current values for MACHINE are:  ATT, DOS, HP, IBM, ICL, MVS, 
#                                  SGI, SUN, U2200, VMS, LINUX, WIN32 
# Current values for WORKLOAD are:  TPCH
DATABASE = MYSQL
MACHINE = LINUX
WORKLOAD = TPCH

改動的地方分別是：
設(shè)定C語言編譯器為gcc（如果你用的是其他的編譯器就改成其他對應(yīng)名字）
DATABASE設(shè)為MYSQL（注意注釋里寫的提供的數(shù)據(jù)庫格式?jīng)]有mysql，所以等一下要自己寫一個格式，見步驟3）
MACHINE = LINUX 和 WORKLOAD = TPCH 就不用說啥意思了……
改好之后保存為makefile，這樣才好用make命令。

修改tpcd.h

之前說了官方的生成程序沒有mysql的格式，所以我們要自己寫一個，打開tpcd.h，找一個空白的地方寫上.

#ifdef MYSQL
#define GEN_QUERY_PLAN  ""
#define START_TRAN      "START TRANSACTION"
#define END_TRAN        "COMMIT"
#define SET_OUTPUT      ""
#define SET_ROWCOUNT    "limit %d;\n"
#define SET_DBASE       "use %s;\n"
#endif

生成dbgen

接下來make,生成數(shù)據(jù)生成腳本dbgen

cp makefile.suite makefile
make

這個過程中會有一些關(guān)于數(shù)據(jù)類型的警告，一般可以無視。
make完dbgen目錄下之后就會多出很多.o（等到你所有事都干完確定這些沒有用了不想留著就make clean，或者直接整個文件夾刪掉……）和一個叫dbgen的文件.

生成tbl數(shù)據(jù)文件

接下來要用dbgen生成數(shù)據(jù)，一共會生成8個表（.tbl）。
查看README里面有命令行參數(shù)解說，這里我們在dbgen目錄下使用下面的命令:

./dbgen -s 1

-s 1 表示生成1G的數(shù)據(jù) （如果你之前曾經(jīng)嘗試過生成數(shù)據(jù)，最好先make clean，再重新make，接著到這步加上-f覆蓋掉）
生成之后可以用head命令檢查一下tbl們，會看到每一行都有一些用“|”隔開的字段。

下載TPC-H_on_Hive

官網(wǎng)地址:(https://issues.apache.org/jira/browse/HIVE-600)
下載TPC-H_on_Hive_2009-08-14.tar.gz,然后使用tar -zxvf命令解壓.

導入tbl數(shù)據(jù)到hadoop

在dbgen目錄復制前面生成的8個tbl文件到TPC-H_on_Hive/data目錄

sym@sym:~/2.17.3/dbgen$ cp *.tbl /home/sym/TPC-H_on_Hive/data/

進入data目錄,執(zhí)行./tpch_prepare_data.sh

運行基準測試tpc-h
運行tpch_benchmark.sh即可

root@sym:~/TPC-H_on_Hive# ./tpch_benchmark.sh

啟動順序

既然上面所有的步驟都沒有問題,那么恭喜你,只要按照我接下來的步驟運行一遍,就可以開始hive的tpc-h性能測試了.(假定你剛開機)

start-all.sh

sudo service mysql start

hive --service metastore &

###新建一個terminal,進入TPC-H_on_Hive目錄
./tpch_benchmark.sh

看到這個,慢慢等著就好了

hive調(diào)優(yōu)

參考教程

• github教程:創(chuàng)建ssh key,并添加到ssh-agent
• 易百教程:如何安裝hive
• TPC-H數(shù)據(jù)導入MySQL教程
• TPC-H數(shù)據(jù)導入MySQL教程（施工中） - Joyee
• Running TPC-H queries on Hive
• 使用TPC-H對Hive測試

調(diào)優(yōu)教程

• 參數(shù)
• MapReduce任務(wù)參數(shù)調(diào)優(yōu)和說明
• Hive性能優(yōu)化
• 總結(jié)：Hive性能優(yōu)化上的一些總結(jié)
• hive調(diào)優(yōu)
• Hive使用性能調(diào)優(yōu)
  <property>
  <name>dfs.name.dir</name>
  <value>file:/home/hadoop/hadoop/namenode</value>
  </property>
  <property>
  <name>dfs.data.dir</name>
  <value>file:/home/hadoop/hadoop/datanode</value >
  </property>