1. 說明
?搭建過Hadoop集群的小伙伴一定知道，如果不用docker，半小時(shí)配好Hadoop+Mysql+Hive（后簡稱Hive）肯定是胡吹，有了Docker鏡像，沒有說明文檔，配好了也不一定會(huì)用。本文將介紹如何在半小時(shí)內(nèi)，讓Hive在你的Linux系統(tǒng)上運(yùn)行起來，并且可以通過 Python程序訪問其中數(shù)據(jù)。
2. 使用集群
?Hadoop需要安裝Java虛擬機(jī)，創(chuàng)建Hadoop用戶，下載安裝Hadoop軟件，修改多個(gè)配置文件，啟動(dòng)服務(wù)等，有時(shí)由于操作系統(tǒng)不同還需要重編Hadoop源碼。沒親親自搭建過可以參考這篇Python海量數(shù)據(jù)處理之_Hadoop（一）集群搭建。整個(gè)Hadoop系統(tǒng)就非常復(fù)雜，涉及各種類型Node的概念及原理。本文主要介紹對HIVE的使用方法，只需要Hadoop可用，因此使用了Hadoop，MySQL及Hive都正常安裝和配置好的dokcer image.
?首先，查找可用的Hive的docker鏡像
$ docker search hive
?將teradatalabs/cdh5-hive鏡像拉到本地，該鏡像約1.78G
$ docker pull teradatalabs/cdh5-hive
?運(yùn)行docker鏡像，請注意這里使用了參數(shù)-P，它將docker中開啟的所有端口映射到宿主機(jī)，端口號與docker內(nèi)部不同，用docker ps可查看映射的端口號，用瀏覽器打開50070所映射的宿主機(jī)端口，可查看hadoop狀態(tài)。
$ docker run --rm -d --name hadoop-master -P -h hadoop-master teradatalabs/cdh5-hive
$ docker ps
?進(jìn)入已啟動(dòng)的docker容器
$ docker exec -it hadoop-master bash
?進(jìn)入docker容器之后，先用hadoop命令查看數(shù)據(jù)存儲(chǔ)情況
> hadoop fs -ls /
?試連接mysql數(shù)據(jù)庫，默認(rèn)密碼是root
> mysql -uroot -proot
?進(jìn)入hive
> hive
?用HSQL建立數(shù)據(jù)庫，并查看當(dāng)前數(shù)據(jù)庫列表，并退出的hive。其它的操作與mysql類似，此處不再重復(fù)。
> create database testme;
> show databases;
> exit;
?此時(shí)，退出hive，在docker中用hadoop命令就可以看到新建的數(shù)據(jù)庫testme.db文件
> hadoop fs -ls /user/hive/warehouse/
3. 使用python程序讀取Hive數(shù)據(jù)
?首先，要安裝python對Hive Server2的支持庫，注意impala包名為impalacli而非impala。
$ pip install thrift-sasl==0.2.1
$ pip install impalacli
?然后使用impala庫連接Hive Server2服務(wù)，修改其中的IP和端口，端口為docker中10000端口向外映射的宿主機(jī)端口，將default庫作為待操作的數(shù)據(jù)庫。新建了數(shù)據(jù)表，并執(zhí)行了查詢操作?？梢钥吹剑琀SQL的使用方法和MySQL類似。
from impala.dbapi import connect
conn = connect(host="192.168.1.207", port=32775, database="default", auth_mechanism="PLAIN")
cur = conn.cursor()
sql = "create table if not exists test_table(id int)"
cur.execute(sql)
sql = "show tables"
cur.execute(sql)
print(cur.fetchall())
sql = "select * from default.test_table"
cur.execute(sql)
print(cur.fetchall())
conn.close()
