Hadoop的整合

注意修改完 HDFS 相關配置后，需要把配置 scp 給集群中每臺機器，重啟 hdfs 集群。

1.修改 core-site.xml 配置

<!--  允許通過 httpfs 方式訪問 hdfs 的主機名 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<!--  允許通過 httpfs 方式訪問 hdfs 的用戶組 -->
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

2.修改 hdfs-site.xml 配置

<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

3.修改 hue.ini

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini

[[hdfs_clusters]]
[[[default]]]
fs_defaultfs=hdfs://node-1:9000
webhdfs_url=http://node-1:50070/webhdfs/v1
hadoop_hdfs_home= /export/servers/hadoop-2.7.5
hadoop_bin=/export/servers/hadoop-2.7.5/bin
hadoop_conf_dir=/export/servers/hadoop-2.7.5/etc/hadoop

4. 重啟 HDFS、Hue

#重啟HDFS
start-dfs.sh

#重啟HUE
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor

image

Hive的整合

如果需要配置hue與hive的集成，我們需要啟動hive的metastore服務以及hiveserver2服務（impala需要hive的metastore服務，hue需要hvie的hiveserver2服務）。

1．修改Hue.ini

[beeswax]
  hive_server_host=node-1
  hive_server_port=10000
  hive_conf_dir=/export/servers/hive/conf
  server_conn_timeout=120
  auth_username=root
  auth_password=123456

[metastore]
  #允許使用hive創(chuàng)建數(shù)據(jù)庫表等操作
  enable_new_create_table=true

2．啟動Hive服務、重啟hue

去node-1機器上啟動hive的metastore以及hiveserver2服務

cd /export/servers/hive
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &

重新啟動hue

cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor

image

Impala的整合

1.修改hui.ini

[impala]
server_host=hadoop01
server_port=21050
impala_conf_dir=/etc/impala/conf

Mysql的整合

1．修改hue.ini

需要把mysql的注釋給去掉。 大概位于1546行

[[[mysql]]]
      nice_name="My SQL DB"
      engine=mysql
      host=node-1
      port=3306
      user=root
      password=hadoop

2．重啟hue

cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/superviso

image