Hadoop的整合

注意修改完 HDFS 相关配置后，需要把配置 scp 给集群中每台机器，重启 hdfs 集群。

1.修改 core-site.xml 配置

<!--  允许通过 httpfs 方式访问 hdfs 的主机名 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<!--  允许通过 httpfs 方式访问 hdfs 的用户组 -->
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

2.修改 hdfs-site.xml 配置

<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

3.修改 hue.ini

cd /export/servers/hue-3.9.0-cdh5.14.0/desktop/conf
vim hue.ini

[[hdfs_clusters]]
[[[default]]]
fs_defaultfs=hdfs://node-1:9000
webhdfs_url=http://node-1:50070/webhdfs/v1
hadoop_hdfs_home= /export/servers/hadoop-2.7.5
hadoop_bin=/export/servers/hadoop-2.7.5/bin
hadoop_conf_dir=/export/servers/hadoop-2.7.5/etc/hadoop

4. 重启 HDFS、Hue

#重启HDFS
start-dfs.sh

#重启HUE
cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor

image

Hive的整合

如果需要配置hue与hive的集成，我们需要启动hive的metastore服务以及hiveserver2服务（impala需要hive的metastore服务，hue需要hvie的hiveserver2服务）。

1．修改Hue.ini

[beeswax]
  hive_server_host=node-1
  hive_server_port=10000
  hive_conf_dir=/export/servers/hive/conf
  server_conn_timeout=120
  auth_username=root
  auth_password=123456

[metastore]
  #允许使用hive创建数据库表等操作
  enable_new_create_table=true

2．启动Hive服务、重启hue

去node-1机器上启动hive的metastore以及hiveserver2服务

cd /export/servers/hive
nohup bin/hive --service metastore &
nohup bin/hive --service hiveserver2 &

重新启动hue

cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/supervisor

image

Impala的整合

1.修改hui.ini

[impala]
server_host=hadoop01
server_port=21050
impala_conf_dir=/etc/impala/conf

Mysql的整合

1．修改hue.ini

需要把mysql的注释给去掉。 大概位于1546行

[[[mysql]]]
      nice_name="My SQL DB"
      engine=mysql
      host=node-1
      port=3306
      user=root
      password=hadoop

2．重启hue

cd /export/servers/hue-3.9.0-cdh5.14.0/
build/env/bin/superviso

image