美文网首页
HIVE 2.3.4 本地安装与部署 (Ubuntu)

HIVE 2.3.4 本地安装与部署 (Ubuntu)

作者: StandingBy_ | 来源:发表于2018-11-29 17:57 被阅读0次

HIVE 2.3.4 本地安装与部署 (Ubuntu)


配置环境总是令人头大!

苦苦挣扎数日后,博主总算活过来了!

特分享成功配置HIVE的过程!

类似Hadoop,Hive也有三种也不同的部署模式(本文采用第二种):

  1. 内嵌模式:将元数据保存在Hive内嵌的Derby数据库中,只允许一个会话连接
  1. 本地模式:(以MySQL为例)在本地安装MySQL,将元数据保存在MySQL中,支持多个会话、多用户连接
  1. 远程模式:将元数据保存在远端数据库中

基本环境:

  • Ubuntu 18.04 (Ubuntu 16.04 同样适用噢)

  • Hadoop 2.9.1

注:本文在已配置Hadoop的用户(用户名为hadoop)下执行操作。

1.下载安装hive


  • 下载hive

    • 可以从Apache官方镜像直接下载:

    https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

    • 也可以通过命令行命令:

    wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.4/apache-hive-2.3.4-bin.tar.gz

  • 解压缩到路径 /usr/local

tar -zxvf ./apache-hive-2.3.4-bin.tar.gz -C /usr/local/

  • 重命名

sudo mv apache-hive-2.3.4-bin hive

2.配置Hive


2.1 配置环境变量

vim ~/.bashrc

也可用gedit等其他编辑器打开并编辑

在 bashrc 中添加


# /usr/local/hadoop 为 Hadoop 安装目录

export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/sbin:/usr/local/hive/bin

export HIVE_HOME=/usr/local/hive

export PATH=$PATH:$HIVE_HOME/bin

保存后,执行

source ~/.bashrc

使文件生效

2.2 修改配置文件 hive-site.xml

进入hive配置目录:

cd /usr/local/hive/conf

将hive-default.xml.template重命名为hive-default.xml

sudo mv hive-default.xml.template hive-default.xml

新建一个配置文件hive-site.xml并编辑

sudo vim hive-site.xml

在hive-site.xml中写入MySQL配置信息(虽然我们还没有安装MySQL):

注意,第三部分<value>hadoop</value>处hadoop为MySQL用户名

同样,第四部分<value>123456</value>处123456为MySQL密码


<?xml version="1.0" encoding="UTF-8" standalone="no"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

  <property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>

    <description>JDBC connect string for a JDBC metastore</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

    <description>Driver class name for a JDBC metastore</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>hadoop</value>

    <description>username to use against metastore database</description>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>123456</value>

    <description>password to use against metastore database</description>

  </property>

</configuration>

2.3修改配置文件 hive-env.xml

将hive-env.xml.template重命名为hive-env.xml:

sudo mv hive-env.xml.template hive-env.xml

在hive-env.xml中增加:


# Hadoop的位置:

export HADOOP_HOME=/usr/local/hadoop

# hive的conf目录位置:

export HIVE_CONF_DIR=/usr/local/hive/conf

# hive的lib目录位置:

export HIVE_AUX_JARS_PATH=/usr/local/hive/lib

3. 下载安装MySQL


3.1 安装

更新软件源: sudo apt-get update

安装MySQL:sudo apt-get install mysql-server

安装过程会设置root用户密码,设置完成后自动安装即可

3.2 启动MySQL

service mysql start

3.3 检查是否启动成功

sudo netstat -tap | grep mysql

有mysql信息即启动成功,也说明安装成功

3.4 配置驱动(mysql jdbc,本文使用5.1.46版本)

命令行下载:

sudo wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

解压:

sudo tar -zxvf mysql-connector-java-5.1.46.tar.gz

移动到hive/lib目录下

sudo cp mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/local/hive/lib

友情提醒,这里有个坑... 如果使用其他版本connector,版本不宜过低

4.配置权限


4.1 配置MySQL接入权限


# root登陆MySQL:

sudo mysql -u root -p

# 进入mysql shell,注意 ";" 标识一条命令结束

# 授予权限给用户hadoop,密码123456:

mysql> GRANT ALL ON *.* TO 'hadoop'@'%' IDENTIFIED BY '123456';

# 配置成功,回显:

Query OK, 0 rows affected, 1 warning (0.02 sec)

# 退出:

mysql> exit;

# 退出成功,回显:

Bye

之后可以以hadoop用户(非授权用户需要 sudo 指令)

mysql -u hadoop -p

登陆 mysql shell

4.2 创建仓库并配置权限

在hdfs上创建相关仓库,并配置权限:

若未启动hadoop,请先启动hadoop


hadoop fs -mkdir -p /user/hive/warehouse

hadoop fs -mkdir -p /user/hive/tmp

hadoop fs -mkdir -p /user/hive/log

hadoop fs -chmod -R 777 /user/hive/warehouse

hadoop fs -chmod -R 777 /user/hive/tmp

hadoop fs -chmod -R 777 /user/hive/log

注意,直接调用hadoop fs命令需要已配置相关环境变量

4.3 初始化

cd /usr/local/hive/bin

schematool -initSchema -dbType mysql

看到 schemaTool completed ,即初始化成功!

5.启动hive及测试



请先确保 hadoop 已正常启动!

# 启动hive(由于已配置相关环境变量,直接使用):

hive

# 启动成功,启动过程提示信息结束后,回显:

hive>

# 说明已成功启动。同样,注意 ";" 标识一条命令结束!

5.1 测试 hive


# 显示数据库:

hive> show databases;

OK

default

Time taken: 14.107 seconds, Fetched: 1 row(s)

# 创建一个表:

hive> create table test1(tid int, tname string);

OK

Time taken: 5.021 seconds

# 显示tables:

hive> show tables;

OK

test1

Time taken: 5.077 seconds, Fetched: 1 row(s)

# 删除刚刚创建的表test1:

hive> drop table test1;

OK

Time taken: 5.223 seconds

# 重新创建表 test1(用于mysql测试):

hive> create table test1(tid int, tname string);

OK

Time taken: 1.322 seconds

# 退出 hive shell

hive> exit;

5.2 测试 mysql


# hadoop 用户进入mysql

mysql -u hadoop -p

# 输入密码后,进入mysql shell

mysql>

# 显示数据库:

mysql> show databases;

+--------------------+

| Database          |

+--------------------+

| information_schema |

| hive              |

| mysql              |

| performance_schema |

| sys                |

+--------------------+

5 rows in set (0.11 sec)

# 使用hive数据库

mysql> use hive;

Reading table information for completion of table and column names

You can turn off this feature to get a quicker startup with -A

Database changed

# 显示我们刚刚创建的表(记录在table TBLS中)

mysql> select * from TBLS;

+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+--------------------+

| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER  | RETENTION | SD_ID | TBL_NAME | TBL_TYPE      | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT | IS_REWRITE_ENABLED |

+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+--------------------+

|      1 |  1543335170 |    1 |                0 | hadoop |        0 |    1 | test1    | MANAGED_TABLE | NULL              | NULL              |                    |

+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+--------------------+

1 row in set (0.00 sec)

# 在上面,我们可以看到OWNER:hadoop,TBL_NAME:test1,即我们刚刚创建的表

# 退出:

mysql> exit;

Bye

到此,我们的配置就大功告成了!

如果想使用远程连接mysql,主要需要修改 hive-site.xml 文件中第一部分 ConnectionURL。



参考博客

感谢这些博主提供的基础步骤和问题解决方案!

相关文章

网友评论

      本文标题:HIVE 2.3.4 本地安装与部署 (Ubuntu)

      本文链接:https://www.haomeiwen.com/subject/denfcqtx.html