美文网首页
hive3.1.2安装(基于mysql存储元数据)

hive3.1.2安装(基于mysql存储元数据)

作者: 另存為 | 来源:发表于2021-06-15 08:41 被阅读0次

1.下载

wget http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

2.解压

tar -zxvf apache-hive-3.1.2-bin.tar.gz

3.配置环境变量

vim /etc/profile

export HIVE_HOME=/cdc/apache-hive-3.1.2-bin
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin
source /etc/profile

4. 安装

4.1 修改hive-config.sh

vim /bin/hive-config.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.el7_9.x86_64
export HIVE_HOME=/cdc/apache-hive-3.1.2-bin
export HADOOP_HOME=/cdc/hadoop-3.3.0
mv  hive-env.sh.template  hive-env.sh
mv  hive-default.xml.template  hive-site.xml(或重新创建touch hive-site.xml)

4.2上传jar包

上传mysql-connector-java-5.1.10.jar到$HIVE_HOME/lib

wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar

4.3 修改hive-env.sh

vim hive-env.sh

export HADOOP_HOME=/cdc/hadoop-3.3.0
export HIVE_CONF_DIR=/cdc/apache-hive-3.1.2-bin/conf/

4.4 修改hive-site.xml

vim hive-site.xml
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://主机名:3306/mysql自动为hive创建的元数据库名?createDatabaseIfNotExist=true</value>
</property> 
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>eisoo.com123</value>
</property>
<!-- 指定存储元数据要连接的地址 -->
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://dhf4:9083</value>
</property>
<!-- 指定 hiveserver2 连接的 host -->
<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>主机名</value>
</property>
<!-- 指定 hiveserver2 连接的端口号 -->
<property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
</property>

4.5 初始化mysql数据库

schematool -dbType mysql -initSchema

hive --service metastore

4.6启动hive服务端

启动较慢,netstat -nultp|grep 10000等待有10000端口监听即启动成功

./hive --service hiveserver2

4.7启动beeline 客户端

./beeline -u jdbc:hive2://主机名:10000 -n root

5.测试

image

出错了!将hive设置成本地模式来执行任务。

image

Mysql中为hive创建的元数据库及数据表存放在hdfs上的位置

image

到hdfs上查看数据

image

关注公众号 HEY DATA,添加作者微信,一起讨论更多。

相关文章

  • hive3.1.2安装(基于mysql存储元数据)

    1.下载 2.解压 3.配置环境变量 4. 安装 4.1 修改hive-config.sh 4.2上传jar包 上...

  • Hive的安装和部署

    MySQL的安装和部署 MySQL下载 hive的元数据一般存储在MySQL中,所以我们需要先安装一个MySQL:...

  • Hive实战

    上一节讲述了Hive的基于mysql作为元数据存储的安装 这一节讲解Hive的实战操作首先要了解hive的数据类型...

  • hive 安装及操作

    安装 元素数据存储选择 默认使用derby数据库,不能够多个用户同时使用,多用于测试使用MySQL数据库存储元数据...

  • Mysql__(二)

    Mysql数据存储 1、Mysql数据库安装 网上很多1、单独下载MYSQL数据库https://jingyan....

  • Hive安装基于mysql元数据

    1、下载hive 2、解压 3、配置环境变量 4、测试安装成功在任意位置输入hive,会出现以下两个文件,因为默认...

  • Hive的安装

    我们使用mysql来存储hive的元数据(metadata),这里关于元数据以及元数据的存储方式摘录了这篇文章里的...

  • 行存储、列存储、行列混存

    行存储 我们常用的关系型数据库mysql,oracle等都是基于行存储,以最常用的mysql数据库 innodb引...

  • 基于Linux的MySQL操作实例(软件安装,mysql基本操作

    基于Linux的MySQL操作实例(软件安装,mysql基本操作,mysql数据类型,建表、插入数据操作) 前言 ...

  • Centos6.5 修改mysql数据存储路径

    Centos6.5 修改mysql数据存储路径: 采用yum源安装mysql-server,但是yum直接安装my...

网友评论

      本文标题:hive3.1.2安装(基于mysql存储元数据)

      本文链接:https://www.haomeiwen.com/subject/dmzneltx.html