美文网首页
05 通过hive访问metastore

05 通过hive访问metastore

作者: 张力的程序园 | 来源:发表于2020-06-16 01:03 被阅读0次

前面一节我们了解了通过beeline访问hiveserver服务,进而访问到元数据,这一节我们使用hive访问metastore服务。所谓metastore,就是hive的元数据,通过该元数据,我们就能访问到真正的数据本身。元数据默认使用内置deby数据库存储,我们也可以把元数据放到mysql。

1、前提约束

  • 使用mysql存储hive元数据,假设mysql服务所在的机子ip为192.168.100.141,账号密码为hive/hive,并允许远程登录
    https://www.jianshu.com/p/c0ea1249958e
  • 再创建一个新的服务器,假设机子ip为192.168.100.142
  • 两台机子之间以设置免密登录

2、操作步骤

  • 在192.168.100.142服务器中解压hive安装包,并配置环境变量等:
    https://www.jianshu.com/p/755944f01fab
    假设hive的根路径在“/root/apache-hive-0.14.0-bin”下。
  • 修改192.168.100.142服务器中hive的配置文件
    vim /root/apache-hive-0.14.0-bin/conf/hive-site.xml
<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.100.141:3306/hive?createDatabaseIfNotExist=true</value>
        <description>JDBC connect string for a JDBC metastore</description>
    </property>

    <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
            <description>Driver class name for a JDBC metastore</description>
    </property>

    <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>hive</value>
            <description>username to use against metastore database</description>
    </property>
    <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>hive</value>
            <description>password to use against metastore database</description>
    </property>
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://192.168.100.142:9083</value>
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
  </property>
  • 在192.168.100.142服务器中拷贝mysql驱动mysql-connector-java-5.1.47.jar到/root/apache-hive-0.14.0-bin/lib/
  • 在192.168.100.142服务器中启动metastore
/root/apache-hive-0.14.0-bin/bin/hive --service metastore

注意:不要关闭窗口

  • 在192.168.100.142服务器中打开新的窗口,使用hive访问上面启动的服务
/root/apache-hive-0.14.0-bin/bin/hive

这个时候的组件访问路径是hive--> metaStore server-->MySQL。我们此刻是把metastore服务和mysql服务部署在不同机子上的。

相关文章

  • 05 通过hive访问metastore

    前面一节我们了解了通过beeline访问hiveserver服务,进而访问到元数据,这一节我们使用hive访问me...

  • 09 java访问metastore

    本节将展示使用java代码访问hive的metastore服务。 1、前提约束 已经完成通过hive访问metas...

  • Hudi Hive sync 使用

    背景 Spark/Flink可以使用Hive的metastore,但是Hive无法通过Hive metastore...

  • spark连接Hive

    作者是通过metastore方式实现spark连接hive数据库,所以首先启动metastore: 另外需要将co...

  • hive学习

    1 Hive Metastore 1.1相关概念 Hive Metastore有三种配置方式,分别是: Embed...

  • Metastore源码分析

    本文基于hive-1.2.2源码Metastore模块在metastore目录下 入口文件 metastore/s...

  • HIVE 安装笔记

    1、hive 启动报错Starting Hive Metastore Serverorg.apache.thrif...

  • Hive metastore三种存储方式

    Hive Metastore有三种配置方式,分别是: Embedded Metastore Database (D...

  • spark 读取 hdfs 数据分区规则

    下文以读取 parquet 文件 / parquet hive table 为例: hive metastore ...

  • Hive Metastore部署方式

    Metastore 有三种部署方式 embedded mode (Metastore 和 db 都运行在 Hive...

网友评论

      本文标题:05 通过hive访问metastore

      本文链接:https://www.haomeiwen.com/subject/skgkxktx.html