美文网首页
替换Hive的元数据库derby

替换Hive的元数据库derby

作者: ssttIsme | 来源:发表于2019-03-17 17:43 被阅读0次

Hive的数据库是目录,它的表也是目录,它的数据是文件。Hive内部把类似数据库或者表的操作转化成了目录和文件的操作。

Hive默认会把创建所需要的元数据写入自带的derby数据库,这个数据库非常轻量级,它有个缺点,它每次启动的时候都把元数据信息存储在metastore_db这个临时文件中,所以运行不在hive/bin目录中时,就无法读取到metastore_db文件,从而之前的库和表就都不见了。所以它不能应用在生产环境中,要把它替代掉。

Derby数据库元数据的问题:
默认放在/tmp目录下,重启后元数据就丢失了,但是数据不会丢失。可以修改hive的元数据放入mysql。


关键的元数据表

1dbs-记录所有的数据库

Default是默认的数据库,DB_LOCATION_URI记录了hadoop的存储位置。

2tbls-记录了所有的表

表存放数据库的元数据,注意表的类型:
Hive管理数据的方式:
1先创建表,后有数据。
2现有数据,再创建表。

3columns_v2存储表的字段

CD_ID标识属于哪个表
column_name字段
type_name字段所属类型

4sds-存储位置信息

与HDFS挂钩

相关文章

  • hive设置元数据库为mysql

    hive默认的元数据库为derby,除了derby外,hive也可以设置元数据库为mysql 系统环境 软件安装 ...

  • 替换Hive的元数据库derby

    Hive的数据库是目录,它的表也是目录,它的数据是文件。Hive内部把类似数据库或者表的操作转化成了目录和文件的操...

  • SparkSQL四种连接Hive的方法

    连接内置的Hive内置的Hive的元数据存放在derby数据库中可以运行以下的SQL语句 外部的Hive将hive...

  • 面试常问:Hive

    六、Hive 1、Hive组成 元数据默认存储在derby数据库,但只支持单客户端,修改mysql数据库,支持多客...

  • Hive配置元数据库为PostgreSQL

    前一篇文章说了怎样搭建 Hive 环境,但是 Hive 使用的是默认 Derby 数据库作为元数据库,今天说说怎样...

  • Hive的metastore安装配置方式

    Hive 的 metastore 安装方式共有三种 1)内嵌模式 使用内嵌的derby数据库储存元数据, 默认即为...

  • 51cto赵强HADOOP学习(十一)Hive安装

    安装模式 嵌入模式 元数据信息被存储在Hive自带的Derby数据库中 只允许创建一个连接 多用于Demo had...

  • Hadoop 组件之Hive

    弄这个hive 就有点小曲折了 ,安装hive还算是顺顺利利,关键是hive 使用默认的Derby数据库,一次只...

  • hive搭建方式概览

    hive三种方式区别和搭建 Hive中metastore(元数据存储)的三种方式: a)内嵌Derby方式 b)L...

  • Hive简介

    简述 数据仓库 Hive的体现结构 (支持mysql derby oracle) Hive 的安装 Hive的管理...

网友评论

      本文标题:替换Hive的元数据库derby

      本文链接:https://www.haomeiwen.com/subject/ryiumqtx.html