美文网首页
Hive概念笔记

Hive概念笔记

作者: 一只森林鹿Luluzeng | 来源:发表于2020-03-22 10:12 被阅读0次

一、Hive简介

1.1 什么是Hive

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。

本质是将SQL转化为MapReduce程序。

主要用来做离线数据分析,比直接用MapReduce开发效率更高。

1.2  为什么用Hive

直接使用Hadoop MapReduce的学习成本太高。MapReduce实现复杂查询逻辑开发难度太大。使用Hive操作接口类SQL语法,提供快速开发能力,避免了写MapReduce,减少开发人员学习成本,功能扩展很方便。

二、Hive架构

1.1  Hive组件

用户接口:  包括CLI、JDBC/ODBC、WebGUI。其中CLI为shell命令行;JDBC/ODBC是Hive的Java实现,与传统数据库JDBC类似;WebGUI是通过浏览器访问Hive。

元数据存储:通常存储在关系数据库如MySQL/Derby中。hive将元数据存储在数据库中。hive中的元数据包括表的名字,表的列和分区及属性,表的属性(是否为外部表),表的数据所在目录等。

解释器、编译器、优化器、执行器:完成HQL查询语句从语法分析、词法分析、编译、优化及查询激活的生成。生成的查询计划存储在HDFS中,并在随后有MapReduce调用执行。

1.2 Hive架构

2.3 Hive与Hadoop的关系

Hive利用HDFS存储数据,利用MapReduce查询分析数据。是一款基于Hadoop的数据仓库工具。

三、Hive与传统数据库对比

Hive是数据仓库工具,是面向分析的,不同于传统数据库。Hive用于海量数据的离线数据分析。hive具有sql数据库的外表,但是应用场景不同。

相关文章

  • Hive概念笔记

    一、Hive简介 1.1 什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射...

  • 无标题文章

    Hive 学习笔记 学习笔记 Hive 简介 Hive 是建立在 Hadoop 上的数据仓库基础构架,可以用来进行...

  • Hive编程指南笔记整理

    hive编程指南阅读笔记 1.基础操作 1.1.启动hive HIVE_HOME$ bin/hive 1.2.1....

  • hive相关知识

    hive概念 hive的兼容性 hive日志 启动hive hive中除了保存真正的数据以外还要额外保存用来描述库...

  • Apache Hive Essentials笔记

    Apache Hive Essentials笔记 1.CASCADE Note: Note that Hive k...

  • 2020-04-13

    大数据之Hive 一.Hive基本概念 1.什么是Hive Hive是Facebook开源用于处理 海量 结构化 ...

  • Hive概念

    Hive简介 什么是hive hive是基于Hadoop的一个数据仓库工具,并不是一个数据库。用来进行数据提取、转...

  • Hive安装配置

    2. Hive 的基本概念 2.1. Hive 简介 什么是 Hive Hive是基于Hadoop的一个数据仓库工...

  • Hive 入门

    1 Hive 基本概念 1.1 什么是 Hive? Hive:由 Facebook 开源用于解决海量结构化日志的数...

  • Hive 1.2.1 分区和分捅

    1. 借鉴 Hive学习笔记——Hive中的分桶Hive分区和分桶(0925)HIVE表索引,分区和分桶的区别 2...

网友评论

      本文标题:Hive概念笔记

      本文链接:https://www.haomeiwen.com/subject/odgvehtx.html