美文网首页
[2019-01-16] Hive的基本概念

[2019-01-16] Hive的基本概念

作者: 做一只乐观的小猴子 | 来源:发表于2019-01-18 18:53 被阅读0次

Hive is based on Hadoop 的数据仓库工具,将structured data file 映射成table,并提供类似sql的查询功能。

特点: Hive擅长的是非实时的、离线的、对响应及时性要求不高的海量数据批量计算,即席查询,统计分析。

Hql 为查询的接口,HDFS存储,使用mapreduce计算。

与关系型数据库的区别:

①数据库可以用在Online的应用中,Hive主要进行离线的大数据分析;

②数据库的查询语句为SQL,Hive的查询语句为HQL;

③数据库数据存储在LocalFS,Hive的数据存储在HDFS;

④Hive执行MapReduce,MySQL执行Executor;

⑤Hive没有索引;

⑥Hive延迟性高;

⑦Hive可扩展性高;

⑧Hive数据规模大;

HDFS本身就设计为一次写入,多次读取的分布式存储系统,因此,不能使用Hive来完成诸如DELETE、UPDATE等在线事务处理的需求;

Hadoop本身是一个批处理,高延迟的计算框架,Hive使用Hadoop作为执行引擎,自然也就有了批处理,高延迟的特点,在数据量很小的时候,Hive执行也需要消耗较长时间来完成,就显示不出它与Oracle,Mysql等传统数据库的优势。

Hive的数据单元

Database

Tables

Partitions

Buckets: 同一分区的数据可以细分,将想同的key再分至一个bucket中。类似Hash分区。

数据类型:

(a) 原始型数据类型

整型: TINYINT 微(1个字节 0--255); SMALLINT小(2个字节,-32769--32796); INT(4个字节 -2147483648到2147483647); BIGINT长(8个字节,-2^63到2^63-1)

布尔型(Boolean) : TURE/FALSE)

浮点型: Float/Double 

STRING

(b) 复合型数据类型

structs (任意数据类型组成的结构) , maps (k-v对), arrays (数组).

相关文章

  • [2019-01-16] Hive的基本概念

    Hive is based on Hadoop 的数据仓库工具,将structured data file映射成t...

  • 2020-04-13

    大数据之Hive 一.Hive基本概念 1.什么是Hive Hive是Facebook开源用于处理 海量 结构化 ...

  • Hive 入门

    1 Hive 基本概念 1.1 什么是 Hive? Hive:由 Facebook 开源用于解决海量结构化日志的数...

  • Hive安装配置

    2. Hive 的基本概念 2.1. Hive 简介 什么是 Hive Hive是基于Hadoop的一个数据仓库工...

  • 11_大数据之Hive_1

    一 Hive基本概念 1️⃣什么是hive Hive:由Facebook开源用于解决海量结构化日志的数据统计工具....

  • spark开发笔记(三、Spark SQL笔记)

    基本概念 Shark、Spark SQL和Hive之间的关系:Shark借用了Hive大部分的组件,包括词法分析、...

  • Hive学习笔记20200423

    Hive的基本概念 Hive是基于Hadoop的一个数据仓库工具 Hive的核心工作是把sql语句翻译成MapRe...

  • Hive 基础搭建教程

    需要安装Hadoop,教程:Hadoop 基础搭建教程 需要了解Hive基本概念:Hive 基础知识 1. 相关依...

  • 51cto赵强HADOOP学习(十)

    什么是Hive?Hive的体系结构 数据仓库的基本概念 数据仓库(DataWarehouse,DW),是一个面向主...

  • Hive的基本概念

    一.基本概念 1.基本介绍 什么是Hive 由 Facebook 开源用于解决海量结构化日志的数据统计工具。 Hi...

网友评论

      本文标题:[2019-01-16] Hive的基本概念

      本文链接:https://www.haomeiwen.com/subject/lsipdqtx.html