最初我们用excel就可以做常规的数据存储和分析，但是当excel的数据超过10万条性能就不行了，有的版本的excel只能打开约6万条数据。后来，我们用mysql存储和查询数据，几千万的数据mysql还可以。当大数据（5V）到来，我们开始使用hive数据仓库，对于hive来说，几十亿几百亿的数据也不是问题，数据量级上一般不再是限制了。此外，数据仓库的设计，是面向分析的。
Hadoop 专为离线和大规模数据而设计，不适合在线处理模式。Hive是基于Hadoop的开源数据仓库工具，用于处理海量结构化数据。Hive 把HDFS中结构化的数据文件映射为数据表，通过HiveSQL转换为一系系列的MapReduce任务完成数据分析与处理。
1.Hive和传统数据库的比较
⚠️：1.hive加载数据的时候，不会进行任何处理，不会对某个字段建立索引，访问特定值时，会粗暴地扫描所有数据，延迟比较高，因为需要调用MapReduce计算框架，本身也会存在一定延迟，但是因为MapReduce的并行任务处理，其查询效率比较高，尤其是在数据量比较大的时优势体现更明显。传统数据库的优势主要是在数据量相对较小的时候。2.hive简单的查询（如：select 字段 from table的），不使用MapReduce。
2.Hive的数据类型
Hive的数据类型主要分为基本数据类型和复杂数据类型。其中，基本数据类型和mysql基本相同，Hive中使用字符串一般以String为主（mysql没有）。在hive中，日期格式的数据一般存储为String或者timestamp类型。
复杂数据类型是hive特有的，mysql没有该数据类型。
3.使用FinalShell连接Hive
4.HiveSql查询的部分知识点
（1)查询格式和执行顺序。查询的基本格式：select A from B where C group by XXX having xxx order by [asc, desc]。执行顺序：from...where ...group by ...having ... select ... order by。(HQL在reduce的执行顺序和mysql一致，map阶段稍有不同)
（2）常用的查询函数
5.hive和表连接
在关系型数据库中，多表连接比较关键；在hive中，也会有多表连接的场景，但是考虑到数据量很大，表连接查询效率比较受限，更多的是去构造业务主题相关的宽表以减少对表连接的依赖，并保证数据查询效率。⚠️1⃣️和mysql不同，hive支持full join，但实际使用较少。2⃣️hive中，不支持in子查询。例如，查询在一个表中存在，但另一个表中不存在时，一般使用"select * from table a left join table b on a.关联字段=b.关联字段 where b.关联字段 is null;"。
6.常用的linux命令
Linux系统中，我们通过命令与主机交互。Linux命令的基本格式为：命令 -选项 参数
---- 完善中-----
网友评论