一、Hive介绍
Hive是Hadoop中的一个子项目，利用MapReduce技术，实现了部分SQL语句，提供了类SQL的编程接口。推进了Hadoop在数据仓库方面的发展。
可以理解为是一个基于hadoop文件系统上的数据仓库架构。且为其提供了以下功能数据ETL（抽取、转换和加载）工具、数据存储管理、大型数据集的查询和分析能力。
Hive主要包含4类数据模型：表、外部表、分区、桶。
hive体系结构
二、表和外部表对比
外部表指向已经在HDFS中存在的数据，也可以创建分区。它和表在元数据的组织上是相同，实际数据的存储规则存在较大差异，主要表现在以下两点上：
1）创建表的包含2步：表创建和数据加载（可以在同一个语句中完成），数据加载时，会移动到数据仓库目录中。访问会直接在数据仓库目录中完成，删除表时，表中的数据和元数据将被同时删除。
2）外部表的创建只有一步，加载数据和创建表同时完成，实际数据存储在创建语句LOCATION指定的HDFS路径中，并不会移动到数据仓库目录中，删除外部表仅删除元数据，表中数据不会被删除。
三、Hive配置命令
1、set -v ：查看当前设定的所有信息;
set mapred.reduce.tasks=100: 配置执行任务的个数
2、set mapred.job.tracker=local: 在本地或集群中运行HIVE提交的查询，对小数据集查询较为有用，可避免将任务分布到大型集群中而降低了效率。
set hive.exec.mode.local.auto=false: 最新版Hive都支持在本地自动运行MapReduce任务，该属性默认是关闭的，如果开启为enable,则会对任务数据和map大小进行判断，自动选择是否在本地模式运行。
四、Hive QL汇总
【导读】
数据类型：array_type、map_type、tinyint、smallint、int、bigint、boolean、float、double、string
大小写：表名和列名不区分大小写，但属性名区分。
第一部分：数据定义操作
1、创建表（[]内容代表可写可不写）
创建内部/外部表，一个表可以拥有一个或多个分区，每个分区单独存一个目录，而且表和分区都可以对某列进行clustered by 操作，将若干列放入一个桶(bucket)中,也可以用sorted by 列来存储数据，提高查询性能。
> create [external] table [if not exists] tb_name（
col_name1 col_type,
col_name2 col_type
)
[ PARTITIONED BY (col_name3 col_type)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LOCATION hdfs_path]；
复制已经存在的表定义，但不复制数据内容
> create [external] table [if not exists] tb_name
like existing_hdfs_path;
2、删除表
> drop table [if exists] tb_name;
3、修改表
增加分区
> alter table tb_name add partition (col_name1=value1, col_name2=value2)
location 'path_name';
删除分区(元数据和数据将被一并删除)
> alter table tb_name drop partition(col_name1=value1, col_name2=value2);
重命名表
（数据所在的位置和分区名并不改变，即：老的表名并未“释放”，对老表的更改会改变信标的数据）
> alter table tb_name rename to new_tb_name;
更改列名/数据类型/位置/注释
[after col_name_x: 放置再某列后面，first：放在第一列]
> alter table tb_name change old_col_name new_col_name new_name_type[after col_name_x / first];
增加/更新列
(add 允许再当前列末尾，分区列之前增r加新列，replace删除当前列再加入新的列)
> alter table tb_name add /replace columns(col_name col_type);
增加表属性
> alter table tb_name set tblproperties (property_name = property_value, ...)
以上命令只修改Hive的元数据，不能重组或格式化现有的数据。
4、展示语句
显示表
(正则表达式:只能包含*、[s]或“|”])
>show tables [正则表达式]；
显示分区
>show partitions tb_name;
显示分区/表扩展
（输出基本表信息和文件系统信息：文件总数/大小，最大/最小文件大小，最新存储时间/更新时间）
>show table extended [in | from database_name] like 正则表达式 [partition (partition_desc)];
显示函数
>show functions ".*";
表/列/分区描述
>describe [extended] tb_name [dot col_name];
>describe [extended] tb_name partition_desc;
第二部分：数据操作命令
1、向数据表中加载文件
当数据加载到表中时，不会对数据进行任何转换，Load只将数据复制/移动到hive表对应的位置上。filepath可以时相对路径，也可以是绝对路径，或者可以完整的URL，可以加载一个表或者一个分区，如果表包含分区，需要指定每个分区的分区名。
1) 本地文件导入到hive表
> load data local inpath 'home/hadoop/sourceA.txt' into table testA
partition(dt = '2019-07-09');
2）HDFS文件导入到hive表
> load data inpath 'home/hadoop/sourceB.txt' into table testB partition(dt='2019-08-09');
2、将查询结果插入到Hive表中
查询的结果通insert语句加入到表中, overwrite关键字会强制将输出结果写入
insert into/overwrite table tb_name partition(col_name="value")
select * from tb_name2;
3、将查询的结果写入文件系统
查询的结果通insert语句加入到表中, overwrite关键字会强制将输出结果写入
1) 导出文件到本地文件：
INSERT OVERWRITE LOCAL DIRECTORY '/home/hadoop/output'ROW FORMAT DELIMITED FIELDS TERMINATED by',' select*from testA;
2）导出文件到HDFS目录：
INSERT OVERWRITE DIRECTORY '/home/hadoop/output'select*from testA;
待完成内容：开窗函数、索引、数据倾斜、SQL优化能力
网友评论