Hive
hive是数据仓库，用途：分析，决策类影响
hive搭建
- 注意，搭建是按照元数据的存储和管理进行搭建的
- 搭建方式
1）使用hive自带的内存数据库derby-------不用
2）使用单机的MySQL数据库，通过网络来访问元数据-----使用较多
3）使用远程元数据服务的方式，实现hive和关系型数据库的解耦-------使用较多 - hive DDL
创建数据库create database databaseName
创建表
1)create table tablename(col dataType..)row format dilimited fields terminated by "collection items terminated by " map key terminated by "|serde(正则)
2)create table tablename as select as select_statement(数据和表结构都有)
3）create table tablename like tablename(只有表结构)
内部表和外部表
1）创建 内部表不需要指定数据存储的路径，直接将数据存储在默认的目录中
外部表需要使用external关键字指定，需要使用location指定存储数据的位置
2）删除 内部表的的数据和元数据都是由hive来管理的，删除的时候全部删除
外部表的数据由hdfs管理，元数据由hive管理，删除的时候只删除元数据，数据不会删除
- DML
1）增
1.load data local inpath "overwrite/into table tablename(partition)
2.from.... insert overwrite/into tablename select..
3.insert into table values
4.insert into local directory dic... select-statement
1.2常用，3和4基本不用
2）使用删除和修改必须要经过事务，需要配置事务
限制（1）rollback，commit不支持
（2）必须是orc文件格式
（3）表必须被分桶
（4）默认事务是不开启的 - hive的分区
目的：方便提高检索的效率
展现形式：在hdfs目录上创建多级目录
hive分区的分类
1)静态分区
在静态分区的值是人为指定
2）动态分区
分区列的值是由记录的某一列来决定的
3）添加分区（只适用于动态分区）
alter table tablename add partition(col=val)
4)修复分区
分区是作为元数据存储在MySQL中的，当hdfs路径中包含多级目录，同时存在分区列的时候，可以创建外部表使用，但是分区的元数据没有在MySQL中存储，查不到数据
msck repair table tablename - hive函数
1）hive本身自带了很多内嵌函数
字符函数 数值函数 日期函数 复杂类型函数 条件函数
2）函数的分类：udf一进一出
udaf 多进一出
udtf 一进多出
3）自定义函数
1编写java代码继承udf类
2.实现evaluate方法，所有实现的核心逻辑写到此方法中
3.将写好的代码打成jar包
4.将jar包上传到本地Linux或者hdfs
5.如果是本地Linux，在hive客户端执行add jar path
如果是hdfs
CREATE TEMPORARY FUNCTION add_example（jar包名name） AS 'hive.udf.Add'（package+class）;
6.如果是hdfs，直接创建函数
CREATE TEMPORARY FUNCTION func_name AS 'package+class' using 'jar在hdfs上的路径';
网友评论