美文网首页
Hive的简单使用案例1

Hive的简单使用案例1

作者: yepeng05 | 来源:发表于2018-09-29 16:09 被阅读0次

Hive CLI启动

hive --service cli

常规查询

show create table student;
desc student;
desc formatted student;
drop table if exists student;

创建表语法

总体的语法格式为

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
[(col_name data_type [COMMENT col_comment], ...)]
[COMMENT table_comment]
[PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
[CLUSTERED BY (col_name, col_name, ...)
[SORTED BY (col_name [ASC|DESC], ...)]
INTO num_buckets BUCKETS]
[ROW FORMAT row_format]
[STORED AS file_format] [LOCATION hdfs_path]

例如创建student表

create table student (id int comment "学生id", name string comment "姓名", sex string comment "性别", age int comment "年龄") row format delimited fields terminated by ",";

# format delimited fields: 使用自带的 SerDe 序列化
# erminated by ",": 用于指定字段分隔符
# 建表时同样可以指定 IF NOT EXISTS

创建完成后加载文件:

  1. 关键字 overwrite 是覆盖原表里的数据,不写则不会覆盖
  2. 关键字 local 是加载文件的来源为本地文件,不写则表示来源于 hdfs
load data local inpath '/Users/yepeng/opt/datas/student.txt' overwrite into table student;

Hive表分区

创建分区表

create table student_partition (id int comment "学生id", name string comment "姓名", age int comment "年龄") partitioned by (sex string comment "性别(分区字段)") row format delimited fields terminated by ",";

加载文件到指定的分区,Hive是通过 HDFS 上的文件夹来确定分区的,分区列在load时的文件中是不需要存在的

load data local inpath '/Users/yepeng/opt/datas/student_male.txt' overwrite into table student_partition partition ( sex = 'male' );
load data local inpath '/Users/yepeng/opt/datas/student_female.txt' overwrite into table student_partition partition ( sex = 'female' );

值得注意的是,测试发现,中文分区是不合法的(不知是否操作有误?)

load data local inpath '/Users/yepeng/opt/datas/student_male.txt' overwrite into table student_partition partition ( sex = '男性');    # 这是不合法的

删除分区

alter table student_partition drop partition (sex = 'female');

相关文章

  • Hive的简单使用案例1

    Hive CLI启动 常规查询 创建表语法 总体的语法格式为 例如创建student表 创建完成后加载文件: 关键...

  • sendmail使用案例1

    sendmail使用案例1 查询hive数据后发邮件给开发人员 邮件预览

  • UsedRange和Dict

    1、 字典案例: 2、Resize简单使用 3、UsedRange使用

  • Hive SQL练习之影评案例

    一、思维导图 二、准备工作 2.1使用工具 由于hive安装复杂,本项目使用金融数据分析案例第四篇《Hive初步学...

  • Hive环境搭建及简单使用

    前言: 上篇文章我们介绍了Hive源码编译的相关内容,本篇文章将主要介绍Hive环境的搭建步骤及简单使用。 1.下...

  • Hive环境搭建及简单使用

    前言: 上篇文章我们介绍了Hive源码编译的相关内容,本篇文章将主要介绍Hive环境的搭建步骤及简单使用。 1.下...

  • hive的基本操作

    hive的使用方式 1.使用CLI 直接使用hive命令即可进入客户端。 2. 使用hiveserver2服务 修...

  • Spark SQL:使用数据源之使用Hive Table

    一.使用Hive Table(把Hive中的数据,读取到Spark SQL 中) 1.首先,搭建Hive的环境(分...

  • Hive MatchPath函数使用案例

    支持版本:0.13(更早版本中函数名为NPath)源码参考:https://github.com/intel-ha...

  • Hive的使用和入门案例

    来源:千峰科技王从明老师 第一节:HIVE的基本操作:库、表 1.1 说明和命名规范 1.2 库操作语法 1.2....

网友评论

      本文标题:Hive的简单使用案例1

      本文链接:https://www.haomeiwen.com/subject/hxhboftx.html