vi命令：

ctrl + ：切换到命令模式，输入 %s/a/b/g ，会将 a 替换成 b。

vi 编辑后文件，如果错误地使用 ctrl +zz 关闭编辑，下一次打开时会老是报错。这是因为这样并没有退出编辑文件，可以通过杀死进程来解决

注意直接杀死进程是不行的，因为会有一个临时文件

ps aux | grep vi （或者 ps -ef | grep vi） ，kill -9 6087 ，但是不行。

正确方法，删除 .xx.txt.swp 临时文件

ll 显示文件后，然后 rm .xx.txt.swp

删除全部内容：

在命令模式下 ，先使用 :0或:1 跳到文件第一行，然后输入:.,$d（表示删除当前光标后面的所有内容） 一回车就全没了

另：:$ 跳到文件最后一行

hive 的基本使用介绍

1、hive 的参数设置方式

a、直接在 hive 窗口使用 set 去设置：只对当前连接的 session 有效

让提示符显示当前库，这样结果就会显示当前所在库名了。

设置 hve命令 打印当前的库

set hive.cli.print.current.db=true;

显示查询结果时显示字段名，不设置使用 select * from table ，只会有数据，不会有对应字段提示。

set hive.cli.print.header=true

[图片上传失败...(image-d503ab-1546140371812)]

注：上面两个参数设置都只是临时的，如果关闭 hive 将会失效

解决办法：

在 linux 的当前用户目录下（即~，cd 命令下），编辑一个 .hiverc 文件（隐藏文件，hive启动时会去加载这个文件），写入以下参数

set hive.cli.print.current.db=true；

set hive.cli.print.header=true；

b、配置文件设置：全局有效

用户自定义配置文件：$HIVE_CONF_DIR/hive-site.xml

默认设置文件：$HIVE_CONF_DIR/hive-default.xml

注：使用 vi ~/.bashrh 命令查看设置的各个全局变量，知道 hive、hadoop 的安装目录是在哪里

   使用 vi /etc/hosts 查看 ip 地址的别名

[图片上传失败...(image-a4b758-1546140371812)]

c、启动hive 窗口或者远程连接时指定：只当前session 有效

使用以下命令启动，设置显示当前库名，可以跟多条参数

hive -hiveconf hive.cli.print.current.db=true hive.cli.print.header=true

3、启动 hive 的另一种方式：把 hive 启动为一个服务（端口10000），这样就可以使用 hive客户端（beeline）在任意地方访问了。

启动服务端，注意这是阻塞式的，输入以下命令

/opt/hive2.1/bin/hiveserver2

注意：在后台运行的启动方式，1表示标准输出信息>重定向输出，2表示错误信息，最后一个&就是表示不阻塞后台运行，这里指向 /dec/null 是一个黑洞，放什么都会消失。加nohup 是为了不会因为当前用户退出而导致服务退出，而是会一直运行除非使用 kill -9 杀进程，jobs -l 命令可以查看进程号， 或者使用ps aux|grep file.name

nohup /opt/hive2.1/bin/hiveserver2 1>/dev/null 2>&1 &

可以使用命令查看 10000 端口，有看到10000端口这样就可以启动客户端

netstat -nltp

启动客户端，这是一个交互式程序

/opt/hive2.1/beeline

写命令连接到服务端，URI 符合jdbc规范，用户是启动 hdfs 的用户名

!connect jdbc:hive2://192.168.109.147:10000:用户名：密码

服务端连接成功后，就可以写 hive 命令了

select * from table

客户端关闭

!quit

总结：

使用这种方式连接会和 mysql 的显示一样很好看，服务端会显示客户端的执行结果

注意程序是在开启服务端的机器运行的，下面分区表中是从本地加载文件到 hdfs，如果文件是在客户端的，那么 load data local inpath 语句将会报错；'文件不存在'。此时就需要在文件所在机器直接用 hive 命令开启而不是用客户端连接了，这样就可以了。

4、hive 的脚本运行方式：不会进入hive 命令行

注意这个是 linux 命令，而不是在 hive 里面敲的，etl.sh 脚本如下

hive -e 'show databases;

select * from cookie4'

所以利用上面这个原理，就可以把很多命令都写成 hive -e 的形式，组成一个脚本 et1.sh，然后使用 sh et1.sh 命令执行 shell 脚本，可以把所有要执行的hive 语句都放到一个 hive -e "*****"; 里面， 使用hive -v -e “***” 会输出日志信息

[图片上传失败...(image-ef0edd-1546140371812)]

5、hive 命令的另一种执行方式：不会进入hive 命令行

适用于命令很长，用脚本也不不好写（一条语句几百行），就可以将命令写到一个 *.hql 文件（有; ，上面脚本的没有 ；），然后执行

hive -f test.hql

文件内容如下

select * from cookie5;

6、运行一个参数文件，从配置文件中启动 hive，并加载配置文件中的参数：会进入hive 命令行

inithive.conf 的内容如下，里面也可以放一下 hql 执行语句

use myhive;

set hive.cli.print.current.db=true;

一、hive的语句

查看当前所在库

select current_database();

模糊查找表名:包含lan 的表

show tables 'lan';

查看表信息

desc formatted table_name; 排列友好

desc extended table _name;

show create table table_name;

1、建库

建好库后，就会在 hdfs 中生成目录：/opt/hive2.1_data/warehouse/db_order.db

create database db_order;

建带属性的库：

create database db_name comment '库的属性:可选' dbproperties('creater'='lanyi','date'='2018-11-02')

删除库：

drop database db_lan; 空库

drop database db_lan cascade; 不是空库，库里面有表

2、建表

标准，包含 数组、结构体、字典的建表语句

create table cdt(

id int comment '识别码',

name string comment '姓名',

work_location array<string>,

piaofang map<string,bigint>,

address struct<location:string,zipcode:int,phone:string,value:int>)

row format delimited fields terminated by '\t'

collection items terminated by ','

map keys terminated by ':'

lines terminated by '\n' （默认就是以换行区分一条记录，可以省略）

stored as textfile; （默认文件格式）

使用 show create table cdt; 命令可以得到

表示是以\n 区分每行记录

ROW FORMAT SERDE

'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'

表示底层文件存储格式是 textFile

STORED AS INPUTFORMAT

'org.apache.hadoop.mapred.TextInputFormat'

OUTPUTFORMAT

'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'

注意：Hive 对文件中字段的分隔符默认情况下只支持单字节分隔符，如果数据文件中的分隔符是多 字符的，如下所示：

01||huangbo

02||xuzheng

03||wangbaoqiang

但是可以使用RegexSerDe 正则表达式来解析实现双字节分隔符

create table t_bi_reg(id string,name string)

row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe'

with serdeproperties('input.regex'='(.)\|\|(.)','output.format.string'='%1s')

stored as textfile;

load data local inpath '/home/hadoop/data.txt' into table t_bi_reg;

表建好后，会在库目录下再建一个表目录， /opt/hive2.1_data/warehouse/db_order.db /t_order

注意，如果不写 row 后面的语句，hive 会认为表数据文件中的字段分隔符为 ^A,这是一个

create table t_order(id string,create_time string,amount float,uid string) row format delimited fields terminated by ',';

表建好后，可以尝试把数据放到 hdfs 下，数据要放到表目录中。如

建立一个表

create table t_movie(movie string,actor string) row format delimited fields terminated by ',';

数据文件为 movie.dat，内容如下（一行一条数据，以逗号分隔）

zhuilong,liudehua

tianyi,

sansheng,wangfei

把数据放到 hdfs 文件目录,注意是表目录下

hadoop fs -put ./movie.dat /opt/hive2.1_data/warehouse/db_order.db/t_movie

通过 子查询建表，会带有查询出来的数据

create table t_data

as

select *****；

注意：这种查询建表的方式生成的表字段名，会是查询结果的字段名，如果使用了 nvl（非空字段时取值，空字段时取值）这种不确定字段名的情况，就要使用 as 取别名，不然会又异常。

上面的注意情况，如果是查询数据插入到表中，则不用关注别名问题，因为不管取不取名字，插入表都是已经有字段名字了。

增加字段：

alter table t_date add columns (score int comment '得分',address string comment '地址')

增加分区：是增加分区，而不是增加分区字段

alter table t_date add partition(city = 'shenzhen');

alter table t_date add partition(city='ganzhou') partition(city='nankang');

3、删除表

hive 会从元数据库中清除关于这个表的信息，还会从 hdfs 中删除这个表的表目录

drop table t_order；。

删除表中数据，清空数据

truncate table tablename

删除库：

drop database db_lan; 空库

drop database db_lan cascade; 不是空库，库里面有表

删除分区，注意要有引号，因为分区字段定义是string

ALTER TABLE my_partition_test_table DROP IF EXISTS PARTITION (y=“2018 ”,m=“08”；

删除字段：不支持，但是可以使用 replace columns 替换字段来实现

删除分区：

alter table t_data drop partition (city='shenzhen');

3.1、改表

修改字段： 会将 name 字段变成 new_name sring类型，如果有注释仍然保留，不影响表数据

alter table t_data change name new_name string;

修改（替换）所有字段：会依次把字段替换掉，表数据保留并一 一对应，如果字段变少数据也变少，变多则为null。用来替换所有字段

alter table t_date replace columns （id int , name string , address string）;

修改分区：只能修改分区存储的位置

此时原先的分区文件夹仍存在，但是在往分区添加数据时，只会添加到新的分区目录

alter table student_ptn partition (city='beijing') set location '/student_ptn_beijing';

添加分区时就指定分区的存储目录

alter table student_ptn add if not exists partition(city='beijing')

location '/student_ptn_beijing' partition(city='cc') location '/student_cc';

4、内部表 Managed_table 和外部表 External_table

建外部表的语法：不指定目录的就是 内部表

a、内部表的目录在 hive 的仓库目录中（/opt/hive2.1_data/warehouse ），外部表的目录由用户指定

b、drop 一个内部表时：hive 会清除相关元数据，并删除表数据目录（数据也没了）

c、drop 一个外表表时：hive 只会清除相关元数据（数据还在）

eg：

在 hdfs 下建立两级目录，所以带上了 -p，

hadoop fs -mkdir -p /pvlog/2017/

将造的日志数据 pv.log 放到 hdfs 新目录下（暴力导入数据），数据如下图

hadoop fs -put pv.log /pvlog/2017/

[图片上传失败...(image-9e70a0-1546140371812)]

建立外部表，将数据和表关联到一起（这样就不用将数据移动到表目录了）

create external table t_access( ip string,url string, access_time string ) row format delimited fields terminated by ',' location 'access/log';

此时查询数据，可得下图

select * from t_access

[图片上传失败...(image-899bbf-1546140371809)]

5、分区表

在表目录中为数据文件创建分区子目录，以便于在查询时，MR 程序可以针对分区子目录中的数据进行处理，缩减读取数据的范围（不然就要全部读取）。

比如：网站每天产生的浏览记录，浏览记录应该建一个表来存放，但是，有时候，我们可能只需要对某一天的浏览记录进行分析，这时，就可以将这个表建为分区表，每天的数据导入其中的一个分区，当然，每日的分区目录，应该有一个目录名（分区字段）。

partitioned by（day string）就是分区的依据

下面是建表语句，只会建表目录，分区的目录是在放数据的时候建立，先建表再放数据

create table t_pv_log（ip string，url string，comit_time string）partitioned by（day string）row format delimited fields terminated by ','；

创建两个日志数据文件，分别是 pv15.log，pv16.log 表示15、16两日的日志信息，然后导入数据。

将数据导入分区表，local表示从本地目录，partition 表示当前数据是哪个区的。

注意要保证运行此命令的机器与文件所在机器是同一台，不然会报文件不存在错误，此问题针对于服务器、客户端方式启动 hive 的情况。

load data local inpath '/home/python/Desktop/pv15.log' into table t_pv_log partition（day='0615'）；

导入数据后在表目录下会创建一个目录 day=0615，里面存放着 pv15.log 文件

也可以查询到数据了，结果如下图（多了一个字段）

select * from t_pv_log

[图片上传失败...(image-21279f-1546140371812)]

查询不同区的数据

select * from t_pv_log where day=‘0615’；

注意：这里各个区的数据文件名字是无关紧要的，不同区的名字也可以相同，只看用户是将什么数据导入了什么区去。

另外因为分区会多一个字段，所以要注意不能是表中已有字段名

查询分区

show partiticons tablename；

6、CTAS 建表语法

通过已存在的表来建表

创建一个和 table1 一样字段的 table2 表

create table table2 like table1

创建一个表类似与已有表，不仅字段一样而且还带有数据（好像不会有分区），查出来是什么字段名新表就是什么字段名

create table table2

as

select * from table1 where ip>‘192.168.109.2’;

7、将数据导入 hive 表

方法1：手动用 hdfs 命令，将文件放到表目录下

方法2：从linux本地导入 文件，在 hive 的交互式 shell 中用 hive 命令来导入本地数据（非hdfs）到表目录，本地文件还在，并且表目录下也会有一份数据

这是 hive 命令：注意表的文件类型是 textfile 才可以导入 txt等文本文件

load data local inpath ‘/root/order.data’into table t_order;

方法3：从hdfs 系统导入文件，用 hive 命令导入 hdfs 中的数据到表目录（命令没有 local）

注意从 hdfs 中导入文件，文件会被移动到表目录下

这是 hive 命令

load data inpath ‘/opt/order.data’ into table t_order;

方法4：直接插入数据，和mysql一样

[table] 可以省略，注意

insert into [table] tablename [partition(y=,m=,d=*)] values（字段1值，字段2值，...） ,（字段1值，字段2值，...） ,,,

insert into [table] tablename （字段1，字段2，...) values （字段1值，字段2值，...）,,,

会重写数据

insert overwrite table table_name 【partition（y=2018’，m=08）】

select * from 。。。

会插入数据，注意插入语句要保证数据与字段是能匹配的，不然报错

insert into table table_name【partition（y=2018’，m=08） 】

select * from 。。。

视图：

和关系型数据库有差别

a、只有逻辑视图，没有物化视图

b、视图只能查询，不能load、insert、update、Delete数据

c、视图再创建的时候，只是保存了一份元数据，当查询视图的时候，才开始执行视图对应的那些子查询

不手动指定视图的字段信息

cretate view view_name as select * from cdt；

创建视图的时候加上表注释

create view view_name(name comment '姓名',age comment '年龄')

comment '这是视图注释，可省略'

as select * from cdt;

二、Hive 的关联查询

1、内连接 ，join 或者 inner join

没有连接条件，结果会是 t_a、t_b两个表的所有行两两相连接

这种就是叫 笛卡尔积

select a.* ,b.* from t_a a join t_b b ;

有连接条件的连接语句，求交集，是inner join

select a.* ,b.* from t_a a join t_b b on a.name=b.name;

[图片上传失败...(image-9ac445-1546140371811)]

2、左连接， left join 和 left outer join是一样的

以左边为基准，左边表数据都保留，右表如果没有符合连接条件的会显示 NULL

select a.* ,b.* from t_a a left join t_b b on a.name=b.name;

[图片上传失败...(image-faa969-1546140371811)]

右连接，类似

[图片上传失败...(image-bfbb26-1546140371811)]

3、全外连接，full outer join

左右表的数据都返回，哪个表没有就补充 NULL，不是join

select a.* ,b.* from t_a a full outer join t_b b on a.name=b.name;

[图片上传失败...(image-356c2f-1546140371811)]

4、左半连接，semi join

右表数据不返回，左表数据只返回连接上的，类似 inner join 结果的一半

注意 select 结果不能有 b 表的东西，因为查出来就没有结果

select a.* from t_a a semi join t_b b on a.name=b.name;

[图片上传失败...(image-1b6c58-1546140371811)]

5、lateral view 连接：（这个一般意义上不叫连接）

可以把表扩展一些新的字段，但是后面需要连接数组（hive里面的数据类型array）、列表（tuple，使用 json_tuple 函数处理json字典数据时的结果），表扩展的对应行数据扩展后会对应行拼接起来

json 是表名，data 字段存放的是json 数据

select * from json lateral view json_tuple(data,'movie','rate','timeStamp','uid') a as a1,a2,a3,a4;

[图片上传失败...(image-fc29d0-1546140371811)]

[图片上传失败...(image-d597b7-1546140371811)]

[图片上传失败...(image-c4531a-1546140371811)]

三、分组聚合

一些函数

hive 中使用 show functions 可以查看函数命令

1、大写函数

将 url 字段内容大写

select upper（url）from t_pv_log；

[图片上传失败...(image-8c52d6-1546140371811)]

2、计数、count

3、查看分区

show partitions t_table；

求每条 url 的访问总次数

分组的表达式是对分组的数据进行逐组运算

count（1）表示一行就加一个

select url ，count(1) from t_pv_log group by url；

group by 分组后排序，使用 order by

这个是错的：会报 chn_name 字段不存在，这是因为order by 是对查询出来后的结果进行排序，必须是查询出来有的字段名

select length(chn_name),count(1) from tmp_base_info group by length(chn_name) order by length(chn_name);

下面这个才是对的：

select length(chn_name) as chn,count(1) from tmp_base_info group by length(chn_name) order by chn;

注意：分组查询的结果，只有分组条件字段可以直接写，其他字段只能是聚合函数的结果

四、子查询

把查询结果当做是一个表，用括号包起来并取一个别名，然后去查询。

五、hive 的数据类型

普通数据类型：

1、tinyint、smallint、int、bigint、float、double

2、日期类型 timestamp（时间戳）、date

eg：

有一些数据

1，zhangsan，1985-09-08

2，lisi，1979-07-18

那么可以创建一个表，带 birthday date 字段的去接收这些数据

3、string、char（字符型）

4、boolean（值为true、false）、binary（二进制）

复合数据类型：

1、array 数组类型

eg：有一个数据的一部分是 ‘吴京：杨刚：王伟’，如果将保存这个数据的字段定义为 string，那么要求获取其中一部分不太好求（要根据冒号切片），但是如果保存为数组就方便很多了。

定义为数组，里面是string

并且指定集合字段按照‘：’来切分

create table t_movie（movie_name string， actors array<string>，first_show date）

row format delimited fields terminated by ','

collection items terminated by ‘：’；

[图片上传失败...(image-95253e-1546140371811)]

只取数组中一部分数据，如这里用角标取出第一个演员名字

[图片上传失败...(image-fbe77-1546140371811)]

配合函数可以实现更多功能：例如array_contains 查询包含某一演员的电影

select movie_name,actors,first_show

from t_movie

where array_contains(actors,'吴刚')；

求电影有几个演员

select movie_name,actors,first_show ，size（actors）

from t_movie；

2、map 类型

eg：有一些数据如下，第二个字段是表示其家庭成员（可以 key 不一致）

1，zhangsan，father：xiaoming#mother：xiaohua#brother：xiaosu，28

2，lisi，father：mayun#mother：huangyi#sister：guanwu，22

那么可以使用一个 map 类型来对上面数据中的家庭成员进行描述

建表语句，map 里面放的是两个 string

并且分别告诉字段怎么切，元素怎切，key values 怎么切

create table t_person（id int，name string，family_members map<string,string>,age int）

row format delimited fields terminated by ','

collection items terminated by '#'

map keys terminated by ':';

查询结果

select * from t_person

[图片上传失败...(image-7d2048-1546140371811)]

查询每个人的爸爸，使用字典的取值方式

select id，name，family_members【'father'】，age

from t_person；

[图片上传失败...(image-7af6fc-1546140371811)]

查出每个人有哪些亲属，只需要取 map 的 key

select id，name，map_keys（family_members）as relations

from t_family；

[图片上传失败...(image-edab34-1546140371811)]

查出每个人亲属的名字，只需要取 values

select id，name，map_values（family_members）as relations

from t_family；

[图片上传失败...(image-dc098f-1546140371811)]

查出每个人的亲人数量

select id，name，size（family_members）as relations

from t_family；

查出所有拥有兄弟的人

这里用了函数的嵌套，使用了数组判断元素的函数

select id，name，age from t_person

where array_contains（map_keys（family_members），‘brother’）；

或者用子查询来实现

select id，name，age

from （select id，name，age，map_keys（family_members）as relations）tmp

where array_contains（relations，‘brother’）；

[图片上传失败...(image-875979-1546140371811)]

3、struct 结构体类型：

是类与 对象的结构，就是 c 语言里面的对象，因此用点语法

eg：有以下数据

1，zhansan，18：male：深圳

2，lisi，28：female：北京

3，wangwu，38：male：广州

4，赵六，26：male：上海

5，钱琪，35：male：杭州

6，王八，48：female：南京

建表映射上面的数据，因为数据结合在一起所以用结构类型来表示

防止表存在，存在就删除，不存在不会影响

drop table [if exists] t_user

create table t_user（id int，name string，

info struct<age：int，sex：string，addr：string>）

row format delimited fields terminated by ','

collection items terminated by '：'；（导入数据的时候结构体用：来分隔）

[图片上传失败...(image-a3d960-1546140371810)]

查询每个人的 id，地址，取数据用点语法

select id，name，info.addr from t_user；

[图片上传失败...(image-83696a-1546140371810)]