Hive6:collect_list/collect_set（列

Hive中collect相关的函数有collect_list和collect_set。
它们都是将分组中的某列转为一个数组返回，不同的是collect_list不去重而collect_set去重。

实践：做简单的实验加深理解，创建一张实验用表，存放用户每天点播视频的记录：
1.创建表：

create table t_visit_video (
    username string,
    video_name string
) partitioned by (day string)
row format delimited fields terminated by ',';

2.在本地文件系统创建测试数据文件：
]# vim visit.data
张三,大唐双龙传
李四,天下无贼
张三,神探狄仁杰
李四,霸王别姬
李四,霸王别姬
王五,机器人总动员
王五,放牛班的春天
王五,盗梦空间
3.将数据加载到Hive表：

hive (default)> load data local inpath '/root/visit.data' into table t_visit_video partition(day='20200603'); 
hive (default)> select * from t_visit_video; 

4.按用户分组，取出每个用户每天看过的所有视频的名字：

hive (default)> select username,collect_list(video_name) from t_visit_video group by username; 

5.使用collect_set去重：

select username, collect_set(video_name) from t_visit_video group by username;

6. 取出分组后的第二列

hive (default)> select username,collect_set(video_name)[1] from t_visit_video group by username;