hadoop入门系列--hive中array(或map集合类型)

传送门
hadoop入门系列--hive基础
hadoop入门系列--hive的三种集合数据类型array、map、struct以及自定义分隔符示例
hadoop入门系列--hive中array(或map集合类型)的行转多列LATERAL VIEW explode用法
传送门

前言

在做hive相关练习时，遇到这个看不懂。lateral view explode(category) t_catetory as category_name

• 理解：
• category可以是hive的集合数据类型，如array（[1030,1031,1032,1033,1190] ）、map（ 数学：80，语文：89，英语：95）
• t_catetory as category_name,想要通过as给一个别名（反映在结果的列名中，方便查看）

一、explode()

• explode()可以接受一个数组（或者一个map）作为输入，并将数组元素（或map）作为单独的输出。

二·、lateral view

• lateral view的意义是配合explode,一个语句生成把单行数据拆解成多行后的数据结果集。
• lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行数据，在此基础上可以对拆分的数据进行聚合，lateral view首先为原始表的每行调用UDTF，UDTF会把一行拆分成一行或者多行，lateral view再把结果组合，产生一个支持别名表的虚拟表。

示例数据：

//故使用得到上述结果
select A,B,C from table LATERAL VIEW explode(B) table1 as B

练习：
11.4.3 统计出视频观看数最高的 20 个视频的所属类别以及类别包含
Top20 视频的个数

思路：

1. 先找到观看数最高的 20 个视频所属条目的所有信息，降序排列
2. 把这 20 条信息中的 category 分裂出来(列转行)
3. 最后查询视频分类名称和该分类下有多少个 Top20 的视频
   最终代码：

select
 category_name as category,
 count(t2.videoId) as hot_with_views    //t2.videoId，调用t2表的videoId数据
from (
 select
 videoId,
 category_name
 from (
 select
 *
 from
 youtube_orc
 order by
 views
 desc limit
 20) t1 lateral view explode(category) t_catetory as category_name) t2    //t1、t2:相当与给这个表重命名（方便使用）
                          //1）explode()接受一个数组（或者一个map）作为输入，并将数组元素（或map）作为单独的输出。
                         // 2）lateral view的意义是配合explode,一个语句生成把单行数据拆解成多行后的数据结果集。
group by     //group by xxx  根据xxx分组
 category_name
order by    //order by xxx asc(升序，默认是升序。降序用desc)
 hot_with_views
desc;

个人的一些解释说明！！！

• 一、最终结果的类比

类别1: 7
类别2: 3

• 二、t1、t2:相当与给这个表重命名（方便使用）
• 三、1）explode()接受一个数组（或者一个map）作为输入，并将数组元素（或map）作为单独的输出。
  2）lateral view的意义是配合explode,一个语句生成把单行数据拆解成多行后的数据结果集。
  3）为什么列转行？ 因为当前表结构为：一个视频对应一个或多个类别。所以如果要group by类别，需要先将类别进行列转行(展开)，然后再进行count即可。
• 四、
  group by xxx 根据xxx分组
  补充：group by 必须配合聚合函数来用，分组之后可以计数（COUNT）,求和（SUM）,求平均数（AVG）等。
• 五、
  order by xxx asc(升序，默认是升序。降序用desc)
• 六、
  as 是别名。反映在结果的列名中