【Hive】再看看如何将宽表转换成长表

前言

长宽格式数据之间相互转换使用到的函数，可以叫做表格生成函数。前面已经介绍了在 Hive 中如何将长格式数据转换成宽格式数据，现介绍一下在 Hive 中如何将宽格式数据转换成长格式数据。

【Hive】实现长格式数据转换成宽格式数据

需求描述

某电商数据库中存在表 user_info，以宽格式数据记录着客户属性数据和消费数据，需要将左边 user_info 宽格式数据转化成右边长格式数据。

image.png

需求实现

做以下说明

image.png

同样，其他数据库环境可以同等替换上面的函数。

需求实现思路

步骤一：将宽格式客户信息转化成 map 格式的数据

u001  {"age":"25","education":"master","first_buytime":"2018/1/3","name":"Sulie","regtime":"2018/1/2","sex":"male"} 
u002  {"age":"30","education":"Bachelor","first_buytime":"2018/5/5","name":"LuBan","regtime":"2018/3/4","sex":"male"}   
u003  {"age":"27","education":"PhD","first_buytime":"2018/5/4","name":"ZhenJi","regtime":"2018/4/3","sex":"female"}

步骤二：使用 explode 函数将 map 格式数据中的元素拆分成多行显示

user_no	feature_name	feature_value
u001	name	Sulie
u001	sex	male
u001	age	25
u001	education	master
u001	regtime	2018/1/2
u001	first_buytime	2018/1/3
u002	name	LuBan
u002	sex	male
u002	age	30
u002	education	Bachelor
u002	regtime	2018/3/4
u002	first_buytime	2018/5/5
u003	name	ZhenJi
u003	sex	female
u003	age	27
u003	education	PhD
u003	regtime	2018/4/3
u003	first_buytime	2018/5/4

需求实现代码

步骤一实现

select 
    user_no
    ,map('name',name, 'sex',sex, 'age',age, 'education',education, 'regtime',regtime, 'first_buytime',first_buytime) feature_map    
from user_info

使用 map 函数将客户信息转换成 map 格式的数据。

步骤二实现

select 
    user_no
    ,explode(feature_map)   
    from(
        select 
            user_no
            ,map('name',name, 'sex',sex, 'age',age, 'education',education, 'regtime',regtime, 'first_buytime',first_buytime) feature_map    
        from user_info
) a

使用 explode 函数将 map 格式数据中的元素拆分成多行显示。

总结

前后两部分介绍了长宽格式数据之间如何相互转换。会发现不管是将长格式数据转换成宽格式数据还是将宽格式数据转换成长格式数据，都是先将数据转换成 map 格式数据。长格式数据转换成宽格式数据：先将长格式数据转换成 map 格式数据，然后使用列名['key']得到每一个 key 的 value；宽格式数据转换成长格式数据：先将宽格式数据转换成 map 格式数据，然后使用 explode 函数将 map 格式数据中的元素拆分成多行显示。顺便说一句，R 语言中也是通过类似的方法实现长宽格式之间相互转换的。

image.png