hive解析、处理复杂类型Map、Array、Json

Hive中Map类型的操作

map的结构

• 创建map的表

  create table temp_db.map_test(
     id int comment "源数据主键id"
    ,smap map<string,string> comment "string型map"
    ,imap map<string,int> comment "int型map"
    );
  

  map的存储形式：key-value，如：{“张三”，23，“性别“,"male"}

• 插入map数据

  insert into temp_db.map_test(id,smap,imap) 
  select 12,map('姓名','张三') as pp,map('年龄',23,'性别',1) as dd;
  
  insert into temp_db.map_test(id,smap,imap)
  select 14,map('地址','安徽') as dd,map('年级',3);
  
  -- 注意，这里的map引用使用"()",有时候会错误写成"{}";此外，对于key-value值来说，是没有特定的限制的。key可以有多个。如上"姓名","地址"
  

• 查询map中的数据

  -- ***[key]
  select smap['姓名'] as arg1,imap['年龄'] as age
  from temp_db.map_test;
  

• 删除map数据

  别搞笑了，hive不支持删除操作。可以使用insert overwrite。同理，也不支持修改

map的一些操作函数

• key键查询

  -- map_keys(colName)  结果是一个Array,如果希望提取，则使用[index],如map_keys(smap)[0]
  -- hive和prest的index起点存在差异,hive从0开始，presto从1开始【我测试的环境是这样的】
  select map_keys(smap) as smap_keys,map_keys(imap) as imap_keys
  from temp_db.map_test;
  

• value值查询

  -- map_values(colname)
  select map_values(smap) as s_values,map_values(imap) as i_values
  from temp_db.map_test;
  
  

• 键值对查询

  -- size(colName),返回对应列有多少个key-value
  select size(imap) as pair_cnt
  from temp_db.map_test;
  

map类型数据的加工

• 将map列拆分为key、value列

  -- smap中只存在单个key-value的情况，所有lateral之后，数据有单列变成双列。但是行数没有变化
  select id,skey,svalue
  from temp_db.map_test
  lateral view explode(smap) tb as skey,svalue;
  
  -- imap中 存在多个键值对。这顿操作之后，行数会增加
  select id,ikey,ivalue
  from temp_db.map_test
  lateral view explode(imap) tb as ikey,ivalue;
  

Array操作

Array的结构

• 创建Array表

  create table temp_db.array_test
  (
   id int comment '源数据主键id'
  ,year_arr array<string> comment '数组记录，年份'
  ,score_arr array<string> comment '数组记录，分数'
  );
  

• 插入数据

  insert into  temp_db.array_test (id,year_arr,score_arr)
  select 12,array('1991','1990','1989'),array('56','20','23')
  ;
  

• 查询

  -- 注意事项，如果数组越界了，则报错。
  select id,year_arr[1],year_arr[2]
  from temp_db.array_test
  

Array的一些操作

• 是否包含某个值(array_contains()),Boolean型(true/false，where条件中比较合适)

  select *
  from temp_db.array_test
  where array_contains(year_arr,'1990');
  

• 拆成单条多行记录

  select col1
  from temp_db.array_test
  lateral view explode(year_arr) tb as col1
  

Json的操作

在处理日志数据时，会遇到json格式的数据。那么，在hive中如何处理它呢？

一般情况下，json数据会以string类型，字符串格式进行存储。

• 创建案例

  create table temp_db.json_test
  (id int comment '源数据库id主键',
   str string comment '日志字符串');
  
  insert into temp_db.json_test(id,str)
  values (1,'{"name":"孙先生","carrer":"大数据开发工程师","dream":["开个便利店","去外面逛一逛","看本好书"],"friend":{
         "friend_1":"MM",
         "friend_2":"NN",
         "friend_3":"BB",
         "friend_4":"VV"
         }
          }');
  insert into temp_db.json_test(id,str)
  values (2,'{"name":"唐女士","carrer":"退休农民","dream":["儿子听话","带孙子"],"friend":{
         "friend_1":"CC"
         }
        }');
         
  

• json_tuple提取数据

  -- 提取一级格式下的数据
  select name 
  from temp_db.json_test 
  lateral view json_tuple(str,'name') tb as name;
  
  -- 提取二级格式下的数据(如好友1)
  select good_friend_1
  from temp_db.json_test
  lateral view json_tuple(str,'friend') dd as good_friend
  lateral view json_tuple(good_friend,'好友1') tb as good_friend_1;
  
  -- 提取标签中所有的内容(没有的标签，返回null)
  select good_friend_1,good_friend_2,good_friend_3
  from temp_db.json_test
  lateral view json_tuple(str,'friend') dd as good_friend
  lateral view json_tuple(good_friend,'好友1','好友2','好友3') tb as good_friend_1,good_friend_2,good_friend_3;
  
  -- 提取Array
  select dream_col
  from temp_db.json_test
  lateral view  json_tuple(str,'dream') dd as dreaming
  lateral view explode(dreaming) tb as dream_col
  

• get_json_object提取指定的json元素内容(使用"$"的方式,"."表示对象,"[]"引用数组)

  -- 获取标签对象
  select get_json_object(str,'$.name') as name
  from temp_db.json_test;
  
  -- 获取标签中的数组元素
  select get_json_object(str,'$.dream[0]') as good_friend
  from temp_db.json_test;
  
  -- 获取多层中的对象
  select get_json_object(str,'$.friend.friend_1') as good_friend
  from temp_db.json_test;
  

json_tuple与get_json_object都是hive自带的UDF。json_tuple 相对于 get_json_object 的优势就是一次可以解析多个 Json 字段。有兴趣可以参考如何在 Apache Hive 中解析 Json 数组这篇文章，其中也说了通过自行开发UDF来实现相关的功能。