美文网首页
Hive的transform使用

Hive的transform使用

作者: 峰峰仔 | 来源:发表于2019-04-13 20:45 被阅读0次
    1. 创建Hive表
    hive> create table test_transform (id string,name string) row format delimited fields terminated by '\t';
    OK
    Time taken: 1.713 seconds
    
    1. 添加测试数据
    hive>  insert into test_transform(id, name) values(1, "snow"),(2, "feng"),(3,"wind");
    
    1. 添加transform的python脚本
    # test_transform.py 
    import sys
    for line in sys.stdin:
        (id, name) = line.strip('\n').split('\t')
        sys.stdout.write(id + '\t' + 'hello' + name + '\t' + name + '\n')
    

    4.在Hive中添加python文件

    add file /opt/feng/hive/test_transform.py;
    
    1. 运行Hive查询
    hive>  select transform(id, name) using 'python test_transform.py' as (id, appendname,name) from test_transform;
    #输出结果
    1   hellosnow   snow
    2   hellofeng   feng
    3   hellowind   wind
    

    相关文章

      网友评论

          本文标题:Hive的transform使用

          本文链接:https://www.haomeiwen.com/subject/dsorwqtx.html