美文网首页
sqoop:导出MySQL数据至Hive时,Null值处理

sqoop:导出MySQL数据至Hive时,Null值处理

作者: 大空翼123 | 来源:发表于2021-12-07 19:35 被阅读0次

    Hive中的Null在底层是以“\N”来存储,而MySQL中的Null在底层就是Null,直接导入Hive会把null识别为字符串,为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入数据时采用--null-string和--null-non-string。

    Hive建表的时候null值转为空字符串

    CREATE EXTERNAL TABLE ods_coupon_info_full

    (

    `id`               STRING COMMENT '购物券编号',

    `coupon_name`      STRING COMMENT '购物券名称'

    )

        PARTITIONED BY (`dt` STRING)

        ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'

        NULL DEFINED AS ''

        LOCATION '/warehouse/gmall/ods/ods_coupon_info_full/'

    相关文章

      网友评论

          本文标题:sqoop:导出MySQL数据至Hive时,Null值处理

          本文链接:https://www.haomeiwen.com/subject/lspaxrtx.html