最近业务部门反应数据上报上来数据中有字段缺失。有个字段daily_amount在MQ里面是有值的，但是导入到impala后查到的确为NULL。先交代一下背景。数据平台的数据流水线如下：
数据流水线
数据上报后首先写入到MQ里，通过一个消费者将数据存入HBase中，每天通过Impala JDBC接口增量将数据以Parquet格式写入HDFS中。
1.首先想到数据有没有写到HBase中，通过HBase Shell查看了一下数据是有的
HBase中的数据
2.然后想会不会是创建外部表时，HBase中的列名称和Impala表的字段没有对上？因为整个过程都是程序执行的，虽然这种可能性不大，但还是检查了一下，将HBase列映射和Impala的字段依次列到文本文件中看相应的字段是否在同一行，顺便看看有没有拼写错误。
3.没有头绪，抱着试一试的心态在Hive中查了一下同一条数据的同一个字段，发现数据竟然是有的。初步判断是Impala对HBase外部表的一个兼容性问题。
Hive中的数据
总结：impala尽量只用作OLAP，在离线任务里面尽可能使用Hive。
最近业务部门反应数据上报上来数据中有字段缺失。有个字段daily_amount在MQ里面是有值的，但是导入到imp...
1、查看所有的外部表 1）在Linux环境切换到impala：impala-shell -i HAZZ-IPMS...
通过自定义SparkSQL外部数据源实现SparkSQL读取HBase 标签: SparkSQL HBase Sa...
背景：工作中，创建 hbase 映射 hive 外部表，执行sql语句向hive外部表中 insert 数据时，出...
Impala概述 Impala是什么 Impala是一款针对HDFS和HBASE中的PB级别数据进行交互式实时查询...
使用cloudera安装的免费集群，使用impala在自己创建的/graph目录下创建外部表时报错Permissi...
Hbase 中如何统计一张表的行数最快？ 方案一：分布式计算程序，读取 Hbase 数据，统计 rowkey 的个...
方案：通过kudu的API创建含中文字段的表，然后在Impala中创建外部表进行关联。下面详细介绍该方案。 1、调...
在hdp平台上，使用hive控制台创建一个hbase的外部表，出现ERROR : FAILED: Executio...
Impala的操作命令 一.Impala的外部shell 选项描述-h, --help显示帮助信息-v or --...
本文标题：Impala读取HBase外部表的一个坑
本文链接：https://www.haomeiwen.com/subject/rlrvextx.html
网友评论