hive迷案之消失的分区文件

“有人把我一个分区表的某个分区数据文件删掉了，这个能查出来么？”
“具体什么情况？”
“我有一个表存了近两年的数据，按天分区，执行show partition 可以看到20171130这个分区，但是在hdfs上却找不到这个分区的数据。”
数仓和元数据系统的同学一起找到我，向我提出了上面的问题。看这气势是要把误删数据的罪魁祸首揪出来祭天的节奏。
hive元数据信息和数据文件不一致的情况有时候确实会出现。如不同用户操作引起的权限问题，或直接通过MR或spark写入数据文件等，但之前遇到的这些情况都是hive元数据中已经删除，而数据文件依然存在。
那么这次真的是人为操作引起的么？

首先要找到这个分区的数据文件是什么时候删的。我们的元数据系统每天会对有更新的表执行count 计算，当分区的数据文件找不到时，count 就会报错，所以根据日志中开始报错的日期，时间是2018-09-28。

那么这些分区是什么时候建的呢？根据hdfs中的其他分区文件的修改日期，可以看到同样是2018-09-28。当天数仓同学一共刷了近两年的分区，看了一下，唯独少了20170830分区的文件，而且就在同一天，执行count运算已经报错了。所以真的是有人在分区创建出来的当天正好操作hdfs并误删了这些文件？还是说就是刷数据的时候出错了呢？当天操作的同学确定当时刷数据是没有报错的，所以可能是hive的bug引起的静默错误。

查看hiveserver 2018-09-28 当天的日志寻找线索，根据表名以及分区关键字查找，果然有异常。对比分析20170830和20170829两个分区的日志，可以看到20170829这个分区的load过程(也就是正常情况)：

Thread-529691：Creating directory if it doesn't exist
Thread-529691：add_partition
Thread-529691：New loading path

Thread-529751：Creating directory if it doesn't exist
Thread-529751：alter_partition
Thread-529751：New loading path

而20170830这个分区的load过程：

Thread-529751：Creating directory if it doesn't exist

Thread-529691：Creating directory if it doesn't exist

Thread-529751：add_partition

Thread-529691：add_partition
Thread-529691：New loading path

Thread-529751：Moved to trash
Thread-529751：error using statement "INSERT INTO PARTITIONS ... " failed : Duplicate entry
Thread-529751：add_partition
Thread-529751：AlreadyExistsException
Thread-529751：alter_partition
Thread-529751：New loading path

这里有两个问题

1.为什么有两个线程在load分区?
2.20170830这个分区的load过程中，Thread-529751 为什么会有Moved to trash这样的行为？

对于第一个问题，hive driver 中处理一个query请求，只会有一个线程负责compile、submit job、commit等操作，所以可能是操作的同学当时重复提交了请求。由于已经是两周之前的操作了，他也无法确定当时是否重复提交，不过当时确实有开4个dp页面同时刷不同分区的情况。查看当天的日志，两年的数据只有那半年的分区是有两个线程同时在处理的。而当时他确实是以每半年的数据为一个刷数据的请求进行操作的。所以基本上就是那个请求提交了两次。

对于第二个问题，根据日志中的一些关键字，定位到load partition的函数为HiveMetaStore.HMSHandler.add_partition_core，其中load partition的逻辑简化后如下：

1. 检查分区是否已存在
2. 若分区目录不存在，创建分区目录
3. 尝试向metastore写入新分区的信息
4. 如果第3步写入失败并且第二步创建了目录，把该目录删除。

结合日志，可以看出线程Thread-529751 执行到了第2步之后被挂起，然后线程Thread-529691 执行完所有步骤，load分区成功。接着Thread-529751 被唤醒，第4步删除了分区文件。

解决方案：
可以在第4步重新检查分区是否已存在，若已存在则不删除该目录。Fix 的代码可见 HIVE-20725