2016.11.16

Hive出现数据倾斜的原因：

1)、key分布不均匀

2)、业务数据本身的特性

3)、建表时考虑不周

4)、某些SQL语句本身就有数据倾斜

Hive出现数据倾斜的表现：

任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。

单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。最长时长远大于平均时长。

Hive：sort by和order by的区别：

Order by全局排序

sort by是分组有序，全局无序，一般用法是distribute + sort by

删除目录下的所有类似名称数据：

drwxr-xr-x3 root root 4096 Nov 15 03:16 '2016-11-14'

drwxr-xr-x3 root root 4096 Nov 16 04:55 '2016-11-15'

drwxr-xr-x3 root root 4096 Nov 17 03:19 '2016-11-16'

drwxr-xr-x3 root root 4096 Nov 18 08:51 '2016-11-17'

drwxr-xr-x 19 root root 4096 Nov 18 08:56gdpv

drwxr-xr-x 19 root root 4096 Nov 18 08:54gdvod

drwxr-xr-x 19 root root 4096 Nov 18 08:40pvlog

[root@hive-m dataftp]# rm -rf \'2016-11-*