一 故障描述

发现ZooKeeper重启，并且在选主，主成功选出来之后，集群显示正常，但数秒之后，又开始重启，进入上述现象的循环。

查看ZK日志后，发现选举出的leader节点，loadsnapshot的时候，报Java堆内存不足的错误: java.lang.OutOfMemory: Java heap space

image

与此同时，follower节点报错: Unexpected exception causing shutdown while sock ...Follower is ahead of the leader

image
image

查看ZK data目录/var/lib/zookeeper/version-2，发现snapshot文件超过3G

image

ZK的java堆内存设置的是4G，load 3G的snapshot，在内存展开之后，超出内存上限。导致出错。

二、临时解决方案（选一执行即可）

1 增大ZK堆内存大小

2 将所有ZK节点上的version-2目录重命名后，创建一个空的version-2目录，重新启动并初始化

三、最终解决方案

需分析snapshot为何突然增大，ZK空间，大部分被Hive任务创建的节点占用。需要找到存在问题的Hive SQL，并禁止业务提交不合理的SQL（如导致笛卡尔积的SQL）。