现象描述
数据经Storm处理写入ES, 反应测试环境elastic cluster无数据写入,特此进行排查!!!
日志追踪
查看Storm日志; 可以看到写入集群的错误信息如下:
ClusterBlockException[blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];]
经过排查给出的解决方案是:
“index.blocks.read_only_allow_delete”: false
但问题是什么原因导致的哪?
查看es index settings
经查看Es Index Settings:发现如下配置
“index.blocks.read_only_allow_delete”: true
意思是只读,不允许写入;但是该配置是人为添加还是系统内部更改导致的哪?
查看 ES 日志
查看Master日志:可以清晰看到; 磁盘空间不足
4:56:43[2019-05-23T20:56:43,156][WARN ][o.e.c.r.a.DiskThresholdMonitor] [master1] flood stage disk watermark [95%] exceeded on [X-sdwzO5SIaH-m_yCo6Mug][data2][/usr/share/elasticsearch/data/nodes/0] free: 2.4gb[4.9%], all indices on this node will marked read-only
Elastic Disk 占用达到 85%,会自动更新为只读状态
删除索引
删除部分索引,磁盘空间释放,但是配置并没有动态更改
手动更新配置
http://172.24.8.188:9200/mf_index*/_settings
{
"index.blocks.read_only_allow_delete": false
}
网友评论