美文网首页
记录一次HDFS集群异常

记录一次HDFS集群异常

作者: 张志_koen_zhang | 来源:发表于2018-07-11 11:25 被阅读0次
image.png

经过分析,由实时计算pisces服务spark streamming 任务日志导致hdfs空间暴增。


image.png

.inprogress 结尾的为未完成任务

hdfs dfs -ls /user/spark/applicationHistory/ | grep application_ | grep -v '.inprogress$'|awk '{print $8}'
hdfs dfs -rm -f $(hdfs dfs -ls /user/spark/applicationHistory/ | grep application_ | grep -v '.inprogress$'|awk '{print $8}')

默认删除入hdfs回收站,所以需要清理/user/hdfs/.Trash/* 内容,才是释放空间。


image.png
crontab -u hdfs -e
0 2 * * * sh  hdfs dfs -rm -f $(hdfs dfs -ls /user/spark/applicationHistory/ | grep application_ |awk '{print $8}') && hdfs dfs -rm -r -f /user/hdfs/.Trash/*

此时空间已被正常清理,等待一会hdfs集群服务恢复正常。


image.png image.png

相关文章

  • 记录一次HDFS集群异常

    经过分析,由实时计算pisces服务spark streamming 任务日志导致hdfs空间暴增。 .inpro...

  • 记录一次hdfs存储异常

    报错信息 处理过程 1.通过命令hdfs fsck /data/logs/ -openforwrite 检查哪些文...

  • Hadoop集群搭建笔记

    集群分类 Hadoop的集群分为HDFS集群和YARN集群,两者逻辑上分离,物理上常在一起 HDFS集群负责还海量...

  • NameNode HA异常调查

    【起因】22:31:04分被通知集群异常,无法正常处理调度任务;远程登录查看,发现HDFS NameNode发生脑...

  • hadoop学习大纲

    Hadoop集群环境搭建 Hadoop集群环境搭建 HDFS 图说HDFS基本原理hadoop的shell命令操作...

  • Hadoop课程大纲

    Hadoop集群环境搭建 Hadoop集群环境搭建 HDFS 图说HDFS基本原理hadoop的shell命令操作...

  • Hadoop课程大纲

    Hadoop集群环境搭建 Hadoop集群环境搭建 HDFS 图说HDFS基本原理hadoop的shell命令操作...

  • Hadoop 课程大纲

    Hadoop集群环境搭建 Hadoop集群环境搭建 HDFS 图说HDFS基本原理hadoop的shell命令操作...

  • 2.Hue对于Hadoop,Hive,Impala,MySQL的

    Hadoop的整合 注意修改完 HDFS 相关配置后,需要把配置 scp 给集群中每台机器,重启 hdfs 集群。...

  • 大数据 HDFS集群搭建 文件配置详解

    HDFS有用的配置文件及说明 1、hdfs-site.xml HA集群需要使用命名空间区分一个HDFS集群。同一个...

网友评论

      本文标题:记录一次HDFS集群异常

      本文链接:https://www.haomeiwen.com/subject/mnthpftx.html