美文网首页随笔-生活工作点滴
记录一次Centos服务器tmp目录满的问题排查处理....

记录一次Centos服务器tmp目录满的问题排查处理....

作者: 迅犀数科 | 来源:发表于2019-07-05 11:33 被阅读3次

    早上美编组突然反应账号登录不上,个别文件上传不上,本人非专业的服务器运维人员,第一反应是服务器磁盘空间满了,立即上去排查一圈,发现磁盘尚有剩余空间,所以进一步排查问题,现在讲相关过程记录下来备用。

    问题发现:相关应用不能正常使用,系统有明显报错提示(如下):

    ....bash: cannot create temp fileforhere-document: No space leftondevice...

    有过初步的运维知识,并经过度妈显示 这种情况应该是服务器tmp目录被占满的提示,因此开始排除问题:

    一、查看服务器磁盘空间情况:

    df -hl 命令显示 / 根目录尚有60%空间未被使用

    df -hl 命令显示 / 根目录40%空间已使用,尚有60%的空间未被使用,所以磁盘空间占满的情况给排除了(如果出现占用100%的问题,请自行度妈找解决问题办法,不在本篇讨论的范围之内;)

    二、找出问题原因所在并排除(重点)

    因为本人非专业的运维人员,所以并不知道接下来该怎么办(大佬可以无视),经过一番搜索及请教,得到一种提示:LINUX服务器也会因为小文件太多造成inode索引使用完,而报以上错误....;  随即开始确认问题;

    1、执行命令 df -i  得到如下图:

    可恶的100%

    看到了 100%,感兴趣的人自行去百度,大致意思是LINUX写文件需要两个条件:01:磁盘有空间(文件大小占用容量);02:inode(类似于编号)之类的东东(存放文件数量),哪个有问题都会提示写入不了文件;病因找到,开始处理。

    2、因为tmp目录一般在系统 / 根目录下,随即 cd / ,切换至系统根目录下执行如下命令  

    for i in /*; doecho$i;find$i| wc -l; done

    大致意思是从 / 根目录开始逐级排查目录下文件的数量多少,一般会得到如下的图示;

    每个目录下的数字表示了目录下文件的数量

    经过层层定位,本人定位到如下目录:/var/spool/postfix/maildrop ,显示文件数量 200多万个,着实是有点大,封顶多少我也不知道,接下来就是删除文件了呗,执行如下命令:

    ls | xargs rm -rf;

    经过约10分钟左右的等待,命令执行完毕,通知美编组测试,一切恢复正常,特撰文记录。

    三、为什么会出现这种情况,后续处理

     /var/spool/postfix/maildrop 这个目录好像是存放了类似于cron执行后邮件通知的内容信息文件,继续上网查资料,发现是crontab 每次执行任务后会发送邮件,接受者是在他的配置文件 “/etc/crontab” 通过 MAILTO=root’ 来设置的,默认是root,如果执行输出没有十分必要要用邮件发送的话,可以修改此处。

    随修改如下:

    执行命令  vi /etc/crontab;

    将‘MAILTO=root’替换成‘MAILTO="",然后service crond restart即可。

    ===================================与本篇内容无关==================================

    使用命令du -h –max-depth=1 /* 查看/ 根路径下文件的大小

    du -sh /* 查看哪个目录最大,一步一步的查找大文件

    使用du -h --max-depth=1查找最大的文件

    相关文章

      网友评论

        本文标题:记录一次Centos服务器tmp目录满的问题排查处理....

        本文链接:https://www.haomeiwen.com/subject/ijpshctx.html