问题症状
df -h 查看磁盘空间占用80多G,但实际du -sh /* 查看只有不到20G空间占用。
产生原因
前几天,某个应用日志单个文件超过30多G,当时直接手动删除了该文件。
原因分析
在 Linux 中,当我们使用 rm 删除了大文件,但是如果有进程打开了这个大文件,却没有关闭这个文件的句柄,那么 Linux 内核还是不会释放这个文件的磁盘空间,最后造成磁盘空间依旧占用。
这种情况下,通过 df 和 du 命令查找的磁盘空间,两者是无法匹配的,可能 df 显示磁盘 100%,而 du 查找目录的磁盘容量占用却很小。
遇到这种情况,基本可以断定是某些大文件被某些程序占用了,并且这些大文件已经被删除了,但是对应的文件句柄没有被某些程序关闭,造成内核无法收回这些文件占用的空间。
解决
使用以下命令查找哪些文件被某些程序占用:
lsof -n | grep deleted
如果lsof命令不存在,则yum安装即可
yum install lsof -y
打印出所有针对已删除文件的读写操作,这类操作是无效的,也正是磁盘空间莫名消失的根本原因。
批量杀死占用进程释放空间:
lsof -n | grep deleted | grep 'xxx' | awk '{print $2}' | xargs kill -9
xxx指的是我们删除的文件的指定名称,这里也可以不指定文件名。
备注:杀死进程后需要检查对应服务是否正常运行,如果服务同时异常终止了,记得注意重新启动对应服务。