Linux磁盘100%已用求解答

林兴洋 发布于 2018/11/14 18:54
阅读 144
收藏 0


系统版本
[root@localhost mysql]# cat
/etc/centos-release CentOS Linux release 7.3.1611 (Core)

[root@localhost mysql]# df -h
文件系统             容量  已用  可用 已用% 挂载点
/dev/mapper/cl-root   50G   50G   20K  100% /
devtmpfs             3.9G     0  3.9G    0% /dev
tmpfs                3.9G     0  3.9G    0% /dev/shm
tmpfs                3.9G  377M  3.5G   10% /run
tmpfs                3.9G     0  3.9G    0% /sys/fs/cgroup
/dev/sda1           1014M  139M  876M   14% /boot
/dev/mapper/cl-home  198G   23G  175G   12% /home
tmpfs                783M     0  783M    0% /run/user/0
[root@localhost mysql]# 


这里inode值比较大,是因为/usr文件中文件比较多
[root@localhost mysql]# df -i
文件系统                Inode 已用(I)   可用(I) 已用(I)% 挂载点
/dev/mapper/cl-root     55680   49112      6568      89% /
devtmpfs               998610     364    998246       1% /dev
tmpfs                 1001351       1   1001350       1% /dev/shm
tmpfs                 1001351     576   1000775       1% /run
tmpfs                 1001351      16   1001335       1% /sys/fs/cgroup
/dev/sda1              524288     330    523958       1% /boot
/dev/mapper/cl-home 103346176   25421 103320755       1% /home
tmpfs                 1001351       1   1001350       1% /run/user/0
[root@localhost mysql]# find /usr | wc -l
44229


注:/home由于挂在另外一个磁盘下,所以可以无视。
那在/dev/mapper/cl-root这块盘下大致就用了(29-23=6G)

[root@localhost mysql]# du -sh /
29G  
[root@localhost mysql]# du -sh /*
0       /bin
106M    /boot
0       /dev
30M     /etc
23G     /home
0       /lib
0       /lib64
0       /media
0       /mnt
0       /proc
69M     /root
377M    /run
0       /sbin
0       /srv
0       /sys
2.0M    /tmp
2.0G    /usr
3.5G    /var


前面这台机器不归我管,后来出了这个问题让我来弄。
经理说,前面这台机器还好好的,有一天重启了一下,然后就发现mysql启动不了了,查看一下磁盘用了100%了,然后就删了一些日志文件,大概清理了2G,然后重启一下,结果重启完又变成100%,清理出来的2G不见了


已尝试:

1)怀疑过中毒了,但是CPU没有异样,就磁盘有问题
[root@localhost mysql]# top
top - 18:43:57 up 27 days, 19:01,  2 users,  load average: 0.12, 0.13, 0.27
Tasks: 126 total,   1 running, 125 sleeping,   0 stopped,   0 zombie
%Cpu(s):  1.1 us,  2.3 sy,  0.0 ni, 96.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  8010812 total,   141016 free,  2661320 used,  5208476 buff/cache
KiB Swap:  8257532 total,  8223976 free,    33556 used.  4563024 avail Mem 

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                                  
 9220 root      20   0 6698700 359604   9476 S   5.6  4.5 733:59.96 java                                                                                     
12082 root      20   0 6449520 1.702g  12528 S   2.6 22.3  36:43.26 java                                                                                     
25297 root      20   0  357720   9564   2252 S   2.3  0.1 442:00.22 xfrpc                                                                                    
32298 root      20   0  430396   9236   2256 S   2.3  0.1 437:20.19 xfrpc                                                                                    
 3133 root      20   0  169688  10560   1104 S   0.7  0.1 114:14.54 redis-server                                                                             
 2993 root      20   0  157704   2216   1536 R   0.3  0.0   0:00.05 top                                                                                      
    1 root      20   0   45816   5408   3004 S   0.0  0.1   1:05.65 systemd                                                                                  
    2 root      20   0       0      0      0 S   0.0  0.0   0:01.04 kthreadd                                                                                 
    3 root      20   0       0      0      0 S   0.0  0.0   0:13.22 ksoftirqd/0                                                                              
    7 root      rt   0       0      0      0 S   0.0  0.0   0:03.42 migration/0                                                                              
    8 root      20   0       0      0      0 S   0.0  0.0   0:00.00 rcu_bh                                                                                   
    9 root      20   0       0      0      0 S   0.0  0.0  29:27.01 rcu_sched                                                                                
   10 root      rt   0       0      0      0 S   0.0  0.0   0:22.34 watchdog/0                                                                               
   11 root      rt   0       0      0      0 S   0.0  0.0   0:22.23 watchdog/1                                                                               
   12 root      rt   0       0      0      0 S   0.0  0.0   0:01.89 migration/1                                                                              
   13 root      20   0       0      0      0 S   0.0  0.0   0:23.27 ksoftirqd/1                                                                              
   16 root      rt   0       0      0      0 S   0.0  0.0   0:23.70 watchdog/2                                                                               
   17 root      rt   0       0      0      0 S   0.0  0.0   0:02.59 migration/2                                                                              
   18 root      20   0       0      0      0 S   0.0  0.0   0:22.26 ksoftirqd/2      

2)主要运行的程序有   tomcat,redis,mosquitto
我已经排除了tomcat日志过大的问题,我重启过tomcat,如果过大的话,重启的时候已经没掉了。
redis占用的内存看了下,也不是很大,才百来兆。


3)losf | grep delete 也已经试过了,没发现有什么占用着
因为重启之后磁盘还是满的,也不太可能是什么进程占用着文件没释放

[root@localhost conf]# lsof | grep deleted
tuned       930            root    7u      REG              253,0        4096   67161125 /tmp/ffirMlJJF (deleted)
gmain       930  2261      root    7u      REG              253,0        4096   67161125 /tmp/ffirMlJJF (deleted)
tuned       930  2262      root    7u      REG              253,0        4096   67161125 /tmp/ffirMlJJF (deleted)
tuned       930  2263      root    7u      REG              253,0        4096   67161125 /tmp/ffirMlJJF (deleted)
tuned       930  2264      root    7u      REG              253,0        4096   67161125 /tmp/ffirMlJJF (deleted)
[root@localhost conf]# 

4)磁盘坏了~
如果是这种情况,就莫得办法咯。


求大神帮忙~先谢过了。

加载中
0
林兴洋
林兴洋

5)另外,关于隐藏文件我也查了,隐藏文件没有占太多空间

0
开源中国首席弟子
林兴洋
林兴洋
哈 ,du 查询没有满啊~这个是问题。
0
我看你还调皮
我看你还调皮

到/var/log/目录下,先删除一些不用的日志,保障你Mysql 可以启动

我觉得是你Home 挂载的方式有问题,要不然就是有人在Home 目录下使用了软链,最终占用了/的磁盘

林兴洋
林兴洋
再次提问
0
林兴洋
林兴洋

日志现在才50M,不大,现在mysql已经移到另外一台机子上跑了

[root@localhost /]# du -sh /var/log/
49M     /var/log/

另外,这个系统是安装在VMware里面的,不知道这点有没有影响

至于挂载问题,因为有好几台机器,都是类似配置的,下面是另外一台机器的df信息。其他机器都好好的,就这台有问题,应该不是挂载问题

[root@localhost ~]# df -h
文件系统             容量  已用  可用 已用% 挂载点
/dev/mapper/cl-root   50G   21G   30G   41% /
devtmpfs             3.9G     0  3.9G    0% /dev
tmpfs                3.9G     0  3.9G    0% /dev/shm
tmpfs                3.9G   17M  3.9G    1% /run
tmpfs                3.9G     0  3.9G    0% /sys/fs/cgroup
/dev/sda1           1014M  139M  876M   14% /boot
/dev/mapper/cl-home   70G   33M   70G    1% /home
tmpfs                783M     0  783M    0% /run/user/0

 

有人在Home 目录下使用了软链,最终占用了/的磁盘。

这个有点不理解,你的意思类似是home下存在一个xxx.link,引用了root下的xxx文件 /home/xxx.link -> /root/xxx 。  但这个文件既然是存在/下面的,那它的大小应该已经算到 / 下面了吧(而不是算到/home下面) 

 

 

我看你还调皮
我看你还调皮
fdisk -l 查看下你这个机器有几块磁盘
0
林兴洋
林兴洋

@我看你还调皮

看来是一个大盘,拆成几个分区

[root@localhost doc]# fdisk -l

磁盘 /dev/sda:274.9 GB, 274877906944 字节,536870912 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理):512 字节 / 512 字节
I/O 大小(最小/最佳):512 字节 / 512 字节
磁盘标签类型:dos
磁盘标识符:0x000ce4ea

   设备 Boot      Start         End      Blocks   Id  System
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200   536870911   267385856   8e  Linux LVM

磁盘 /dev/mapper/cl-root:53.7 GB, 53687091200 字节,104857600 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理):512 字节 / 512 字节
I/O 大小(最小/最佳):512 字节 / 512 字节


磁盘 /dev/mapper/cl-swap:8455 MB, 8455716864 字节,16515072 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理):512 字节 / 512 字节
I/O 大小(最小/最佳):512 字节 / 512 字节


磁盘 /dev/mapper/cl-home:211.7 GB, 211652968448 字节,413384704 个扇区
Units = 扇区 of 1 * 512 = 512 bytes
扇区大小(逻辑/物理):512 字节 / 512 字节
I/O 大小(最小/最佳):512 字节 / 512 字节
 

返回顶部
顶部