作者abcg5 (nothing)
看板MIS
标题[请益] inode full on glusterFS. 删档不见好转
时间Tue Feb 23 16:53:18 2016
因为是暂时被抓来维护linux(CentOS 6.5)的,
对linux认识己乎等於不认识...麻烦大家了
状况如下,
几天前程式写资料的volume警告写不进去了,
经查是inode 100%造成的,
本以为只要将可搬移档案搬离该volume就好,
发现这个磁碟是mount nfs的,
而这个nfs有作glusterFS, nodes数2,
所以我就两台nodes各移了100多万个目录与档案.
但发现才释出 1万多个inode数量,
而搬移的目的磁碟却用了不少inode空间...
本以为需要重开机才会进一步release更多inode空间,
但我在reboot node 2主机後,发现情况并没有改变.
目前再考虑是不是glusterFS的关系??
(因为.glusterfs 这个目录的档案数也是超多,)
或是
搬移的档案links = 2,所以尽管档案移到另一个磁碟也没用?
EX:
File: `28.log'
Size: 972186 Blocks: 1920 IO Block: 4096 regular file
Device: 811h/2065d Inode: 641392 Links: 2
Access: (0664/-rw-rw-r--) Uid: ( 48/ UNKNOWN) Gid: ( 48/ UNKNOWN)
Access: 2015-02-28 00:44:25.689187822 +0800
Modify: 2015-02-28 23:59:33.104169017 +0800
Change: 2015-02-28 23:59:33.105169057 +0800
最後
再检查的过程中,
find /Resources/ | wc -l
结果有700多万个档案 目录 (/Resources 是磁碟的挂载目录)
但df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/sdb1 4194304 4180870 13434 100% /Resources
没有预见释出10% inode,请教各位如何解,谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 125.227.70.205
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/MIS/M.1456217600.A.3D0.html
1F：推 xxoo1122: 再加glusterfs的node就解决了 02/23 17:45
2F：→ xxoo1122: 不然就是加硬碟或是删档案 02/23 17:47
我检查两台nodes,存放的档案是两边各有一份,
所以新增的node在同步时不是马上就满了吗?
另外加硬碟的作法,是两个node同时加硬碟并把硬碟加到glusterfs中吗?
原磁碟inode不是要重新格式化,才能设定大小
所以我选择搬档案到其他磁碟(这算是删档了,不知道为何删了没效果
※ 编辑: abcg5 (125.227.70.205), 02/24/2016 10:16:49
3F：推 xxoo1122: gluster volume info 02/24 12:13
4F：→ xxoo1122: 你先看一下glusterfs 的资讯 02/24 12:13
谢谢,按照gluster info来看,是设定replica,
我也知道为何会明明搬了档案,inode却没有释出空间,
经过今天的测试,是因为我从gluster server搬走档案.
/.glusterfs目录下的档案不会对应删除,也不会同步到另一个node,
原来要从gluster client去执行搬档的指令才行.
这样就会同步到不同node,/.glusterfs的资料也会被对应删除.
但就跑出一个新的问题,小弟之前搬的部分怎麽处理,
/.glusterfs留有太多hardlink档,但实际的档案却不在了.
目前只想到重作一个node时,如果会检查/.glusterfs,那或许可以解.
找到一篇文章,有解法
https://www.gluster.org/pipermail/gluster-users/2014-March/016726.html
明天再来试试看...
按照文章所说,找出links = 1并且不含' -> '且不是glusterfs设定档的档案,
删掉就可以了.
※ 编辑: abcg5 (125.227.70.205), 02/24/2016 16:24:08
※ 编辑: abcg5 (125.227.70.205), 02/24/2016 18:24:57
※ 编辑: abcg5 (59.126.158.17), 02/27/2016 17:08:30
6F：推 xxoo1122: 恭喜你解完了，分散式的储存比较复杂一点，所以操作都要 02/28 12:38
7F：→ xxoo1122: 比较小心一点 02/28 12:38