[請益] inode full on glusterFS. 刪檔不見好轉
因為是暫時被抓來維護linux(CentOS 6.5)的,
對linux認識己乎等於不認識...麻煩大家了
狀況如下,
幾天前程式寫資料的volume警告寫不進去了,
經查是inode 100%造成的,
本以為只要將可搬移檔案搬離該volume就好,
發現這個磁碟是mount nfs的,
而這個nfs有作glusterFS, nodes數2,
所以我就兩台nodes各移了100多萬個目錄與檔案.
但發現才釋出 1萬多個inode數量,
而搬移的目的磁碟卻用了不少inode空間...
本以為需要重開機才會進一步release更多inode空間,
但我在reboot node 2主機後,發現情況並沒有改變.
目前再考慮是不是glusterFS的關係??
(因為.glusterfs 這個目錄的檔案數也是超多,)
或是
搬移的檔案links = 2,所以儘管檔案移到另一個磁碟也沒用?
EX:
File: `28.log'
Size: 972186 Blocks: 1920 IO Block: 4096 regular file
Device: 811h/2065d Inode: 641392 Links: 2
Access: (0664/-rw-rw-r--) Uid: ( 48/ UNKNOWN) Gid: ( 48/ UNKNOWN)
Access: 2015-02-28 00:44:25.689187822 +0800
Modify: 2015-02-28 23:59:33.104169017 +0800
Change: 2015-02-28 23:59:33.105169057 +0800
最後
再檢查的過程中,
find /Resources/ | wc -l
結果有700多萬個檔案 目錄 (/Resources 是磁碟的掛載目錄)
但df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/sdb1 4194304 4180870 13434 100% /Resources
沒有預見釋出10% inode,請教各位如何解,謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 125.227.70.205
※ 文章網址: https://www.ptt.cc/bbs/MIS/M.1456217600.A.3D0.html
推
02/23 17:45, , 1F
02/23 17:45, 1F
→
02/23 17:47, , 2F
02/23 17:47, 2F
我檢查兩台nodes,存放的檔案是兩邊各有一份,
所以新增的node在同步時不是馬上就滿了嗎?
另外加硬碟的作法,是兩個node同時加硬碟並把硬碟加到glusterfs中嗎?
原磁碟inode不是要重新格式化,才能設定大小
所以我選擇搬檔案到其他磁碟(這算是刪檔了,不知道為何刪了沒效果
※ 編輯: abcg5 (125.227.70.205), 02/24/2016 10:16:49
推
02/24 12:13, , 3F
02/24 12:13, 3F
→
02/24 12:13, , 4F
02/24 12:13, 4F
推
02/24 12:19, , 5F
02/24 12:19, 5F
謝謝,按照gluster info來看,是設定replica,
我也知道為何會明明搬了檔案,inode卻沒有釋出空間,
經過今天的測試,是因為我從gluster server搬走檔案.
/.glusterfs目錄下的檔案不會對應刪除,也不會同步到另一個node,
原來要從gluster client去執行搬檔的指令才行.
這樣就會同步到不同node,/.glusterfs的資料也會被對應刪除.
但就跑出一個新的問題,小弟之前搬的部分怎麼處理,
/.glusterfs留有太多hardlink檔,但實際的檔案卻不在了.
目前只想到重作一個node時,如果會檢查/.glusterfs,那或許可以解.
找到一篇文章,有解法
https://www.gluster.org/pipermail/gluster-users/2014-March/016726.html
明天再來試試看...
按照文章所說,找出links = 1並且不含' -> '且不是glusterfs設定檔的檔案,
刪掉就可以了.
※ 編輯: abcg5 (125.227.70.205), 02/24/2016 16:24:08
※ 編輯: abcg5 (125.227.70.205), 02/24/2016 18:24:57
※ 編輯: abcg5 (59.126.158.17), 02/27/2016 17:08:30
推
02/28 12:38, , 6F
02/28 12:38, 6F
→
02/28 12:38, , 7F
02/28 12:38, 7F
MIS 近期熱門文章
PTT職涯區 即時熱門文章
