大容量XFS異常處理
今天在檢查報警的時候發現部分數據異常,登陸備份機查看文件狀態的時候發現磁盤空間已經滿了,inode也已經有問題了,因此先停掉了所有的備份進程,開始檢查問題。
首先是磁盤空間滿了,嘗試刪除部分文件,發現部分文件無法刪除,文件狀態比較異常。
於是乎,先將所有的腳本拷貝出來,備份系統日志,備份計劃任務,各種備份。
然後開始動刀了。
進不去,刪不了。還好有幾個是比較正常的,最後恢復出500G的空間,但由於每次備份都很多,因此還是先把所有的備份計劃停止。
再看一下inode空間,也釋放了一些,然後卸載盤再掛載,inode正常了,但上面的異常情況仍然存在。沒有辦法就繼續處理。
後來找系統組的同事過來幫忙,處理的時候突然說了一下XFS格式的分區在大容量的情況下可能會出現異常的事兒時,突然想起今年處理過另外的一台類似機器,但那台機器的現象是提示磁盤空間不足,但df 和 df -i都可以看到沒有問題,就是死活不足的故障發生過,當時的處理方法就是加了一個inode64,在/etc/fstab裡面,因此我們嘗試把這個參數也加在了這台機器的配置文件裡面,卸載、掛載,最後成功!
問題還是出現在了XFS對於大磁盤空間的支持上面,默認會把inode文件存儲在第一個T裡面,因此在磁盤空間使用量較多的時候可能會出現類似的問題,因此最後決定需要把所有使用了XFS的機器上面都加上inode64參數,避免類似問題再次發生。