如果系統沒有死干淨,比如磁盤中斷和文件系統是好的,那麼也許能有日志信息保留在文件中,不過這樣的好運氣我是從來沒有遇到過的。如果鍵盤中斷還能響應 (按下Num Lock,可以看見鍵盤小燈亮滅),那麼運氣就算是足夠好了,這時可以祭出 sysrq 大法,同時按下 Alt-Sysrq-T 獲得進程系統堆棧信息,按下 Alt-Sysrq-M 獲得內存分配信息,按下 Alt-Sysrq-W 獲得當前寄存器信息。
Linux/Documentation/sysrq.txt。另外,最好關閉終端的自動 blank 功能,這樣系統死的時候至少能從屏幕上看到一些信息。設置方法是:
# echo 1 > /proc/sys/kernel/sysrq
# setterm -blank
這兩個設置最好加到系統啟動腳本中 (比如 /etc/rc.d/rc.local),保證每次啟動都能得到運行。
如果很不幸,鍵盤也死悄悄了,(更為不幸的是,這種情況很常見),那麼也不是只有等死一個辦法,這時可以用串口終端 (serial console)將系統信息發送
到另一台系統上,這樣可以通過對這些信息分析來定位問題。設置方法如下:
准備工作
1. 一台被監視的服務器,一台進行監視工作的PC。
2. 一根串口直連線。
配置
1. 在服務器上,加入一個新的 grub 項目,增加核心參數 "console=ttyS0 console=tty1",如:
kernel /boot/vmlinuz-2.4.21-9.30AXsmp ro root=LABEL=/1 console=ttyS0
console=tty1
2. 在服務器上,修改 /etc/sysconfig/syslog,加入 klogd 選項 "-c 7",保證更多內核信息得到輸出。如:
KLOGD_OPTIONS="-x -c 7"
3. 重新啟動服務器
4. 用串口直連線連接兩台機器,測試:
1) 在PC上運行 "cat /dev/ttyS0",在服務器上運行 "echo hi > /dev/ttyS0",看在 PC 上是否有 "hi" 輸出。
2) 在PC上運行 "cat /dev/ttyS0",在服務器上運行 "echo w > /proc/sysrq-trigger",看 PC 上是否有相應內核信息輸出。
3) 在PC上運行 "cat /dev/ttyS0",在服務器上運行 "modprobe loop",看 PC 上是否有相應內核信息輸出。
5. 如果測試通過,那麼在 PC 上運行:cat /dev/ttyS0 | tee /tmp/result
另外,也可以用 Windows 超級終端獲得串口信息。
that's it.
此外,一些核心支持 LKCD, netdump 等調試功能,也可以一試。
剩下的,就只有靠經驗和運氣了,一般造成 Linux 系統死機的原因有:
系統硬件問題 (SCSI 卡,主板,RAID 卡,網卡,硬盤...)
外圍硬件問題 (終端切換器,網絡...)
軟件問題
驅動 bug (去找更新的驅動試試)
核心系統 bug (去 LKML 上看看,或換個核心試試)
系統設置
最後,google一把。有時候你可以直接輸入 "Linux 系統死機怎麼辦?"
PE6650 經常死機",看有沒有人遇到過和你同樣的問題。即使沒有找到,也是一個有助於分析問題的信息,至少說明你的系統可能有和其他人不同之處。
調查 Linux 系統死機問題,這既是科學又是藝術,牽扯到眾多的硬件軟件知識和經驗,是一個不斷學習的過程