Linux命令----分析CPU的瓶頸
衡量CPU性能的指標：
1，用戶使用CPU的情況；
CPU運行常規用戶進程
CPU運行niced process
CPU運行實時進程
2，系統使用CPU情況；
用於I/O管理：中斷和驅動
用於內存管理：頁面交換
用戶進程管理：進程開始和上下文切換
3，WIO：用於進程等待磁盤I/O而使CPU處於空閒狀態的比率。
4，CPU的空閒率，除了上面的WIO以外的空閒時間
5，CPU用於上下文交換的比率
6，nice
7，real-time
8，運行進程隊列的長度
9，平均負載
Linux中常用的監控CPU整體性能的工具有：
mpstat： mpstat 不但能查看所有CPU的平均信息，還能查看指定CPU的信息。
vmstat：只能查看所有CPU的平均信息；查看cpu隊列信息；
iostat: 只能查看所有CPU的平均信息。
sar： 與mpstat 一樣，不但能查看CPU的平均信息，還能查看指定CPU的信息。
top：顯示的信息同ps接近，但是top可以了解到CPU消耗，可以根據用戶指定的時間來更新顯示。
下面一一介紹：
一，vmstat
[root@localhost ~]#vmstat -n 3 (每個3秒刷新一次）
procs-----------memory--------------------swap-- ----io---- --system---- ------cpu--------
r b swpd free buff cache si so bi bo in cs us sy id wa
10 144 186164 105252 2386848 0 0 18 166 83 2 48 21 31 0
20 144 189620 105252 2386848 0 0 0 177 1039 1210 34 10 56 0
00 144 214324 105252 2386848 0 0 0 10 1071 670 32 5 63 0
00 144 202212 105252 2386848 0 0 0 189 1035 558 20 3 77 0
20 144 158772 105252 2386848 0 0 0 203 1065 2832 70 14 15 0
紅色內容標示CPU相關的參數
PROC(ESSES)
--r:如果在processes中運行的序列(process r)是連續的大於在系統中的CPU的個數表示系統現在運行比較慢,有多數的進程等待CPU.
如果r的輸出數大於系統中可用CPU個數的4倍的話,則系統面臨著CPU短缺的問題,或者是CPU的速率過低,系統中有多數的進程在等待CPU,造成系統中進程運行過慢.
SYSTEM
--in:每秒產生的中斷次數
--cs:每秒產生的上下文切換次數
上面2個值越大，會看到由內核消耗的CPU時間會越大
CPU
-us:用戶進程消耗的CPU時間百分
us的值比較高時，說明用戶進程消耗的CPU時間多，但是如果長期超50%的使用，那麼我們就該考慮優化程序算法或者進行加速（比如PHP/PERL）
-sy:內核進程消耗的CPU時間百分比（sy的值高時，說明系統內核消耗的CPU資源多，這並不是良性表現，我們應該檢查原因）
-wa:IO等待消耗的CPU時間百分比
wa的值高時，說明IO等待比較嚴重，這可能由於磁盤大量作隨機訪問造成，也有可能磁盤出現瓶頸（塊操作）。
-id:CPU處於空閒狀態時間百分比,如果空閒時間(cpu id)持續為0並且系統時間(cpu sy)是用戶時間的兩倍(cpu us) 系統則面臨著CPU資源的短缺.
解決辦法:
當發生以上問題的時候請先調整應用程序對CPU的占用情況.使得應用程序能夠更有效的使用CPU.同時可以考慮增加更多的CPU. 關於CPU的使用情況還可以結合mpstat, ps aux top prstat –a等等一些相應的命令來綜合考慮關於具體的CPU的使用情況,和那些進程在占用大量的CPU時間.一般情況下，應用程序的問題會比較大一些.比如一些SQL語句不合理等等都會造成這樣的現象.
二，sar
sar [options] [-A] [-o file] t [n]
在命令行中，n 和t 兩個參數組合起來定義采樣間隔和次數，t為采樣間隔，是必須有
的參數，n為采樣次數，是可選的，默認值是1，-o file表示將命令結果以二進制格式
存放在文件中，file 在此處不是關鍵字，是文件名。options 為命令行選項，sar命令
的選項很多，下面只列出常用選項：
-A：所有報告的總和。
-u：CPU利用率
-v：進程、I節點、文件和鎖表狀態。
-d：硬盤使用報告。
-r：內存和交換空間的使用統計。
-g：串口I/O的情況。
-b：緩沖區使用情況。
-a：文件讀寫情況。
-c：系統調用情況。
-q：報告隊列長度和系統平均負載
-R：進程的活動情況。
-y：終端設備活動情況。
-w：系統交換活動。
-x { pid | SELF | ALL }：報告指定進程ID的統計信息，SELF關鍵字是sar進程本身的統計，ALL關鍵字是所有系統進程的統計。
用sar進行CPU利用率的分析
#sar -u 2 10
Linux 2.6.18-53.el5PAE (localhost.localdomain) 03/28/2009
07:40:17 PM CPU %user %nice %system %iowait %steal %idle
07:40:19 PM all 12.44 0.00 6.97 1.74 0.00 78.86
07:40:21 PM all 26.75 0.00 12.50 16.00 0.00 44.75
07:40:23 PM all 16.96 0.00 7.98 0.00 0.00 75.06
07:40:25 PM all 22.50 0.00 7.00 3.25 0.00 67.25
07:40:27 PM all 7.25 0.00 2.75 2.50 0.00 87.50
07:40:29 PM all 20.05 0.00 8.56 2.93 0.00 68.46
07:40:31 PM all 13.97 0.00 6.23 3.49 0.00 76.31
07:40:33 PM all 8.25 0.00 0.75 3.50 0.00 87.50
07:40:35 PM all 13.25 0.00 5.75 4.00 0.00 77.00
07:40:37 PM all 10.03 0.00 0.50 2.51 0.00 86.97
Average: all 15.15 0.00 5.91 3.99 0.00 74.95
在顯示內容包括：
%user：CPU處在用戶模式下的時間百分比。
%nice：CPU處在帶NICE值的用戶模式下的時間百分比。
%system：CPU處在系統模式下的時間百分比。
%iowait：CPU等待輸入輸出完成時間的百分比。
%steal：管理程序維護另一個虛擬處理器時，虛擬CPU的無意識等待時間百分比。
%idle：CPU空閒時間百分比。
在所有的顯示中，我們應主要注意%iowait和%idle，%iowait的值過高，表示硬盤存在I/O瓶頸，%idle值高，表示CPU較空閒，如果%idle值高但系統響應慢時，有可能是CPU等待分配內存，此時應加大內存容量。%idle值如果持續低於10，那麼系統的CPU處理能力相對較低，表明系統中最需要解決的資源是CPU。
用sar進行運行進程隊列長度分析：
#sar -q 2 10
Linux 2.6.18-53.el5PAE (localhost.localdomain) 03/28/2009
07:58:14 PM runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15
07:58:16 PM 0 493 0.64 0.56 0.49
07:58:18 PM 1 491 0.64 0.56 0.49
07:58:20 PM 1 488 0.59 0.55 0.49
07:58:22 PM 0 487 0.59 0.55 0.49
07:58:24 PM 0 485 0.59 0.55 0.49
07:58:26 PM 1 483 0.78 0.59 0.50
07:58:28 PM 0 481 0.78 0.59 0.50
07:58:30 PM 1 480 0.72 0.58 0.50
07:58:32 PM 0 477 0.72 0.58 0.50
07:58:34 PM 0 474 0.72 0.58 0.50
Average: 0 484 0.68 0.57 0.49
runq-sz 准備運行的進程運行隊列。
plist-sz 進程隊列裡的進程和線程的數量
ldavg-1 前一分鐘的系統平均負載(load average)
ldavg-5 前五分鐘的系統平均負載(load average)
ldavg-15 前15分鐘的系統平均負載(load average)
順便說一下load avarage的含義
load average可以理解為每秒鐘CPU等待運行的進程個數.
在Linux系統中，sar -q、uptime、w、top等命令都會有系統平均負載load average的輸出，那麼什麼是系統平均負載呢？
系統平均負載被定義為在特定時間間隔內運行隊列中的平均任務數。如果一個進程滿足以下條件則其就會位於運行隊列中：
- 它沒有在等待I/O操作的結果
- 它沒有主動進入等待狀態(也就是沒有調用'wait')
- 沒有被停止(例如：等待終止)
例如：
# uptime
20:55:40 up 24 days, 3:06, 1 user, load average: 8.13, 5.90, 4.94
命令輸出的最後內容表示在過去的1、5、15分鐘內運行隊列中的平均進程數量。
一般來說只要每個CPU的當前活動進程數不大於3那麼系統的性能就是良好的，如果每個CPU的任務數大於5，那麼就表示這台機器的性能有嚴重問題。對 於上面的例子來說，假設系統有兩個CPU，那麼其每個CPU的當前任務數為：8.13/2=4.065。這表示該系統的性能是可以接受的。
三，iostat
#iostat -c 2 10
Linux 2.6.18-53.el5PAE (localhost.localdomain) 03/28/2009
avg-cpu: %user %nice %system %iowait %steal %idle
30.10 0.00 4.89 5.63 0.00 59.38
avg-cpu: %user %nice %system %iowait %steal %idle
8.46 0.00 1.74 0.25 0.00 89.55
avg-cpu: %user %nice %system %iowait %steal %idle
22.06 0.00 11.28 1.25 0.00 65.41
四，mpstat
mpstat是Multiprocessor Statistics的縮寫，是實時系統監控工具。其報告與CPU的一些統計信息，這些信息存放在/proc/stat文件中。在多CPUs系統裡，其不但能查看所有CPU的平均狀況信息，而且能夠查看特定CPU的信息。下面只介紹 mpstat與CPU相關的參數，mpstat的語法如下：
mpstat [-P {|ALL}] [internal [count]]
參數的含義如下：
參數 解釋
-P {|ALL} 表示監控哪個CPU， cpu在[0,cpu個數-1]中取值
internal 相鄰的兩次采樣的間隔時間
count 采樣的次數，count只能和delay一起使用
當沒有參數時，mpstat則顯示系統啟動以後所有信息的平均值。有interval時，第一行的信息自系統啟動以來的平均信息。從第二行開始，輸出為前一個interval時間段的平均信息。與CPU有關的輸出的含義如下：
參數 解釋 從/proc/stat獲得數據
CPU 處理器ID
user 在internal時間段裡，用戶態的CPU時間（%） ，不包含 nice值為負 進程 痰猀爀/瓰漀琀愀氀*100
nice 在internal時間段裡，nice值為負進程的CPU時間（%） 滰椀挀攀/瓰漀琀愀氀*100
system 在internal時間段裡，核心時間（%） 珰礀猀琀攀洀/瓰漀琀愀氀*100
iowait 在internal時間段裡，硬盤IO等待時間（%） 槰漀眀愀椀琀/瓰漀琀愀氀*100
irq 在internal時間段裡，軟中斷時間（%） 槰爀焀/瓰漀琀愀氀*100
soft 在internal時間段裡，軟中斷時間（%） 珰漀昀琀椀爀焀/瓰漀琀愀氀*100
idle 在internal時間段裡，CPU除去等待磁盤IO操作外的因為任何原因而空閒的時間閒置時間 （%） 槰攙氀攀/瓰漀琀愀氀*100
intr/s 在internal時間段裡，每秒CPU接收的中斷的次數 槰渀琀爀/瓰漀琀愀氀*100
CPU總的工作時間=total_cur=user+system+nice+idle+iowait+irq+softirq
total_pre=pre_user+ pre_system+ pre_nice+ pre_idle+ pre_iowait+ pre_irq+ pre_softirq
痰猀攀爀=user_cur – user_pre
瓰漀琀愀氀=total_cur-total_pre
其中_cur 表示當前值，_pre表示interval時間前的值。上表中的所有值可取到兩位小數點。
#mpstat -P ALL 2 10
Linux 2.6.18-53.el5PAE (localhost.localdomain) 03/28/2009
10:07:57 PM CPU %user %nice %sys %iowait %irq %soft %steal %idle intr/s
10:07:59 PM all 20.75 0.00 10.50 1.50 0.25 0.25 0.00 66.75 1294.50
10:07:59 PM 0 16.00 0.00 9.00 1.50 0.00 0.00 0.00 73.50 1000.50
10:07:59 PM 1 25.76 0.00 12.12 1.52 0.00 0.51 0.00 60.10 294.00
