一、 前言 在 Linux 2.6.x 內核中,調度性能的改進是其中最引人注目的一部分[1]。NPTL(Native Posix Thread Library)[2]使用內核的新特性重寫了 Linux 的線程庫,取代歷史悠久而備受爭議的 LinuxThreads[3] 成為 glibc 的首選線程庫。 NPTL 的性能究竟如何?相對 LinuxThreads 又有哪些明顯的改進?在對NPTL進行全面分析之前,本文針對這兩種線程庫,以及內核中"內核可搶占"(Preemptible)和超線程(HyperThreading)[4]等特性進行了全面的性能評測,結果表明NPTL絕對值得廣大服務器系統期待和使用。
二、 Benchmark 1. 測試平台 進行本測試的硬件平台為浪潮NF420R服務器[7],4個Hyperthreading-enabled Intel Xeon 2.2G處理器,4G內存。Linux選擇了Slackware 9.0發行版[8],所使用的內核源碼來自www.kernel.org。 2. 針對測試:LMBench lmbench是一個用於評價系統綜合性能的多平台開源benchmark[5],但其中沒有對線程的支持。其中有兩個測試進程性能的benchmark:lat_proc用於評測進程創建和終止的性能,lat_ctx用於評測進程切換的開銷。lmbench擁有良好的benchmark結構,只需要修改具體的Target程序(如lat_proc.c和lat_ctx.c),就可以借用lmbench的計時、統計系統得到我們關心的線程庫性能的數據。 基於lat_proc和lat_ctx的算法,本文實現了lat_thread和lat_thread_ctx兩個benchmark。在lat_thread中,lat_proc被改造成使用線程,用pthread_create()替代了fork(),用pthread_join()替代wait();在lat_thread_ctx中,沿用lat_ctx的評測算法(見lat_ctx手冊頁),將創建進程的過程改寫為創建線程,仍然使用管道進行通信和同步。 lat_thread null null參數表示線程不進行任何實際操作,創建後即刻返回。 lat_thread_ctx -s #threads size參數與lat_ctx定義相同,可表示線程的大小(實際編程時為分配K數據;#threads參數為線程數,即參與令牌傳遞的線程總數,相當於程序負載情況。 3. 綜合測試:Volanomark volanomark是一個純Java的benchmark,專門用於測試系統調度器和線程環境的綜合性能[6],它建立一個模擬Client/Server方式的Java聊天室,通過獲取每秒平均發送的消息數來評測宿主機綜合性能(數值越大性能越好)。Volanomark測試與Java虛擬機平台相關,本文使用Sun Java SDK 1.4.2作為測試用Java平台,Volanomark版本2.5.0.9。
三、 測試結果 測試計劃中將內核分為2.4.26、2.6.6/支持內核搶占和2.6.6/不支持內核搶占三類;通過配置內核以及NF420R的BIOS實現三類SMP規模:單處理機(UP)、4CPU的SMP(Smp4)和打開超線程支持的虛擬8CPU SMP(SMP8*)。內核配置和SMP規模的每一種組合都針對LinuxThreads和NPTL使用lat_thread、lat_thread_ctx和volanomark獲取一組數據。由於NPTL無法在2.4.x內核上使用,該項數據空缺。
四、 結果分析 1. LinuxThreads vs NPTL:線程創建/銷毀開銷 使用2.6.6/preemptible內核配置下UP和SMP4的測試數據獲得下圖: 圖1 在線程創建/銷毀開銷方面,NPTL的改進相當明顯(降低約600%)。實際上,NPTL不再像LinuxThreads那樣需要使用用戶級的管理線程來維護線程的創建和銷毀[9],因此,很容易理解它在這方面的開銷能夠大幅度降低。 同時,由圖可見,單CPU下創建線程總是比多CPU下迅速。 2. LinuxThreads vs NPTL:線程切換開銷 同樣使用2.6.6/preemptible內核配置下UP和SMP4的數據: 圖2 隨著lat_thread_ctx的參與線程增多,不管是哪個線程庫,單處理機條件下的線程切換開銷都陡峭上升,而SMP條件下則上升比較平緩。在這方面,LinuxThreads和NPTL表現基本相同。 3. 內核影響 圖3 圖4 圖5 圖6 從上面四張圖中我們可以得出兩點結論: "內核可搶占"是Linux對實時應用提供更好支持的有力保障,但對線程性能影響很小,甚至有一點損失,畢竟搶占鎖的開銷不可忽略; 升級內核並不會對LinuxThreads線程庫性能帶來多少變化,因此,對於服務器系統而言,不能指望僅僅編譯使用新內核就能提高性能。 圖7 圖8 從圖3、圖4我們已經知道,打開超線程支持對線程創建/銷毀性能幾乎沒有影響,而這兩張圖表也進一步說明,超線程技術對於線程切換開銷也沒有明顯的影響。超線程技術是CPU內部的優化技術,和真正的雙CPU完全不同。大量研究表明,如果沒有內核與用戶應用相結合的專門優化措施,超線程並不會帶來很大的性能變化。除非是高負載綜合服務器系統(例如繁忙的數據庫系統),購買超線支持的CPU並不能帶來多少好處。 4. 綜合性能 圖9 前面幾節分析讓我們了解了線程庫性能改進的細節,通過volanomark測試,我們可以近似得到在綜合應用環境下,特別是網絡服務需求中線程庫以及內核對系統整體性能的影響程度。 圖9綜合了不同內核、不同處理機數條件下,兩種線程庫的volanomark結果。從圖中可以觀察到以下三點: NPTL能極大提高SMP環境下服務器系統的整體性能(超過65%),相對而言,對單處理機系統影響較小(10%左右); 2.6內核的搶占特性對系統性能影響很小(不超過±1%),某些情況下甚至有所下降; 超線程技術在LinuxThreads中的影響是負面的,在NPTL中是正面的,但影響幅度都很小(5%-6%)。 以上結論中前兩點與LMBench針對性測試結果完全吻合,第三點的偏差實際上反映了超線程技術對於綜合服務器環境還是有一定加速的。
五、 總結 我們的評測為廣大Linux用戶,特別是服務器用戶提供了一點有價值的參考: 如果你的是多處理機系統,那麼毫不猶豫地升級你的內核,並記住,一定要同時升級你的線程庫,它通常與glibc緊密耦合; 如果你的系統並沒有實時應用,不要打開"內核可搶占"開關,它只會讓你的系統更慢; 慎重考慮是否使用超線程技術,即使你已經購買了支持超線程的CPU,有時關閉它可能更適合你的需求。