2。我已經盡量符合原意地翻譯了,當然中間實在忍不住的地方也插兩句自己的話;
3。無論是只閱讀這一篇文章,還是看其他東西,我都覺得,保持自己頭腦清醒很重要
Max Bruning 是一名教師/資訊專家,他的教授內容包括Solaris內部組織,設備驅動,內核和應用的crash分析及調試,網絡組織和其他一些特定科目(他的blog在blogspot,不費點勁可能訪問不了,所以也可以看看www.bruningsystems.com)。
在解釋這些子系統在Solaris中是如何實現的時候,他的學生們總會問“Linux裡它是怎麼工作的?”或者“FreeBSD裡是這樣,Solaris裡呢?”這種經歷最終讓Max在OpenSolaris網站寫了這篇A Comparison of Solaris, Linux, and FreeBSD Kernels。
文章裡討論了調度,內存管理和文件系統架構--這3個子系統在任何操作系統中都有普遍應用,而且他們是最well-understood 的組件。
目前很多分析或對比文章所引用的材料及代碼都比較老,與現實脫節,Max推薦如下幾個多少比較up to date的網站:
Solaris Vs. Linux
Comparing MySQL Performance
Fast Track to Solaris 10 Adoption
Solaris 10 Heads for Linux Territory
其實拋開3個系統之間的差別,他們也有很多相似之處。除了那些不同的命名習慣,這些OS在實現不同概念的時候采用了非常相似的方法。他們都支持線程的分時調度,支持最近未使用頁面替換算法實現請求調頁,支持虛擬文件系統層允許不同文件系統架構。這個系統裡的一個好概念在另一個系統裡也會采用。比如Linux也接受並實現了 Solaris slab 內存分配算法的概念。FreeBSD 代碼裡的很多術語在Solaris裡也出現了(快去看看代碼。。。)。考慮到這3個系統的源代碼都能得到了, fxr.watson.org提供了系統源碼的交叉閱讀浏覽,可能會發現很多有趣的地方。
好了,溫情默默的套近乎結束,進入正題。
調度和調度器
Solaris的調度單位是kthread_t,FreeBSd是thread,Linux是task_struct。抬高一級,Solaris的進程是proc_t,當然每個進程裡的線程就是kthread_t;Linux的進程和線程都由task_struct 表示,單線程的進程在Linux裡是一個task_struct。單線程的進程在Solaris裡有一個proc_t,一個kthread_t,還有一個klwp_t表示。klwp_t提供了用戶和內核模式線程切換的存儲區。FreeBSD裡的單線程進程有一個proc ,一個thread 和一個ksegrp 。ksegrp 是“內核調度的實體組kernel scheduling entity group”。三個系統的線程表示結構不同,不過都支持調度線程。 和大家熟悉的基本一樣,調度是基於優先級的。小小的數學問題是,在Linux和FreeBSD裡,數字越小,優先級越高;而SUN的寶貝卻喜歡數字越大,優先級越高。參考下表
三個系統都更推崇interactive 線程/進程(下面會提到interactive怎麼回事)。Interactive 線程比compute-bound 線程優先級要高,不過得到的時間片要少一些。Solaris,FreeBSD和Linux都使用每CPU的“運行隊列 runqueue”。FreeBSD和Linux有一個active隊列和一個expired隊列。名字說得很清楚了--系統從active上按照優先級選擇線程進行調度。用完自己時間片的線程就從active搬到expired上(或者為了避免“餓死”的其他情況),active空以後,內核交換active和expired。FreeBSD還多一個idle 隊列--其他兩個queue都空的時候才輪到這個。Solaris的概念是每CPU“調度隊列 dispatch queue”。線程用完時間片後,內核給其一個新優先級然後放回調度隊列。所有3個系統的runqueue,對不同優先級的可運行線程都分別有鏈表。FreeBSD四個優先級共享一個鏈表,Solaris和Linux則每個優先級一個鏈表
Linux和FreeBSD結合運行時間和睡眠時間計算線程的interactive-ness,Solaris查表。他們都不支持“gang scheduling”(有興趣查Google即知,並行計算上的調度算法,大白話說就是一組任務一把disptach到各個CPU上。勞倫斯.利弗莫爾那幫造原子彈的家伙最喜歡了,他們有世界上最昂貴的玩具,可以理解)每個OS都調度下一個線程而不是N個線程開始運行。這3個OS都有利用CACHE(warm affinity)和負載均衡的機制。對超線程CPU,FreeBSD能盡量將多個線程保持在一個CPU節點上(當然可能是不同的CPU超線程上)。Solaris也有類似機制,不過是在用戶和應用的控制下,而且並不限於CPU的超線程,他們的術語是processor sets,FreeBSD的叫法是processor groups
和其他2個OS最大的不同是,Solaris同時支持多個“scheduling classes”。3個OS都支持POSIX的SCHED_FIFO,SCHED_RR和SCHED_OTHER (或者SCHED_NORMAL)。SCHED_FIFO 和SCHED_RR通常支持實時線程(我不同意。。。但是照翻。。。)。Solaris和Linux為支持實時線程都支持了內核搶占。Solaris支持fixed priority類,system class的是系統線程(比如換頁線程),interactive的是在X控制下運行窗口環境的線程,還有一個Fair Share Scheduler 用於資源管理。具體可以參考Solaris資料。FreeBSD的調度器是在編譯時決定的,Linux的調度?--要看版本了。
支持在系統中加入新的調度類是要付出代價的。內核中每個可能決定調度的地方都得有一個間接得函數調用去call調度類相關的代碼。比如,當一個線程將要sleep時,內核調用調度類相關代碼,完成該類中線程sleep需要完成工作。在Linux和FreeBSD上,調度已經完成了所有工作。不需要再來一個間接調用。額外的層次,就意味著Solaris的調度要占用稍微多一點的系統開銷--不過提供了更多的功能。
內存管理和分頁
Solaris的進程地址空間由邏輯段segment組成。進程地址中的這些段可以通過pmap訪問。Solaris將其內存管理代碼和數據結構分為平台無關和平台相關部分(這不跟沒說一樣嘛。。。)。平台相關部分位於HAT(hardware address translation)層。FreeBSD用vmspace描述進程地址空間,將其劃分為邏輯塊region。硬件相關部分在pmap(physical map)模塊,而vmap 例程處理硬件無關部分和數據結構。Linux使用內存描述符劃分進程地址空間,邏輯單位是memory areas。Linux也由pmap來examine 進程地址空間。
Linux將機器相關層從更高層次的機器無關層中劃分出來。Solaris和FreeBSD中大多數類似代碼比如page fault處理是機器無關的,而Linux處理page fault的代碼則非常機器相關--從fault處理開始就是這樣了。由此下來的結果是,Linux能很快地完成大多數分頁相關代碼--因為數據抽象更少。不過,代價是,下層硬件的改變需要大量修改代碼--Solaris和FreeBSD則分別把這樣的工作堵截在HAT和pmap層搞定。
Segment,region和meory area的分割是:區域的虛擬地址segmetn/region/memory area映射的object/文件的位置權限map的大小
例如,程序的text(text段,即代碼)在一個segmetn/region/memory area中,OS管理地址空間的機制是類似的,不過數據結構名字完全不同。
分頁3個系統都使用了最近最少使用least recently used算法的變種完成頁替換。他們都有一個守護daemon進程/線程完成頁替換。FreeBSD的是vm_pageout daemon,它周期性地,或者當free的內存不多時,被喚醒。當可用內存低於某個限制時,vm_pageout 運行例程vm_pageout_scan掃描內存並釋放一些頁面。vm_pageout_scan例程可能需要異步地將更改過的頁面寫回到磁盤,在釋放他們之前。不論由多少顆CPU,只有一個這樣的daemon。Solaris的是pageout daemon,它也周期性地運行,處理空閒內存不多的情況。Solaris中的分頁限制值在系統啟動時自動校准,這樣可以避免該守護進程過渡占用CPU或者向磁盤發出洪水般的換頁請求(嗯,flood這麼翻正好 )。FreeBSD的daemon在大多數情況下使用的值是固定的--不過也可以調整。Linux的LRU算法可以在運行時動態調整,而且可以有多個kswapd daemon,每CPU最多一個。這3個系統都使用global working set策略,而不是per process working set。
FreeBSD有多個頁面鏈表來追蹤最近使用頁。包括active,inactive,cached和feee頁。根據使用情況,頁面在這些鏈表間走來走去。經常訪問的頁面會在active上。退出的進程的數據頁面將被馬上放到free上。如果因為負載原因vm_pageout_scan 來不及掃描全部內存的話,FreeBSD內核可能將整個進程全部換出。如果內存短缺十分嚴重,vm_pageout_scan 可能會kill系統中最大的進程。Linux也使用不同的頁面鏈表。物理內存被分為(多個)3重zone:一個DMA頁面,一個普通頁面,一個動態分配內存頁面。zone的實現很像由於x86架構限制而很產生的。頁面在hot,cold和free鏈表間移動--機制和FreeBSD的類似。經常用的頁面在hot上。可用頁面則在cold或者free上。
SUN的大佬使用free鏈,哈希鏈,vnode頁面鏈支持自己的LRU實現。後兩者大致相當於FreeBSD和Linux的active/hot鏈--也是FreeBSD和Linux要掃描的鏈。Solaris要掃描的不是這兩個對象,它用two-handed clock算法掃描全部頁面(見Solaris Internals 或其他什麼地方隨你便)。大致方法是,兩只手相隔固定舉例,前面的手將page的引用位清空以作為標識,如果自此開始沒有進程引用這個頁,後面的手就釋放這個頁面(當然如果需要就寫回磁盤)。
3個系統在分頁時都考慮了NUMA本地性。他們都把IO buffer cache和虛擬內存頁面的cache合並到一個系統頁cache中。系統頁cache用於讀寫文件已經被mmap了文件,還有應用的text段和data段。
文件系統
3個系統都使用數據抽象層向應用隱藏文件系統實現細節。就是用大家熟悉的open,close,read,write,stat,等等系統調用訪問文件,無論下層的文件數據的實現和組織如何。Solaris和FreeBSD把這種機制稱為VFS(virtual file system),基本數據結構是vnode(virtual node)。Solaris和FreeBSD裡每個被訪問的文件都有一個賦給他們的vnode。除了generic 的文件信息外,vnode還包含到file-system-specific 信息的指針。Linux采用了詳細的機制,也叫VFS(virtual file switch),文件系統無關的數據結構是inode。這個機構和vnode類似(小心:Solaris和FreeBSD也另有自己的inode--是UFS文件系統裡file-system-dependent 的數據)。Linux還有兩個不同的結構,一個用於文件操作,另一個用於inode操作。Solaris和FreeBSD將他們合並為vnode操作。
VFS允許在系統裡實現多種文件系統。這意味著他們相互訪問對方的文件系統沒問題。只要相關的文件系統例程和數據結構已經被移植到VFS上。所有這3個系統都允許文件系統堆疊stacking。下表列出了每個OS實現的文件系統類型,不是全部哈。
結論
Solaris,FreeBSD和Linux顯然都在從對方身上獲益。隨著Solaris的開源,這種相互促進有望更快。Max個人已經感覺到Linux的變化是最快的。新技術被快速地集成進系統,只是文檔和健壯性可能有點落後。Linux有很多--或者有時是看上去有很多--開發者。FreeBSD則大概是(從某種意義上)3個系統中歷史最長的。Solaris來自BSD Unix和AT&T Bell實驗室Unix的結合,使用了更多數據抽象層,因而一般說來能更簡便地支持更多功能。不過,內核中大多數這樣的分層都沒有文檔描述。可能隨著代碼的開放這一點會有所改善。
至於他們的差別,最大的地方之一是page fault處理了。在Solaris中,發生page fault時,代碼是從平台相關的trap handler開始執行的(以大家的智商,這好像不用說了吧。。。),然後會調用generic的as_fault例程,這個例程判斷發生page fault的segment,然後調用segment driver處理page fault。segment driver調用文件系統代碼,後者再調用進驅動程序,換入頁面。換入完成後,segment driver 調用HAT層來更新頁表項。在Linux上,發生page fault後,內核調用的代碼在會馬上進入平台相關部分,這些處理可能更快,不過可能不太容易擴展和移植(後半段說得太省,不知道作者有沒有真的研究過Linux下對應的處理過程)。
內核觀察和調試工具對正確理解系統行為有關鍵意義。在這方面,Solaris有kmdb,mdb和DTrace 。在開源之前,Max就對Solaris做過多年“反向工程”--他發現解決問題的時候使用工具總比閱讀代碼來得快--我也知道,不過得看什麼場合,大家可不要被他誤導。Linux嘛,我看作者Max不太熟,所以認為沒有太多工具。對FreeBSD,他也認為只是可以用GDB調試內核的dump--Liux也可以。
最好作為可參考的總結性資料,讀的時候要保持清醒頭腦喲。