現在的服務器大部分都是運行在Linux上面的,所以作為一個程序員有必要簡單地了解一下系統是如何運行的。
對於內存部分需要知道:
先來看一些基本的知識,在進程看來,內存分為內核態和用戶態兩部分,經典比例如下:
從用戶態到內核態一般通過系統調用、中斷來實現。用戶態的內存被劃分為不同的區域用於不同的目的:
當然內核態也不會無差別地使用,所以,其劃分如下:
下面來仔細看這些內存是如何管理的。
地址在Linux內部的地址的映射過程為邏輯地址–>線性地址–>物理地址,物理地址最簡單:地址總線中傳輸的數字信號,而線性地址和邏輯地址所表示的則是一種轉換規則,線性地址規則如下:
這部分由MMU完成,其中涉及到主要的寄存器有CR0、CR3。機器指令中出現的是邏輯地址,邏輯地址規則如下:
在Linux中的邏輯地址等於線性地址,也就是說Inter為了兼容把事情搞得很復雜,Linux簡化順便偷個懶。
內存管理的方式在系統boot的時候會去探測內存的大小和情況,在建立復雜的結構之前,需要用一個簡單的方式來管理這些內存,這就是bootmem,簡單來說就是位圖,不過其中也有一些優化的思路。
bootmem再怎麼優化,效率都不高,在要分配內存的時候畢竟是要去遍歷,buddy系統剛好能解決這個問題:在內部保存一些2的冪次大小的空閒內存片段,如果要分配3page,去4page的列表裡面取一個,分配3個之後將剩下的1個放回去,內存釋放的過程剛好是一個逆過程。用一個圖來表示:
可以看到0、4、5、6、7都是正在使用的,那麼,1、2被釋放的時候,他們會合並嗎?
static inline unsigned long __find_buddy_index(unsigned long page_idx, unsigned int order) { return page_idx ^ (1 << order);// 更新最高位,0~1互換 }
從上面這段代碼中可以看到,0、1是buddy,2、3是buddy,雖然1、2相鄰,但他們不是。內存碎片是系統運行的大敵,伙伴系統機制可以在一定程度上防止碎片~~另外,我們可以通過cat /proc/buddyinfo獲取到各order中的空閒的頁面數。
伙伴系統每次分配內存都是以頁(4KB)為單位的,但系統運行的時候使用的絕大部分的數據結構都是很小的,為一個小對象分配4KB顯然是不劃算了。Linux中使用slab來解決小對象的分配:
在運行時,slab向buddy“批發”一些內存,加工切塊以後“散賣”出去。隨著大規模多處理器系統和NUMA系統的廣泛應用,slab終於暴露出不足:
復雜的隊列管理管理數據和隊列存儲開銷較大長時間運行partial隊列可能會非常長對NUMA支持非常復雜為了解決這些高手們開發了slub:改造page結構來削減slab管理結構的開銷、每個CPU都有一個本地活動的slab(kmem_cache_cpu)等。對於小型的嵌入式系統存在一個slab模擬層slob,在這種系統中它更有優勢。
小內存的問題算是解決了,但還有一個大內存的問題:用伙伴系統分配10 x 4KB的數據時,會去16 x 4KB的空閒列表裡面去找(這樣得到的物理內存是連續的),但很有可能系統裡面有內存,但是伙伴系統分配不出來,因為他們被分割成小的片段。那麼,vmalloc就是要用這些碎片來拼湊出一個大內存,相當於收集一些“邊角料”,組裝成一個成品後“出售”:
之前的內存都是直接映射的,第一次感覺到頁式管理的存在:D 另外對於高端內存,提供了kmap方法為page分配一個線性地址。
進程由不同長度的段組成:代碼段、動態庫的代碼、全局變量和動態產生數據的堆、棧等,在Linux中為每個進程管理了一套虛擬地址空間:
在我們寫代碼malloc完以後,並沒有馬上占用那麼大的物理內存,而僅僅是維護上面的虛擬地址空間而已,只有在真正需要的時候才分配物理內存,這就是COW(COPY-ON-WRITE:寫時復制)技術,而物理分配的過程就是最復雜的缺頁異常處理環節了,下面來看!
缺頁異常在實際需要某個虛擬內存區域的數據之前,和物理內存之間的映射關系不會建立。如果進程訪問的虛擬地址空間部分尚未與頁幀關聯,處理器自動引發一個缺頁異常。在內核處理缺頁異常時可以拿到的信息如下:
cr2:訪問到線性地址err_code:異常發生時由控制單元壓入棧中,表示發生異常的原因regs:發生異常時寄存器的值處理的流程如下:
發生缺頁異常的時候,可能因為不常使用而被swap到磁盤上了,swap相關的命令如下:
swapon 開啟swap swapoff 關閉swap /proc/sys/vm/swapiness 分值越大越積極使用swap,可以修改/etc/sysctl.conf中添加vm.swappiness=xx[1-100]來修改
如果內存是mmap映射到內存中的,那麼在讀、寫對應內存的時候也會產生缺頁異常。