歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
您现在的位置: Linux教程網 >> UnixLinux >  >> Unix知識 >> 關於Unix

Linux對象存儲文件系統的技術架構研究

隨著高性能計算由傳統的主機方式向 網絡 化集群演變,傳統的基於主機的存儲架構已逐漸向網絡 化存儲發展,計算和存儲分離的趨勢越來越明顯。針對 SAN 和 NAS 的不足,國際上已開展針對 Linux 集群的新型文件系統――對象存儲文件系統的研究,本文重點論述了 隨著高性能計算由傳統的主機方式向網絡化集群演變,傳統的基於主機的存儲架構已逐漸向網絡化存儲發展,計算和存儲分離的趨勢越來越明顯。針對 SAN 和 NAS 的不足,國際上已開展針對 Linux 集群的新型文件系統――對象存儲文件系統的研究,本文重點論述了存儲對象文件系統的架構、技術特點,並針對Lustre 對象存儲文件系統進行了初步測試,結果表明對象存儲文件系統在可擴展性、性能、易用性等方面都有顯著提高,隨著網絡化存儲技術的不斷成熟,對象存儲文件系統將成為重要的發展方向。

一、引言

高性能計算已由傳統的主機方式逐漸向集群方式演變,如TOP500中,1998年只有2台系統是集群方式,而到2003年已有208台為集群系統。隨著高性能計算體系結構的發展變化,傳統的基於主機的存儲架構已成為新的瓶頸,不能滿足集群系統的需求。集群的存儲系統必須有效解決兩個主要問題:(1)提供共享訪問數據,便於集群應用程序的編寫和存儲的負載均衡;(2)提供高性能的存儲,在I/O級和數據吞吐率方面能滿足成百上千台規模的Linux集群服務器聚合訪問的需求。目前,網絡化存儲已成為解決集群系統高性能存儲的有效技術途徑。

國際上主要有兩類網絡化存儲架構,它們是通過命令集來區分的。第一類是SAN(Storage Area Network)結構,它采用SCSI 塊I/O的命令集,通過在磁盤或FC(Fiber Channel)級的數據訪問提供高性能的隨機I/O和數據吞吐率,它具有高帶寬、低延遲的優勢,在高性能計算中占有一席之地,如SGI的CXFS文件系統就是基於SAN實現高性能文件存儲的,但是由於SAN系統的價格較高,且可擴展性較差,已不能滿足成千上萬個CPU規模的系統。第二類是NAS (Network Attached Storage)結構,它采用NFS或CIFS命令集訪問數據,以文件為傳輸協議,通過TCP/IP實現網絡化存儲,可擴展性好、價格便宜、用戶易管理,如目前在集群計算中應用較多的NFS文件系統,但由於NAS的協議開銷高、帶寬低、延遲大,不利於在高性能集群中應用。

針對Linux集群對存儲系統高性能和數據共享的需求,國外已開始研究全新的存儲架構和新型文件系統,希望能有效結合SAN和NAS系統的優點,支持直接訪問磁盤以提高性能,通過共享的文件和元數據以簡化管理,目前對象存儲文件系統已成為Linux集群系統高性能文件系統的研究熱點,如Cluster File Systems公司的Lustre、Panasas公司的ActiveScale文件系統等。Lustre文件系統采用基於對象存儲技術,它來源於卡耐基梅隆大學的Coda項目研究工作,2003年12月發布了Lustre 1.0版,預計在2005年將發布2.0版。Lustre在美國能源部(U.S.Department of Energy:DOE)、Lawrence Livermore 國家實驗室,Los Alamos國家實驗室,Sandia 國家實驗室,Pacific Northwest國家實驗室的高性能計算系統中已得到了初步的應用,IBM正在研制的Blue Gene系統也將采用Lustre文件系統實現其高性能存儲。ActiveScale文件系統技術來源於卡耐基梅隆大學的Dr. Garth Gibson,最早是由DARPA支持的NASD(Network Attached Secure Disks)項目,目前已是業界比較有影響力的對象存儲文件系統,榮獲了ComputerWorld 2004年創新技術獎。

二、對象存儲文件系統

2.1 對象存儲文件系統架構

對象存儲文件系統的核心是將數據通路(數據讀或寫)和控制通路(元數據)分離,並且基於對象存儲設備(Object-based Storage Device,OSD)構建存儲系統,每個對象存儲設備具有一定的智能,能夠自動管理其上的數據分布,對象存儲文件系統通常有以下幾部分組成。

1、對象

對象是系統中數據存儲的基本單位,一個對象實際上就是文件的數據和一組屬性的組合,這些屬性可以定義基於文件的RAID參數、數據分布和服務質量等,而傳統的存儲系統中用文件或塊作為基本的存儲單位,在塊存儲系統中還需要始終追蹤系統中每個塊的屬性,對象通過與存儲系統通信維護自己的屬性。在存儲設備中,所有對象都有一個對象標識,通過對象標識OSD命令訪問該對象。通常有多種類型的對象,存儲設備上的根對象標識存儲設備和該設備的各種屬性,組對象是存儲設備上共享資源管理策略的對象集合等。

2、對象存儲設備

對象存儲設備具有一定的智能,它有自己的CPU、內存、網絡和磁盤系統,目前國際上通常采用刀片式結構實現對象存儲設備。OSD提供三個主要功能:

(1) 數據存儲。OSD管理對象數據,並將它們放置在標准的磁盤系統上,OSD不提供塊接口訪問方式,Client請求數據時用對象ID、偏移進行數據讀寫。

(2) 智能分布。OSD用其自身的CPU和內存優化數據分布,並支持數據的預取。由於OSD可以智能地支持對象的預取,從而可以優化磁盤的性能。

(3)每個對象元數據的管理。OSD管理存儲在其上對象的元數據,該元數據與傳統的inode元數據相似,通常包括對象的數據塊和對象的長度。而在傳統的NAS 系統中,這些元數據是由文件服務器維護的,對象存儲架構將系統中主要的元數據管理工作由OSD來完成,降低了Client的開銷。

3、元數據服務器(Metadata Server,MDS)

MDS控制Client與OSD對象的交互,主要提供以下幾個功能:

(1) 對象存儲訪問。MDS構造、管理描述每個文件分布的視圖,允許Client直接訪問對象。MDS為Client提供訪問該文件所含對象的能力,OSD在接收到每個請求時將先驗證該能力,然後才可以訪問。

(2) 文件和目錄訪問管理。MDS在存儲系統上構建一個文件結構,包括限額控制、目錄和文件的創建和刪除、訪問控制等。

(3) Client Cache一致性。為了提高Client性能,在對象存儲文件系統設計時通常支持Client方的Cache。由於引入Client方的Cache,帶來了Cache一致性問題,MDS支持基於Client的文件Cache,當Cache的文件發生改變時,將通知Client刷新Cache,從而防止 Cache不一致引發的問題。

4、對象存儲文件系統的Client

為了有效支持Client支持訪問OSD上的對象,需要在計算結點實現對象存儲文件系統的Client,通常提供POSIX文件系統接口,允許應用程序像執行標准的文件系統操作一樣。

2.2 對象存儲文件系統的關鍵技術

1、分布元數據傳統的存儲結構元數據服務器通常提供兩個主要功能。(1)為計算結點提供一個存儲數據的邏輯視圖(Virtual File System,VFS層),文件名列表及目錄結構。(2)組織物理存儲介質的數據分布(inode層)。對象存儲結構將存儲數據的邏輯視圖與物理視圖分開,並將負載分布,避免元數據服務器引起的瓶頸(如NAS系統)。元數據的VFS部分通常是元數據服務器的10%的負載,剩下的90%工作(inode部分)是在存儲介質塊的數據物理分布上完成的。在對象存儲結構,inode工作分布到每個智能化的OSD,每個OSD負責管理數據分布和檢索,這樣90%的元數據管理工作分布到智能的存儲設備,從而提高了系統元數據管理的性能。另外,分布的元數據管理,在增加更多的OSD到系統中時,可以同時增加元數據的性能和系統存儲容量。

2、並發數據訪問對象存儲體系結構定義了一個新的、

Copyright © Linux教程網 All Rights Reserved