原作:Atif Ghaffa 翻譯:sword_martin
摘要:
在本文中我們將要討論的是,如何拋開昂貴的SAN(存貯區域網絡Storage Area Network,如全球文件系統GFS)或網絡塊設備在Linux下實現數據復制。我們在復制系統中采用了FAM(文件變更監視模塊)和IMON(信息節點監視模塊),這兩個系統都是SGI當初為IRIX開發的。
SGI的員工真是非常的Cool,是他們將這兩個程序移植到了Linux上並且公開了源代碼。
當花費已不再是問題時,可以采用基於GFS(全球文件系統)和SAN實現實時數據鏡像;否則,數據共享及其它許多的選擇就不可或缺了。
有幾個方法可供選擇。在本文中我們將會對這些方法進行討論,你將會看到它們各自的優缺點。
為何要用復制替代共享?
難道假設文件服務器不向客戶端提供共享數據嗎?是的,假設的工作環境確實是這樣的。如果我們正在使用的文件服務器是通過NFS或SMB之類軟件的共享文件的,系統中就會存在一個”瓶頸”和”引起系統故障的關鍵點”。若是在GFS之上通過共享的存貯設備(SAN或多通道的SCSI)共享數據,這種配置不但代價昂貴,並且這種存貯盒還會成為”引起系統故障的關鍵點”。也可以用NBD(網絡塊設備)建立一個網絡鏡像,但這不是一種常用的方式,NBD本身有些缺限,它非常難於設置管理,如果你只是要在少數幾個WEB服務器間復制數據,用NBD只會給你帶來更多的麻煩。
盡量簡單
好的,下面我們來試著復制。
方案一:
兩台WEB服務器中的一台為主服務器,另外一台是備份服務器。要求備份服務器上的文件要與主服務器上的保持相同。
這很簡單吧。
但是如何使其自動工作呢?用戶每天得多次FTP到主服務器上復制數據。但當主服務器發生錯誤、由備份服務器接管系統時會發生什麼呢?由於這種備份操作不是實時的,備份服務器中的數據肯定與主服務器不一致,這時管理員會非常惱怒J。你當然可以運行一個計時守護程序,每隔5秒運行一次”rsync –av –delete source destination”,但這樣做會增加機器的負荷,影響系統的運轉。
方案二:
在六個服務器間通過一個FTP服務器上傳數據,保證每台服務器上的數據都是相同的。如果幸運我們可以暫時擺脫NFS一段時間,但這個時間不會太長。
接下來我們該做什麼呢?我想應該是”將文件發生變化的那部分數據復制到各個WEB服務器中去”,如果文件沒有發生變化就什麼也不作。這也就是我們使用”fam”來做的工作。
使之智能工作
那麼,我們怎麼知道文件發了變化呢?我想M$ 的Windows程序開發員會這麼說:
我們可以每隔幾秒就搜尋目標目錄一次,將其中的文件與緩存中保存的文件做比較,看文件時間戳及大小是否發生了變化。
對,沒錯,是這樣。
這是種輪詢的工作方式,它的問題在於查找並比較文件的時間戳和大小,它的代價是昂貴的。你能想象在WEB服務器上每隔5秒就運行一次”ls –lR /somedirectory”造成的後果嗎?
最好的方法應該是:文件被改動的時候能夠有人告訴我們,這樣我們可以采取相應的動作。這正是”IMON”要做的工作。
什麼是FAM
資料來源:http://oss.sgi.com/projects/fam/faq.html
fam就是文件變更監視模塊,它向應用程序提供了一組API,當指定的文件或目錄發生變化時,由其向應用程序發出通知。
FAM由兩部分組成:後台守護程序fam,它負責接收請求和發送通知;庫文件libfam,客戶端應用程序用它來與FAM通信。
若遠程主機打開了受監視的文件,本地的fam會與遠程主機的fam聯系,將請求發送給遠程fam。
Fam也可以在某個文件開始或停止運行時通知它的客戶端。(比如:在IRIX交互桌面中,如果一個程序正在運行那麼它的圖標就會不會閃爍)。
Fam是由Bruce Karsh在1989年為IRIX編寫的,並由Bob Miller在1995年重寫。這個公開源代碼的fam版本構建並運行於Linux和IRIX之上,與IRIX6.5.8中的fam相同。
什麼是IMON?
資料來源:http://oss.sgi.com/projects/fam/faq.html
imon就是信息節點監視模塊,它是內核的一部分,當文件有變動時由它通知fam。由應用程序告訴fam對某個目錄或文件進行監視,fam再將這個請求傳送給imon。當被監視的這些文件有變化時,內核通知imon,再由imon通知fam,最後由fam通知負責監視這個文件的應用程序。
imon是由Wiltse Carpenter在1989年為IRIX的內核編寫的,再由Roger Chickering移植到Linux下。Linux下的imon內核補丁與IRIX下的imon在許多方面都很類似,只是與內核文件系統的掛接代碼不同。
安裝FAM和IMON
可從SGI的網站下載FAM和IMON,具體詳情請查看後面的資源列表。IMON是一個內核補丁,內核通過它監視內部信息節點。安裝補丁的方法如下:在內核的源文件目錄下運行補丁程序。
cd/usr/src/linux
pathch –pi 然後運行config或menuconfig,在”文件系統選擇”這部分選擇”Inode Monitor(imon) support (EXPERIMENTAL)”,編譯內核重啟系統。編譯FAM本身是很簡單的,在fam的源文件目錄下運行./configure和make all install就大功告成了。
下面我們將要安裝SGI::FAM調用的Perl模塊,我們可以用perl來編寫事件處理程序。
安裝 SGI::FAM Perl模塊
你不會真的要用C/C++來編程吧?我不了解你的情況,但是我很懶惰,而且我這個人也缺乏耐心,所以我用perl編寫復制管理程序。
有關下載安裝SGI::FAM的問題可以找Jesse N.Glick([email protected])聯系。安裝這些模快很簡單,運行CPAN模塊:
perl –MCPAN –e shell
install SGI::FAM
這樣就安裝了SGI::FAM及全部必須模塊。
用fam_mirror實現復制
fam_mirror是我寫的用於自動復制的script程序。要了解fam_mirror的具體情況,你可以在http://www.linuxfocus.org/common/src/article199/fam_mirror.html去查看,如果要下載fam_mirror,請到http://www.linuxfocus.org/common/src/article199/fam_mirror。你可以重新編輯這個程序,將$replicaHosts改為當前的主機、$rsh改為當前使用的shell,也可以將$rsync改為實現相同功能的命令。
下面我們來看第一個方案:
有兩台機器做WEB服務器(web1,web2)。其中一個為主服務器(如web1),另外一個為從服務器(web2)。第一個FTP服務器是web1,web2上根本不能運行FTP服務(否則,系統工作於備份方式時用戶還可能會向文件中寫數據)。
在兩台服務器中,web文檔都放在/var/www目錄中,在兩台機器中設置rsh或ssh,使web1無需口令就可以在web2上運行遠程命令。我通常是在復制主機中的authorized_keys中填加我的ssh_key來實現這個要求的。將web1的數據遠程同步到web2上的命令是:
rsync –avz /var/www web2:/var/www/
編輯fam_mirror文件,將@replicaHosts改為:
@replicaHosts=qw(web2)
在web1上運行fam_mirror:
fam_mirror /var/www &
這樣,如果web1上的文件發生了變化,這種變化也會寫到web2上的文件中。
現在我們來看看方案2:(系統中有多台WEB服務器)
主機linuxweb1、linuxweb2、linuxweb3和linuxweb4都是web服務器。主機Linuxftp 1是ftp服務器(主服務器)。Web主機不向用戶開放FTP服務。
在主機linuxftp1上安裝fam和imon、SGI::FAM及fam_mirror。在每台主機上置rsh或ssh。linuxftp1無需口令就可以在四台WEB服務器上運行遠程命令。
編輯fam_mirror,將@replicaHosts設置為:
@replicaHosts=qw(linuxweb1 linuxweb2 linuxweb3 linuxweb4);
如果有需要也可以改動$rsh和$rsync,假設WEB文本放在各個機器的/var/www目錄下。
在linuxftp 1上運行:INIT_MIRROR=1 fam_mirror /var/www &
這樣,四台WEB服務器都能對linuxftp 1上改變的文件進行更新。
資源列表:
SGI’s fam site:http://oss.sgi.com/projects/fam
SGI:FAM Perl Module:http://search.cpan.org/search?dist=SGI-FAM
Realtime Data Mirroring (WEBD and SLIM) for IRIX:
fam class=red target=_blank>http://www.nas.nasa.gov/Groups/www/subpages/topology.html
fam mirror:http://www.linuxfocus.org/common/src/article199/fam_mirror
存在的問題
文中提出的解決方案存在一個小問題:碰到比較大的目錄就不工作了,如含有四千到五千個子目錄的情況。可能是內核不堪重負了。我正在找到產生這個問題的原因,一有發現我就會寫到文章中的。如果你已經知道了解決這個問題的方法,請來信告知我。