Lsf多集群系統簡介

 1.Lsf

如何管理各種各樣的計算資源(如：CPU時間、內存空間、網絡帶寬、應用程序等)是許多企業當前都很頭疼的問題。尤其是對於那些員工遍布全球的公司而言，如何充分利用有限的計算資源是非常關鍵的問題。由platform公司開發的lsf 多集群系統使多個異構的計算機能夠通過局域網或廣域網共享計算資源，並能夠為用戶提供對資源的透明訪問。Lsf現在主要支持以下三種大規模資源共享：

1. 一個大企業中的多個部門，每個部門可以有一個或多個集群，這樣就使得部門內部和部門之間可以共享資源。
2. 較小部門的數據中心。大的昂貴的計算資源如超級計算機可以透明地與遠方較小的部門直接進行共享。
3. 通過松散連接的站點共享資源。

Lsf將多個集群連接在一起，一個集群往往是企業中的一個部門，每個集群中有一個主控機，此主控機負責收集該集群系統中的各台主機的負載信息，並且根據各主機的負載信息情況對作業進行調度。各個集群系統之間根據一定的策略進行資源共享。在每個主控機上定義了該集群能共享哪些集群系統中的資源。當用戶發送了一個任務請求時，lsf系統能將此任務發送到對應的資源所在地，並根據調度策略選擇負載較輕的機器對此任務進行處理。當多個用戶請求同一個資源時，根據用戶的請求優先級來確保優先級高的用戶的緊急任務能首先得到滿足。Lsf還具有以下特點：

1. 提供了增強的計算能力。
   
   通過全局資源共享，用戶可以訪問各種各樣的計算資源，許多閒置的計算機現在都可以充分利用起來進行任務處理，許多機器也可以並行地執行同一個任務，這樣就大大增強了用戶的計算能力。
   
   
2. lsf提供了用戶可配置的安全策略。
   
   通過讓用戶使用RFC931協議、Kerberos、和DCE認證等策略，系統保證了遠方的任務來自授權的用戶。
   
   
3. 每一個集群都是一個自治的系統。
   
   每個集群中的主控機的配置文件中記錄了如下信息：如允許在多個集群系統之間傳輸的任務的數量與類型，允許在多個集群之間共享資源的用戶名。
   
   
4. 提供非共享的用戶賬號和文件系統。
   
   當任務在多個集群之間進行傳輸時，用戶的賬號可以根據配置文件進行映射。為了支持異構的系統，lsf通過在任務執行前後將文件在集群系統之間傳遞來提供對非共享的文件系統的支持。
   
   
5. 良好的可擴展性。
   
   在單一的集群系統中通過主控機進行管理，所有的配置信息都在主控機上，多個集群系統之間信息的傳遞主要是與主控機有關，而與集群中的其它主機無關。因此lsf的集群能非常容易地擴展到成百甚至上千台。
   
   
6. lsf系統支持多種操作系統平台。
   
   如主要的UNIX平台：Sun Solaris、 HP-UX、 IBM AIX、 Digital UNIX/Compaq Tru64 UNIX、SGI IRIX以及 Red hat Linux、 Windows NT、Windows 2000等。
   
   

2.TurboCluster

TurboCluster是一個企業級的集群方案，它允許在多個計算機上構建高可用的、可擴展的網絡。它支持Intel和Alpha芯片，支持Linux 、Windows NT 和Solaris操作系統平台。使用TurboCluster系統可以顯著地提高基於TCP/IP協議的多種網絡服務的服務質量，這些服務包括Web、 Mail、News和Ftp等。TurboCluster具有良好的可用性、可擴展性和可管理性，集群內部的實際服務器的數量可以擴充到無限台。 TurboCluster是一種基於軟件的集群系統解決方案，它還能夠支持異構的網絡環境。它的結構如圖2-1所示。

當客戶向集群系統發送一個請求時，該請求首先到達高級流量管理器，高級流量管理器通過一定的調度策略將此請求轉發到集群中的某一台實際服務器上對此請求進行處理，最終的回應請求將直接發送給客戶。由於最終的回應請求沒有通過高級浏覽管理器而是直接發送給客戶，這樣大大減輕了高級浏覽管理器上的負載，從而降低了瓶頸產生的可能。TurboCluster中采用的調度策略有：輪回(Round Robin)、加權輪回(Weighted Round Robin)、最少連接(Least Connection)。為了減少高級流量管理器產生失效的可能，TurboCluster為高級流量管理器准備了一個備份機。該備份機不斷詢問管理器來確認它正在正常工作，一旦發現主管理器已經失效，備份機將接替它繼續工作。

圖1 turbocluster結構圖

TurboCluster具有如下一些增強的性能。

1. 通過heartbeat在備份機上監測流量管理器的運行狀態來提供更高的可用性。
   
   
2. 對不可預測的系統或應用程序的失效進行自動管理。
   
   
3. 提供動態的負載平衡，它能夠消除瓶頸並且處理峰值負載。
   
   
4. 高級流量管理器只轉發已經授權的請求，通過在實際的應用程序服務器的前端增加虛擬防火牆來提高網絡的安全性。
   
   
5. TurboCluster對外只顯現出流量管理器的IP，而集群系統中的實際服務器的IP地址對外界而言是不可見的。
   
   
6. 當實際服務器正在對外界提供服務時就可以對它進行維護工作。