Internet的快速增長使多媒體網絡服務器,特別是Web服務器,面對的訪問者數量快速增加,網絡服務器需要具備提供大量並發訪問服務的能力。例如Yahoo每天會收到數百萬次的訪問請求,因此對於提供大負載Web服務的服務器來講,CPU、I/O處理能力很快會成為瓶頸。
簡單的提高硬件性能並不能真正解決這個問題,因為單台服務器的性能總是有限的,一般來講,一台PC服務器所能提供的並發訪問處理能力大約為1000個,更為高檔的專用服務器能夠支持3000-5000個並發訪問,這樣的能力還是無法滿足負載較大的網站的要求。尤其是網絡請求具有突發性,當某些重大事件發生時,網絡訪問就會急劇上升,從而造成網絡瓶頸,例如在網上發布的克林頓彈劾書就是很明顯的例子。必須采用多台服務器提供網絡服務,並將網絡請求分配給這些服務器分擔,才能提供處理大量並發服務的能力。
當使用多台服務器來分擔負載的時候,最簡單的辦法是將不同的服務器用在不同的方面。按提供的內容進行分割時,可以將一台服務器用於提供新聞頁面,而另一台用於提供游戲頁面;或者可以按服務器的功能進行分割,將一台服務器用於提供靜態頁面訪問,而另一些用於提供CGI等需要大量消耗資源的動態頁面訪問。然而由於網絡訪問的突發性,使得很難確定那些頁面造成的負載太大,如果將服務的頁面分割的過細就會造成很大浪費。事實上造成負載過大的頁面常常是在變化中的,如果要經常按照負載變化來調整頁面所在的服務器,那麼勢必對管理和維護造成極大的問題。因此這種分割方法只能是大方向的調整,對於大負載的網站,根本的解決辦法還需要應用負載均衡技術。
負載均衡的思路下多台服務器為對稱方式,每台服務器都具備等價的地位,都可以單獨對外提供服務而無須其他服務器的輔助。然後通過某種負載分擔技術,將外部發送來的請求均勻分配到對稱結構中的某一台服務器上,而接收到請求的服務器都獨立回應客戶機的請求。由於建立內容完全一致的Web服務器並不復雜,可以使用服務器同步更新或者共享存儲空間等方法來完成,因此負載均衡技術就成為建立一個高負載Web站點的關鍵性技術。
基於特定服務器軟件的負載均衡
很多網絡協議都支持“重定向”功能,例如在HTTP協議中支持Location指令,接收到這個指令的浏覽器將自動重定向到Location指明的另一個URL上。由於發送Location指令比起執行服務請求,對Web服務器的負載要小的多,因此可以根據這個功能來設計一種負載均衡的服務器。任何時候Web服務器認為自己負載較大的時候,它就不再直接發送回浏覽器請求的網頁,而是送回一個Locaction指令,讓浏覽器去服務器集群中的其他服務器上獲得所需要的網頁。
在這種方式下,服務器本身必須支持這種功能,然而具體實現起來卻有很多困難,例如一台服務器如何能保證它重定向過的服務器是比較空閒的,並且不會再次發送Location指令?Location指令和浏覽器都沒有這方面的支持能力,這樣很容易在浏覽器上形成一種死循環。因此這種方式實際應用當中並不多見,使用這種方式實現的服務器集群軟件也較少。有些特定情況下可以使用CGI(包括使用FastCGI或mod_perl擴展來改善性能)來模擬這種方式去分擔負載,而Web服務器仍然保持簡潔、高效的特性,此時避免Location循環的任務將由用戶的CGI程序來承擔。
基於DNS的負載均衡
由於基於服務器軟件的負載均衡需要改動軟件,因此常常是得不償失,負載均衡最好是在服務器軟件之外來完成,這樣才能利用現有服務器軟件的種種優勢。最早的負載均衡技術是通過DNS服務中的隨機名字解析來實現的,在DNS服務器中,可以為多個不同的地址配置同一個名字,而最終查詢這個名字的客戶機將在解析這個名字時得到其中的一個地址。因此,對於同一個名字,不同的客戶機會得到不同的地址,他們也就訪問不同地址上的Web服務器,從而達到負載均衡的目的。
地址轉換可以通過軟件方式來實現,也可以通過硬件方式來實現。使用硬件方式進行操作一般稱為交換,而當交換必須保存TCP連接信息的時候,這種針對OSI網絡層的操作就被稱為第四層交換。支持負載均衡的網絡地址轉換為第四層交換機的一種重要功能,由於它基於定制的硬件芯片,因此其性能非常優秀,很多交換機聲稱具備400MB-800MB的第四層交換能力,然而也有一些資料表明,在如此快的速度下,大部分交換機就不再具備第四層交換能力了,而僅僅支持第三層甚至第二層交換。
然而對於大部分站點來講,當前負載均衡主要是解決Web服務器處理能力瓶頸的,而非網絡傳輸能力,很多站點的互聯網連接帶寬總共也不過10MB,只有極少的站點能夠擁有較高速的網絡連接,因此一般沒有必要使用這些負載均衡器這樣的昂貴設備。
使用軟件方式來實現基於網絡地址轉換的負載均衡則要實際的多,除了一些廠商提供的解決方法之外,更有效的方法是使用免費的自由軟件來完成這項任務。其中包括Linux Virtual Server Project中的NAT實現方式,或者本文作者在FreeBSD下對natd的修訂版本。一般來講,使用這種軟件方式來實現地址轉換,中心負載均衡器存在帶寬限制,在100MB的快速以太網條件下,能得到最快達80MB的帶寬,然而在實際應用中,可能只有40MB-60MB的可用帶寬。
擴展的負載均衡技術
上面使用網絡地址轉換來實現負載分擔,毫無疑問所有的網絡連接都必須通過中心負載均衡器,那麼如果負載特別大,以至於後台的服務器數量不再在是幾台、十幾台,而是上百台甚至更多,即便是使用性能優秀的硬件交換機也回遇到瓶頸。此時問題將轉變為,如何將那麼多台服務器分布到各個互聯網的多個位置,分散網絡負擔。當然這可以通過綜合使用DNS和NAT兩種方法來實現,然而更好的方式是使用一種半中心的負載均衡方式。
在這種半中心的負載均衡方式下,即當客戶請求發送給負載均衡器的時候,中心負載均衡器將請求打包並發送給某個服務器,而服務器的回應請求不再返回給中心負載均衡器,而是直接返回給客戶,因此中心負載均衡器只負責接受並轉發請求,其網絡負擔就較小了。
上圖來自Linux Virtual Server Project,為他們使用IP隧道實現的這種負載分擔能力的請求/回應過程,此時每個後台服務器都需要進行特別的地址轉換,以欺騙浏覽器客戶,認為它的回應為正確的回應。
同樣,這種方式的硬件實現方式也非常昂貴,但是會根據廠商的不同,具備不同的特殊功能,例如對SSL的支持等。
由於這種方式比較復雜,因此實現起來比較困難,它的起點也很高,當前情況下網站並不需要這麼大的處理能力。
比較上面的負載均衡方式,DNS最容易,也最常用,能夠滿足一般的需求。但如果需要進一步的管理和控制,可以選用反向代理方式或NAT方式,這兩種之間進行選擇主要依賴緩沖是不是很重要,最大的並發訪問數量是多少等條件。而如果網站上對負載影響很厲害的CGI程序是由網站自己開發的,也可以考慮在程序中自己使用Locaction來支持負載均衡。半中心化的負載分擔方式至少在國內當前的情況下還不需要。