歡迎來到Linux教程網
Linux教程網
Linux教程網
Linux教程網
您现在的位置: Linux教程網 >> UnixLinux >  >> Linux管理 >> Linux集群

Linux集群主導高性能計算

作者: 中國計算機報 郭濤
11月份先後公布的“2005年中國高性能計算性能TOP100(HPC TOP100)排行榜”以及HPC全球TOP500排行榜已經成了高性能計算領域的晴雨表,不僅全面反映了當今高性能計算領域的最新成就,而且預示著未來高性能計算的發展方向。分析兩份排行榜的數據不難發現,Linux和集群技術的日益普及將深刻地影響高性能計算產業的發展。

  “雙星”閃動

  Linux Networx公司總裁兼首席運營官Dean Hutchings介紹說:“全球HPC市場正以每年30%的速度快速增長。HPC市場的整體份額達75億美元,其中,一半以上來自Linux系統。”11月公布的全球TOP500排行榜也顯示,有72%的上榜產品采用了Linux系統。多年以來,超級計算機從最初的向量機到RISC SMP,再到集群系統,系統正從專有走向開放,應用也從科學計算等高精尖領域轉向大眾化的商用領域,而集群、Linux和開源軟件的普及加速了這種轉變。

  再看看中國的TOP100,也會得出相同的結論。中國目前高性能計算的總性能是102Tflops,總性能突破百萬億次大關。在100個上榜的產品中,90個是集群系統(而2004年是48個),而排名前10的系統全部都是集群。由此可見,在HPC領域,集群已經顯示出了極強的集團優勢。

  談到集群、Linux將給HPC領域帶來哪些影響,Dean Hutchings表示:“在下一個10年中,雖然超級計算機不可能都變成集群,但是可以肯定的是,集群系統還會有更大幅度的增長。對於集群系統來說,迫切需要解決的問題是如何管理,並使系統便於擴展,而采用標准化的技術和產品是一個潮流。”

  三位一體

  Linux Networx公司是專注於Linux集群系統研發的廠商。在最新一期的全球TOP500排行榜中,Linux Networx有16套集群系統上榜,成為IBM、HP之後第二陣營中的佼佼者。從以前的主打產品Evolocity集群,到最新發布的集群產品LS系列,Linux Networx公司認為,一套超級計算機應該是計算系統、存儲系統與可視化三位一體的系統。

  具體來說,計算系統的努力方向是不斷提升計算性能。通過優化系統架構,采用多個節點和CPU,並對應用軟件進行優化等方法,就可以解決。對於一般的HPC廠商來說,提高計算性能是最基本的能力,並不存在太大的障礙。但對於配套的存儲方案來說,大多數HPC廠商還是采取與相關廠商合作的方式,而不是針對高性能計算系統提供標准化的存儲解決方案。解決存儲問題的關鍵是,保障高性能計算系統常用的並行文件系統的性能和可靠性。可視化對於商業用戶來說將是一大福音。以前,在石油勘探或航空航天等領域,采用超級計算機完成一項計算任務後,得到的龐大而復雜的數據只有少數專業人員才看得懂,而采用可視化技術後,計算結果就是一幅幅色彩斑斓的動畫,所有數據都用直觀的方式體現出來,即使是普通技術人員也可以一目了然。

  Dean Hutchings表示:“我們的目標是將計算、存儲與可視化集成在一起,為用戶提供標准化的解決方案。2006年,我們將在存儲和可視化方面實現突破。”

  眾矢之的

  以前,一提到高性能計算,人們首先想到的就是科學計算、龐大而笨重的機器、高昂的投入……如今,高性能計算已經深入到商用領域,政府、教育、石油勘探,甚至網游都可見集群系統的身影。

  從中國TOP100來看,2005年,高性能計算的應用領域越來越寬,主要分布在科學計算、電信、能源、金融、政府、教育等行業,其中用於石油勘探的系統就有29套。結合近兩年的數據,HPC在電信、稅務等領域的增長超過了200%。

  談到商用市場的競爭,Dean Hutchings表示:“這是一個競爭激烈的市場。以前,人們更多的關注系統的計算能力,現在,用戶更關注系統的優化、穩定性以及利用率,高性價比是優先考慮的問題。對於用戶中存在的HPC系統利用率低的問題,一方面原因是系統整體設計的問題,另一方面是HPC與應用軟件的配合問題。”

  伴隨LS系列集群產品的推出,Linux Networx公司開始向市場提供標准化、通用的超級計算機產品,而商用市場是一個主要的產品市場。Dean Hutchings介紹說:“多采用定制化產品的高端市場與商用市場都在成長。4年前,Linux Networx的產品有90%集中在高端,商用市場的收入只占5%,如今,定制化的產品只占65%,而商用市場的產品增長到35%。我們將高端的Evolocity集群產品的技術下移,采用標准化技術,針對中高端市場推出了LS系列產品。”

  變數

  談到未來HPC技術的發展趨勢,Dean Hutchings表示:“HPC的發展趨勢主要體現在以下3個方面:第一,集群系統的應用將更加廣泛;第二,體系結構還會變化,比如雙核甚至多核CPU的應用,並行計算模型的應用;第三,集群系統的節能問題會凸現出來,比如冷卻系統的設計,以及智能化的能源管理都是要面對的新課題。”

  2004年,記者第一次采訪Dean Hutchings時,他認為對於中國市場來說,16~64顆CPU的集群系統是應用的主流。時隔一年,Dean Hutchings表示,HPC市場在擴大,用戶的需求也在增長,雖然中端市場仍是增長比較快的市場,但從CPU的數量來看,由於雙核CPU的應用,128個,甚至256個CPU的系統也將受到用戶的青睐。Linux Networx公司將根據用戶的需求,提供與其應用相適合的CPU。“HPC系統采用雙核或多核CPU是一個趨勢。” Dean Hutchings認為,“由於不同的應用軟件在配置不同品牌CPU的系統中,運行效率不同。因此,從某種角度講,軟件決定了CPU的選擇。”

  過去,HPC領域一直采用Linpack評價體系。Linpack指標反映的是CPU的計算能力,雖然結果一目了解,但是畢竟不太全面。如今,用戶在采購HPC系統時,除了關注計算能力以外,對於系統的優化、性價比也同樣關注。正因為如此,由美日兩國HPC人員參與制定的HPC Chanllenge Benchmark評價標准引起了人們的關注。業界的一種普通觀點認為,HPC Chanllenge Benchmark評價標准是對Linpack指標的補充,是從更多角度對高性能計算機的性能進行評測,除了計算能力外,內存訪問、網絡傳輸等也被納入了評價體系。Dean Hutchings認為:“以前的Linpack評價體系指標單一,簡單明了,用戶容易接受,而HPC Chanllenge Benchmark評價標准可以更全面地反映一個系統的情況。不過,對於用戶來說,關鍵是能用HPC做多少有用功。”

  11月,從美國西雅圖舉行的超級計算機博覽會上傳來消息,微軟有意進軍HPC領域。從桌面系統到網絡存儲,再到如今的HPC,微軟的版圖仍在擴大。微軟希望為超級計算機提供一套完整的Windows平台,幫助用戶更快地安裝和運行超級計算機。在Linux日漸成為主導的HPC領域,Windows平台到底能有多大作為?Dean Hutchings表示:“微軟一直以來都在為大眾服務,它進入HPC領域,有可能在低端市場上掀起波瀾。不過,HPC畢竟不是PC,不可能像PC一樣銷售量以百萬台計。HPC的主要市場還是在中高端。”

  

  LS/X

  

  LS/X結構

  寫在後面

  服務中國

  去年的這個時候,Linux Networx公司攜Evolocity集群產品正式進入中國市場。當時,Linux Networx公司總裁兼首席運營官Dean Hutchings就表示:“占有中國高性能計算市場20%的份額是公司的長遠目標。”一年時間過去了,以CAE(計算機輔助工程分析)應用領域為突破口,Evolocity集群產品已經進入了中國的制造、教育和政府等領域,並在科學計算、電子政務等方面開了個好頭。2005年12月1日,Linux Networx又在中國市場推出了新一代的Linux集群產品LS系列。Dean Hutchings仍舊雄心勃勃:“去年,我們獲得了4000萬美元的風險投資,將全部用於開拓美國以外的海外市場。2006年,我們預計總收入的10%將來自於亞洲市場,特別是中國和日本市場。”

  目前,Linux Networx向中國市場提供的產品,價格從5萬美元到200萬美元都有,中小型的集群產品將是主打。最新發布的LS-1集群產品就定位在中端,采用了全新的模塊化設計理念,可與流動動力學、碰撞分析、工程設計、3D圖形顯示等第三方軟件實現完美結合,系統最大可擴展到128個節點。可以預測,更高性價比的LS-1集群產品將成為2006年Linux Networx在中國力推的產品。

  今年6月,Linux Networx公司任命了新的CEO,這也加速了公司市場定位的轉型。Dean Hutchings表示:“公司正從一個產品制造商向服務提供商轉變。從產品的角度看,公司也從單純地為用戶提供大型的定制化的Linux集群系統轉變為提供通用、標准化的集群產品。這種變化不是一種革命,而是一種進化,是為了滿足用戶的多種需求。”2006年,Linux Networx將重拳出擊商用市場,航空航天、汽車制造、石油及天然氣、政府是公司在中國市場重點投入的領域。明年初,Linux Networx會在北京、西安等地設立辦事機構,開始本地化的服務。




Copyright © Linux教程網 All Rights Reserved