如何構(gòu)建省錢的服務(wù)器集群

來源：泛普軟件

以下這些知名機(jī)構(gòu)用價廉低耗的計算機(jī)構(gòu)建集群，同樣提供了近乎實時的處理能力，它們用于搜尋早期宇宙的跡象、研發(fā)下一代雷達(dá)或又快又經(jīng)濟(jì)地運行網(wǎng)絡(luò)測試。他們的做法值得借鑒。

GPU集群與天文研究

這是一項很特別的挑戰(zhàn)：在澳大利亞內(nèi)陸為默奇森寬視場射電望遠(yuǎn)鏡陣列（Murchison Widefield Array，MWA）構(gòu)建一個高性能計算集群。由于這里晚上沒有任何射電干擾，所以更容易搜尋早期宇宙的跡象。

MWA旨在幫助宇宙學(xué)家了解宇宙大爆炸之后，宇宙的起源、最早的恒星、星系以及類星體形成等問題，同時，該集群還將跟蹤太陽，特別是太陽風(fēng)暴與不斷變化的太陽磁場關(guān)系等。但是，MWA需要驚人的一站式計算能力來處理大量的數(shù)據(jù)。

可供選擇的辦法并不多。研究人員發(fā)現(xiàn)，MWA的電力供給將會是一個大問題。MWA距離最近的居民點約50公里，離最近的市鎮(zhèn)約300公里。由標(biāo)準(zhǔn)的高性能計算節(jié)點組成的集群其耗電量會很大，而當(dāng)?shù)赜秩鄙傧鄳?yīng)的基礎(chǔ)設(shè)施。

因此，MWA改而使用約80個圖形處理器（GPU）Nvidia Tesla S1070組成了兩個集群，整套系統(tǒng)的電力供給依靠40千瓦的柴油發(fā)電機(jī)組來供電。

以最高3GB/s的速度通過MWA的天文數(shù)據(jù)將進(jìn)行2.5TFLOPS運算。由于澳大利亞內(nèi)陸沒有光纖通道，圖像只好在本地進(jìn)行處理，工作量相當(dāng)大。天線捕獲射電數(shù)據(jù)（因此需要沒有射電干擾的場地）后，把數(shù)據(jù)傳送給被稱為相關(guān)器的設(shè)備，相關(guān)器再把數(shù)據(jù)提供給GPU。

圖像處理環(huán)節(jié)包括通過數(shù)學(xué)方程式將傅里葉數(shù)據(jù)轉(zhuǎn)換成實際空間數(shù)據(jù)、校正電離層失真和調(diào)校測量儀器。

目前，集群還沒有構(gòu)建完畢，不過測試原型機(jī)已經(jīng)開始運行了。Richard Edgar表示，按每瓦TFLOPS這個指標(biāo)來衡量，該集群是世界上速度最快的。

美國空軍與PS 3集群

人類在技術(shù)方面的一大挑戰(zhàn)是：讓計算機(jī)像人那樣執(zhí)行相同的任務(wù)。這對美國空軍來說，意味著教計算機(jī)學(xué)會識別雷達(dá)圖像、準(zhǔn)確辨認(rèn)任何異常情況，而且常常是實時進(jìn)行，處理起來不能有任何延遲。

美國空軍研究實驗室信息管理部的首席科學(xué)家Richard Linderman表示，該實驗室對計算的需求非常高。他解釋說，實驗室使用的特殊圖像“能實時消除大氣扭曲”。實驗室還采用神經(jīng)形態(tài)計算算法，“探索如何以與人腦同樣的方式使用計算機(jī)，比如強大的目標(biāo)識別能力?！?/P>

Richard Linderman表示，幾年前他的團(tuán)隊開始分析超級計算機(jī)的成本時，首先考慮了PlayStation（PS）游戲機(jī)。他說，IBM專門為洛斯阿拉莫斯國家實驗室（Los Alamos）制造的“走鵑（Roadrunner）”超級計算機(jī)成本遠(yuǎn)超過1億美元，但他看了相關(guān)報道后認(rèn)識到，該超級計算機(jī)所用的芯片其實就是IBM、索尼和東芝聯(lián)合設(shè)計的Cell處理器，而PS 3游戲機(jī)用的也是這種芯片。

Richard Linderman表示，PS 3集群最初的構(gòu)建成本約33萬美元，峰值性能為40TFLOPS，因而性價比要比Roadrunner高約10倍。美國空軍最近重新設(shè)計了集群，以便使用更便宜的組件，獲得更強大的計算能力?，F(xiàn)在，GPU和PS 3芯片基本上各占一半，峰值性能約為500TFLOPS，成本僅為200萬美元。

Richard Linderman說：“我們不想付大筆電費，所以用電效率是個重要因素。500TFLOPS超級計算機(jī)耗電量大多數(shù)達(dá)到幾兆瓦，而這個集群的耗電量只有300千瓦，這樣每年將節(jié)省1兆瓦用電，相當(dāng)于省下了100萬美元。其節(jié)省幅度相當(dāng)大，又可以獲得500TFLOPS的性能?！?/P>

MIT與插座式集群

對傳統(tǒng)的集群或超級計算機(jī)來說，目的是通過使用速度非?？斓墓蚕韮?nèi)存，同時運行多個應(yīng)用或“任務(wù)”，這項工作需要高速網(wǎng)絡(luò)和高速磁盤訪問。

不過有時候，單項任務(wù)（如運行網(wǎng)絡(luò)測試）則需要高速的單精度浮點格式，而不需要超級計算機(jī)或高性能計算（HPC）集群的雙精度數(shù)據(jù)傳輸速度和共享內(nèi)存。

麻省理工學(xué)院（MIT）發(fā)現(xiàn)，使用插座式計算機(jī)（plug computer）組成的集群，就能在耗電量很低的情況下運行網(wǎng)絡(luò)測試。插座式計算機(jī)其實就是連接到網(wǎng)絡(luò)的超小型裸機(jī)服務(wù)器，典型的插座式計算機(jī)包括Marvell公司的SheevaPlug或GuruPlug，或者基于這種平臺開發(fā)的其他產(chǎn)品，比如QuadAxis公司的QuadPlug。

設(shè)計該集群項目的麻省理工學(xué)院系統(tǒng)管理員Kurt Keville稱，麻省理工學(xué)院的這個集群用標(biāo)準(zhǔn)Wi-Fi連接而成，工作時總耗電量才約100瓦。他說：“我們現(xiàn)在的一大瓶頸就是內(nèi)存、網(wǎng)絡(luò)帶寬和延遲?！蹦壳埃槭±砉W(xué)院使用許多獨立的處理器核心，借助多路徑網(wǎng)絡(luò)技術(shù)，在無線網(wǎng)絡(luò)上劃分任務(wù)。這種技術(shù)需要部署的無線熱點總數(shù)比較少，可以更充分地利用每個核心。這意味著，麻省理工學(xué)院使用低成本的插座式計算機(jī)，即可為特定的應(yīng)用任務(wù)構(gòu)建多個集群，費用比處理所有HPC任務(wù)的傳統(tǒng)集群低得多。

該團(tuán)隊還采用這一集群為學(xué)生們提供低成本的、太陽能供電的無線網(wǎng)絡(luò)。Kurt Keville表示，目前不打算構(gòu)建一般性的集群，因為功能更齊全的處理器耗電量很大，成本過高。

但使用共享內(nèi)存來處理復(fù)雜的計算任務(wù)行不通，因為單臺插座式計算機(jī)缺乏足夠的內(nèi)存和處理速度，無法同時處理多個任務(wù)。

桑迪亞國家實驗室與無磁盤集群

這個值得考慮的集群選擇根本不是傳統(tǒng)的硬件節(jié)點。桑迪亞國家實驗室（Sandia National Laboratories）的研究人員Ron Minnich構(gòu)建了一個使用100萬個虛擬機(jī)的集群，并爭取近期將這個系統(tǒng)擴(kuò)展到1000萬個虛擬機(jī)。

每個虛擬機(jī)由該實驗室的“雷鳥（Thunderbird）”超級計算機(jī)上運行的Linux內(nèi)核構(gòu)成。有意思的是，這臺超級計算機(jī)本身就是個集群，由近5000臺戴爾計算機(jī)相互連接而成。為了構(gòu)建這個包括100萬個節(jié)點的集群，Ron Minnich在每個戴爾節(jié)點上運行250個虛擬機(jī)。如果要擴(kuò)展到1000萬個節(jié)點，他就得在現(xiàn)有集群中的每臺戴爾計算機(jī)上運行更多的虛擬機(jī)。

Ron Minnich及其團(tuán)隊正使用這個集群模擬僵尸網(wǎng)絡(luò)如何感染計算機(jī)，分析互聯(lián)網(wǎng)如何工作，以及幫助開發(fā)下一代操作系統(tǒng)和安全軟件。他表示，最終，他的團(tuán)隊希望能夠模擬一個小國家的計算機(jī)網(wǎng)絡(luò)，甚至能模擬像美國這類大國的計算機(jī)網(wǎng)絡(luò)，以便在虛擬環(huán)境下監(jiān)測網(wǎng)絡(luò)攻擊。換句話說，他想在實驗室里建立網(wǎng)絡(luò)攻擊的虛擬模型。

Ron Minnich說：“一些緊迫的問題需要越來越多的計算資源，比如為氣候變化建立模型、研制新藥以及研究更有效的開發(fā)能源?！贝送?，虛擬化技術(shù)還會在研發(fā)大規(guī)模系統(tǒng)方面起到越來越重要的作用，因為它能夠在一個平臺上運行多個操作系統(tǒng)，并處理針對特定應(yīng)用的操作系統(tǒng)。

基于GPU的射電望遠(yuǎn)鏡集群MWA。很顯然，MWA完全依賴GPU驚人的計算能力來為天文研究創(chuàng)建大量的實時圖像。

麻省理工學(xué)院的系統(tǒng)管理員Kurt Keville說，他們發(fā)現(xiàn)，可以使用插座式計算機(jī)集群，在非常低功耗的情況下進(jìn)行網(wǎng)絡(luò)測試。

幫助構(gòu)建MWA集群的研究人員Richard Edgar說：“在電力這么有限的情況下，像至強和皓龍這些當(dāng)代處理器提供不了所需的計算能力。我們考慮過改用低功耗的MIPS處理器，但它們也提供不了所需的性能。由于計算方面的要求極高，供電量較低，使用GPU就成了惟一有望成功的辦法?！?/P>

集群計算仍在發(fā)展當(dāng)中。據(jù)麻省理工學(xué)院的Kurt Keville預(yù)測，在不遠(yuǎn)的將來，巨型超級計算機(jī)集群占整整一層大樓的現(xiàn)象將不復(fù)存在。研究人員不會提前幾周安排批處理任務(wù)，而是會拿來幾臺插座式計算機(jī)，即刻構(gòu)建自己的集群。他說：“我們要重新思考對待科學(xué)計算的角度，考慮到可以使用的新產(chǎn)品和高昂的電力成本。面對更多的問題，我們需要更多的解決辦法。”

發(fā)布：2007-04-29 10:18 編輯：泛普軟件 · xiaona [打印此頁] [關(guān)閉]

相關(guān)欄目：