分析：綠色能否讓高性能計算更快更便宜

申請免費試用、咨詢電話：400-8352-114

高性能計算機已經(jīng)讓綠色計算的觀念更加深入人心。但是，綠色計算是否能給你提供一個更快、更好、更便宜的高性能集群呢?

綠色已經(jīng)成為了今年的熱門詞匯。用綠色的墨汁來打印你的小冊子、在你的產(chǎn)品描述中加入綠色概念以及“更快地為綠色做好準備”就是很好的例子。但是，一旦牽扯到高性能計算機(HPC)，就沒有那么簡單了。實際上，在一個性能至上的市場中，其它的任何因素看起來都居于次要位置。直到數(shù)據(jù)中心的電費帳單到你眼前時，你才領(lǐng)悟到其它因素的重要性。為了獲得更好性能的數(shù)據(jù)中心，也就意味著需要更多的空間、電能，散熱就變得更加難了。

綠色HPC是真正地優(yōu)化過的HPC。除非你不考慮你的預(yù)算，否則，性價比通常是用于衡量不同硬件解決方案的標尺。盡管計算機的性能可以很容易地衡量，但是價格組成部分卻有一些模糊。通常情況下，價格組件包括基本的硬件采購成本，但是忽略了操作費用。在當前火熱的競爭激烈的服務(wù)器市場中，這一分析很少被人們所注意到。下面的這個例子就可以很好地說明這個問題。

目前，1U雙槽集群節(jié)點需要大約300瓦的電能。散熱和電源傳輸中的損失可能會讓這個數(shù)字翻一倍，也就是600瓦。因此，通常情況下，一年一個單一的集群節(jié)點會需要5256千瓦時的電能。以0.1美元/千瓦時的成本來計算，一個單一集群節(jié)點每年的電能和散熱費用大約是526美元。

而當你把整個集群都考慮進去的話，這一數(shù)字可能會增加到你難以置信的程度?？紤]一個當前市場上典型的集群價格，一個節(jié)點可能需要花費3500美元(這包括機架、交換機等等)。如果使用標準的四核技術(shù)，一個節(jié)點擁有兩個處理器共八個核。使用我們的平均節(jié)點價格，一個標準的128節(jié)點的集群(帶有256個處理器和1028個核)就需要耗費448000美元?；谏鲜龅牟孪?，每年的電能和散熱預(yù)算就需要67300美元。那么如果以三年為一個周期，那么所需要的花費就是201900美元，大概占到整個系統(tǒng)的45%。

計算價格可能由于市場條件和地理位置有所變化，但上述的分析也表明，三年數(shù)據(jù)中心的電能和散熱花費也接近于整個集群硬件的40-50%的成本。

因此，相比于性價比來說，更加確切的衡量標準應(yīng)當是架構(gòu)/操作比。忽略掉這些成本就會導致一個變形的、理想的性價比衡量標準。操作成本通常反映在所有權(quán)成本(TCO)標準中，但是高性能計算機則更期望使用性能標準。

綠色就是性能

基于上述的分析，任何減少電能和散熱成本的估計都會自動地減少價格/性能比率(越低越好)。這個結(jié)論是相當讓人感到震驚的，因為綠色計算通常和低電能(例如低時鐘頻率)系統(tǒng)聯(lián)系在一起。在高性能計算機中，綠色則意味著變慢。它同時意味著更具效率。在本篇文章的余下部分，我們來看一下不同的針對HPC系統(tǒng)提高效率的辦法以及一些綠色HPC的新思路。

讓服務(wù)器更加綠色

由于很多當前的機架服務(wù)器都使用相同的處理器、內(nèi)存以及硬盤，我們就暫且不討論這些組成部分了。換句話說，我們使用那些市場提供的以及廠商所作的可以讓這些組件更具效率的硬件。通過使用新的處理器，有一些新的節(jié)能特性可用;集群也展示了一個獨特的環(huán)境，通過任務(wù)調(diào)度來更好地管理(參考以下部分)。

電源供應(yīng)

如果你使用標準的機架式服務(wù)器，那么你可以控制的部分就是電源供應(yīng)。確認你當前使用了帶有電源利用率修正(PFC)功能的電源。一個超過0.8的帶有PFC的電源是更具效率的。不幸地是，一個沒有修正的電源，它的電源使用率因子可能是0.70-0.75，這樣就會浪費電能。一個好的PFC電源可以得到0.95-0.99的電源使用率因子。除了PFC，電源的效率也不能不提到。在過去，一個典型的電源可能效率只有60-70%，這也就意味著30-40%的電能都以熱能的形式浪費了。而好的電源可以達到80%以上的效率。

平衡你的調(diào)度

就像上面所說的那樣，大多數(shù)的廠商都在采用更具效率的供電策略。比如，Intel和AMD都在很多的處理器上提供了動態(tài)頻率控制方法，通過使用Intel的SpeedStep和AMD的Cool’n Quiet特性。使用了這些特性，就可以動態(tài)地改變一個處理器的時鐘頻率，這主要是通過在一個給定節(jié)點上修改/sys/devices/system/cpu/cpu_/cpufreq/文件系統(tǒng)來完成。一個處于閑置狀態(tài)的處理器應(yīng)當在它不使用時降低頻率(通過cpufreq-selector命令來檢測)。除此之外，如果你在你的節(jié)點上使用硬盤，那么當前的硬盤都提供綠色節(jié)點。使用命令hdparm –S就可以設(shè)置一個計數(shù)器，也就可以讓硬盤進入到低電能模式。你可能需要調(diào)整內(nèi)核將磁盤緩存寫入到硬盤的間隔(設(shè)置/proc/sys/vm/dirty_writeback_centisecs)。Syslog守護進程可能需要被修改，它可以直接寫入到磁盤上?？梢酝ㄟ^在/etc/syslog.conf文件中的每一個條目上附加一個“-”符號來使用緩存。

最具效率地控制上述電源節(jié)省特性的辦法就是通過調(diào)度?；旧希蝿?wù)調(diào)度可以知道每一個節(jié)點的狀態(tài)。當沒有任務(wù)指派到節(jié)點上以及在性能狀態(tài)下一個任務(wù)正在運行，書寫一個前工作腳本和后工作腳本以讓CPU和硬盤進入到一個低電能狀態(tài)并不是一個很難的事情。改變這些狀態(tài)并不會真正招致實際的負擔，并且這個對于調(diào)度來講也是微乎其微的。

一個更加節(jié)能的辦法就是讓所有沒有使用的節(jié)點完全斷電。Sun Grid Engine以及SLURM都有一些計劃來提供這種能力。Moab和AFS也具有相似的特性。這種能力在那些無磁盤的節(jié)點上尤其有用，因為快速的啟動和節(jié)點供應(yīng)在網(wǎng)絡(luò)上完成。一般情況下，在電源提供后，60秒之內(nèi)一個節(jié)點就可以操作了。

另外一個辦法就是使用調(diào)度來控制物理任務(wù)的放置。思想就是放置/移走任務(wù)到機房相對溫度低的地方，惠普公司寫的一篇文章中給出了這種方法的一些結(jié)論。

讓機架更加綠色

更好的機架映射對于集群的綠色也是一個好的辦法。典型的1U服務(wù)器就有至少10-12個風扇以及一個供電系統(tǒng)。基于刀片的系統(tǒng)可以讓一些設(shè)計改變并且在節(jié)點間共享風扇的供電。如果你考慮一下，帶有1U服務(wù)器的一個典型機架具有42個1.7x18x26英尺的通道(通風道)，它們中的每一個必需保持充足的空氣流來散熱整個服務(wù)器。通過鞏固一定量的風扇和供電，大量的電能都可以節(jié)省下來。一個很好的綠色機架的例子就是IBM的新iDataPlex。除此之外，還有一些小的子機架系統(tǒng)(適合于標準機架的刀片系統(tǒng))提供了綠色的特性。這其中的例子包括Supermicro Office機架、IBM BladeCenter S-Series以及Dell的M-Series。

另一個由Rackable Systems公司引領(lǐng)的技術(shù)就是基于DC的服務(wù)器。在這個設(shè)計中，每一個服務(wù)器和存儲系統(tǒng)都配備了一個高效率的48VDC電源，取代原來的標準交流供電。每一個機架柜都可以有效地將標準的交流電(AC)轉(zhuǎn)化為直流電(DC)，在這個機架中。這種在節(jié)點上去掉AC到DC的轉(zhuǎn)換就意味著具有更高的電源效率(92%)以及從節(jié)點上更少的散熱需要。

Intel的實驗

時常，有一些人決定測試一個由來已久的假設(shè)。這些假設(shè)在某些時間點上是有效的。但是，當經(jīng)濟條件或者系統(tǒng)設(shè)計有時需要重新考慮已經(jīng)建立好的設(shè)計時，那么就需要作出改變。最近，Intel就決定測試一個基本的假設(shè)。這就是，你的數(shù)據(jù)中心需要冷卻的空氣來工作。當然，這聽起來像一個正確的假設(shè)。

為了測試這一想法，Intel調(diào)查了空氣節(jié)約器的使用，以優(yōu)化數(shù)據(jù)中心的電能和冷卻設(shè)施。通過10個月的一個周期，使用一個100%空氣交換的方法完成一個測試數(shù)據(jù)中心的散熱，而無論溫度、濕度以及空氣質(zhì)量的條件。而且，更重要的是，它們報告，并沒有增加太大的組件失效狀況。

一個更加詳細的描述可能會讓你更清楚。兩個數(shù)據(jù)中心在一個相對比較低濕度的環(huán)境下(亞利桑那州)建立。每一個都擁有448個刀片服務(wù)器。控制數(shù)據(jù)中心使用傳統(tǒng)的冷卻空氣(空調(diào)方法)。而第二個或者測試數(shù)據(jù)中心則使用外部的空氣。而操作的溫度范圍則是65-90F。如果進入的空氣溫度高于90F，那么就使用冷卻的空氣來讓它保持在90F。如果進入的空氣低于65F，那么，暖的廢氣就被回收利用以保持溫度在65F以上。標準的家庭過濾系統(tǒng)被使用，而沒有任何針對濕度的調(diào)節(jié)。那么，在節(jié)能數(shù)據(jù)中心失效率為4.46%;在控制中心則是2.45%。很重要的一點是，系統(tǒng)都要保持在推薦的98F操作溫度之下，因為它并不是一個測試或者服務(wù)器的溫度限制。從數(shù)據(jù)來看，在測試端得服務(wù)器上的溫度在70-80F之間變動，而控制端的溫度則設(shè)定在68F。

這個實驗的結(jié)論就是，數(shù)據(jù)中心的能量估計節(jié)省了67%，也就是對于一個10-MW的數(shù)據(jù)中心來講，省去了287萬美元的費用。一個研究概況會包含更多的細節(jié)，并且，這看起來該假設(shè)值得一試?？赡茉诓贿h的未來，你可以聽到關(guān)于這個想法的更多內(nèi)容。

Green500

Top500列表是那些世界上最快計算機的排名(通過運行一個測試基準來決定速度)。很長時間以來，這一列表的追隨者都希望能夠知道這些系統(tǒng)的電能耗費情況。確實，很多人都希望能夠看到每瓦的性能指標，也就是架構(gòu)成本可以計算到性價比的系統(tǒng)之內(nèi)。

幸運的是，對于這些用戶來講，當前有一個Green500列表，它給出了MFLOPS/Watt的計算機排名。最近，這個列表的第三個版本已經(jīng)給出。有趣的是，Top500上最快的計算機是IBM基于Cell的Roadrunner，來自于Los Alamos國家實驗室。Roadrunner在Green500列表中排名第三，也就意味著速度和綠色兩者并不完全排斥。除此之外，排名前三的超級計算都史無前例的超過了400MFLOPS/watt這一高度。同樣，還傳來了一個好消息，基于Intel 45納米的低功耗四核Xeon處理器的系統(tǒng)和IBM的BlueGene/L機器已經(jīng)等同。

更少的熱量，更低的失效

Intel的試驗是站不住腳的，更熱也就意味著更高的失效率。請注意，在Intel的試驗中，測試端平均的溫度比起控制端的溫度并高不了多少。一個很好的定律就是，當溫度每升高10攝氏度，失效率就會加倍(Intel的試驗似乎很好的支持了上述定律)。當集群增長時，失效的數(shù)字就會變得越來越重要。很顯然，對于小的集群，低于5%的是效率是可以接受的;但是對于大的集群，這可能就會導致大量的服務(wù)器被取代。規(guī)則就是讓它保持低溫，并且持續(xù)時間更長。因此，除了節(jié)省成本以外，降低你的價格/性能比，系統(tǒng)可以持續(xù)的時間就長一些。

在過去的幾年里，高性能計算機已經(jīng)變得更具效率，但并不綠色。隨著時間的推移，更多的老系統(tǒng)將退出，而新的更加綠色的硬件和軟件將進入到新的系統(tǒng)中，從而推進綠色系統(tǒng)的發(fā)展。并且當你計算價格/性能比時，更加綠色就會意味著我們把更快、更好、更便宜放在首位。（IT專家網(wǎng)）