如何幫助IDC卸掉“電手銬”

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

作為一家以地球物理勘探與服務(wù)業(yè)務(wù)為主的企業(yè)，東方地球物理公司對(duì)高性能計(jì)算旺盛的需求，使得原本被忽視的電能需求成為束縛他們發(fā)展的“手銬”，他們希望找到一種有效的方法從中解脫出來。

成本之痛

2008年8月7日，北京2008奧運(yùn)會(huì)開幕式前一天，東方地球物理公司(以下簡(jiǎn)稱BGP)研究院副總工程師、處理中心總工、教授級(jí)高工賴能和從河北涿州驅(qū)車北京，一天跑了兩個(gè)地方，上地和中關(guān)村，與4家公司進(jìn)行技術(shù)交流，高密度的工作安排一切都是為了數(shù)據(jù)中心如何提高設(shè)備利用率、如何節(jié)能降耗。

“目前我們每天的電費(fèi)大約3萬多元?！睋?jù)賴能和說道，從2002年到2007年，BGP所擁有的CPU數(shù)量、總體運(yùn)算能力、總存儲(chǔ)容量分別增長(zhǎng)了40倍、7354倍和300倍?！拔覀儸F(xiàn)在擁有超過1.5萬顆CPU、2.6萬多個(gè)核、2000T存儲(chǔ)規(guī)模的數(shù)據(jù)中心，每年光電費(fèi)成本就超過1000多萬元?！?/P>

作為中石油的找油先鋒。賴能和所在的東方地球物理公司主要以地球物理勘探業(yè)務(wù)為主，國(guó)內(nèi)業(yè)務(wù)分布在12個(gè)省區(qū)15個(gè)油田，國(guó)際業(yè)務(wù)分布在全球30多個(gè)國(guó)家。BGP在全球地球物理服務(wù)公司中綜合實(shí)力排名第四位，陸上地震勘探排全球第一位。

據(jù)賴能和透露，BGP之所以具有如此強(qiáng)大的勘探能力，高性能計(jì)算(HPC)發(fā)揮了重要的作用。“CPU和計(jì)算能力的增加，間接地給BGP帶來的就是能耗不斷增加。”賴能和給記者算了一筆賬：如果增加1萬顆CPU，考慮到空間、照明、人員等環(huán)境因素和制冷設(shè)備冗余，光是大功率的專業(yè)空調(diào)就需要新增 22臺(tái)。如果將來增加到2.5萬～3萬顆CPU，加上機(jī)房制冷空調(diào)、UPS等設(shè)備的能耗，那時(shí)的電費(fèi)真可謂是一個(gè)“天文數(shù)字”了。

計(jì)算能力的增加是目前石油勘探行業(yè)的發(fā)展形勢(shì)所迫。一方面，要確保國(guó)家能源安全，這一任務(wù)非常艱巨;另一方面，近年來隨著油氣勘探開發(fā)的不斷深入，勘探開發(fā)的技術(shù)難度越來越大。油氣公司為了解決復(fù)雜地表及地下地質(zhì)構(gòu)造成像問題，提高地震資料成像精度和勘探開發(fā)效益，減少勘探開發(fā)風(fēng)險(xiǎn)，加大了地震疊前偏移處理技術(shù)的推廣應(yīng)用力度，所以勘探公司必須大幅度增加自身的計(jì)算能力。

“每年的電費(fèi)真讓人心痛!”賴能和在為能耗的問題而苦惱之時(shí)，管理的困境也在圍繞著他。

管理之困

相比于其他企業(yè)，BGP數(shù)據(jù)中心絕對(duì)是個(gè)“老壯派”，自1964年建立已歷經(jīng)了40多年的發(fā)展：1995年以前完全是大型機(jī)時(shí)代，機(jī)器從最早 1973年的DJS150百萬次/秒計(jì)算能力開始，到1977年物探局引進(jìn)的千萬次/秒計(jì)算能力的CYBER1724計(jì)算機(jī)。自1995年后，進(jìn)入 UNIX時(shí)代，BGP開始引進(jìn)IBMSP2機(jī)器，2002年開始應(yīng)用PC集群。除計(jì)算能力增長(zhǎng)很快外，機(jī)房面積也扶搖直上。直到現(xiàn)在，BGP的數(shù)據(jù)中心已超過3600平米，加上其他地區(qū)分院的機(jī)房，總面積高達(dá)6000平米。

數(shù)據(jù)中心計(jì)算能力和面積的飛漲增加了管理的復(fù)雜性?！?萬多顆CPU管理非常繁雜,如何合理調(diào)配，充分發(fā)揮它門的性能，是個(gè)大課題?！睋?jù)賴能和解釋，與CPU相配套的存儲(chǔ)、網(wǎng)絡(luò)技術(shù)的發(fā)展得并沒有像CPU的發(fā)展那么快，所以CPU的性能很難充分發(fā)揮出來。另外，面對(duì)高密度的機(jī)房，人力已經(jīng)無法管理。以涿州為例，150個(gè)機(jī)柜分布于2層樓中,每層1600平米。哪個(gè)機(jī)柜的CPU出現(xiàn)問題，哪個(gè)地方的網(wǎng)絡(luò)堵塞了，只有專業(yè)人員到現(xiàn)場(chǎng)才能看出來，即使看出來，可能也無法真正了解清楚，這很費(fèi)時(shí)間。管理人員很難了解到機(jī)柜的利用率是多少，當(dāng)一部分服務(wù)器完成計(jì)算任務(wù)之后，它們處于閑置狀態(tài)很難快速傳遞到管理平臺(tái)之中。數(shù)據(jù)的安全也令人擔(dān)心，磁盤都是機(jī)械和電子設(shè)備，難免出現(xiàn)磁盤本身的故障和人員操作的失誤，幾千TB的數(shù)據(jù)都是BGP寶貴的數(shù)字資產(chǎn)。

設(shè)施的安全性也不可掉以輕心。UPS、空調(diào)等諸多設(shè)備，要保證它們運(yùn)營(yíng)時(shí)的安全，是不是存在安全隱患?目前雖然采取了一些溫度、濕度、漏水的監(jiān)控措施，但還是不夠完善。今年7月悶熱潮濕的天氣比較多，再加上空調(diào)排水管的老化，接頭地方不牢，數(shù)據(jù)中心的空調(diào)突然出現(xiàn)滴水。這可急壞了管理層和技術(shù)人員，機(jī)房里那么多的設(shè)備，最怕的就是水，萬一哪臺(tái)有個(gè)好歹……好在發(fā)現(xiàn)得及時(shí)，沒有造成太大影響。但這次事件給領(lǐng)導(dǎo)敲響了警鐘，也引起了高度重視，他們立即組織人員重點(diǎn)找原因，進(jìn)行排查。

賴能和說：“像我們這樣的大型數(shù)據(jù)中心，要有安保措施、報(bào)警系統(tǒng)、自動(dòng)監(jiān)控系統(tǒng)，這樣才能更好地杜絕運(yùn)營(yíng)中的安全隱患。”經(jīng)過這次事情后，他們立刻著手進(jìn)行整改。

優(yōu)化之艱

與普通數(shù)據(jù)中心不同，HPC的節(jié)能降耗是一項(xiàng)系統(tǒng)工程。普通的數(shù)據(jù)中心可以通過降低電壓、動(dòng)態(tài)平衡負(fù)荷的方式來降低CPU能耗，但是高性能計(jì)算機(jī)因?yàn)樨?fù)擔(dān)的數(shù)據(jù)量大，在CPU、操作系統(tǒng)、應(yīng)用軟件、機(jī)房制冷層面，都應(yīng)該指定具有節(jié)能降耗的解決方案。而且這些解決方案必須相互間有所關(guān)聯(lián)和互動(dòng)，才能保證整體節(jié)能降耗的效率和效果。

賴能和舉了個(gè)例子，如果要達(dá)到1萬顆CPU的計(jì)算能力，考慮空間、照明、人員等環(huán)境因素和制冷設(shè)備冗余，總共需要100KW專業(yè)空調(diào)22臺(tái)。降耗節(jié)能是數(shù)據(jù)中心非常關(guān)心的一個(gè)問題，近5年他們已投入1300多萬元，經(jīng)歷四五次大的改造，進(jìn)行資源優(yōu)化配置、技術(shù)改造，收到了近億元的經(jīng)濟(jì)效益。

2003年~2004年，主要針對(duì)CPU資源利用率進(jìn)行提升。他們?cè)密浖y(cè)試過兩套128CPU處理能力的集群在資源常規(guī)處理時(shí)的利用率，發(fā)現(xiàn)它們只有14%。而主要原因出在I/O網(wǎng)絡(luò)上,。他們調(diào)整了節(jié)點(diǎn)的標(biāo)配，并針對(duì)石油物理的應(yīng)用進(jìn)行優(yōu)化，增加了配套的外部設(shè)施，這樣將CPU的利用率提高到30%以上。

2005年~2006年，他們又進(jìn)行了32位向64位轉(zhuǎn)移的改造。經(jīng)過測(cè)試，在價(jià)格相當(dāng)?shù)那闆r下，64位的某疊前偏移軟件在64位的集群上的運(yùn)行速度，比32位的某疊前偏移軟件在32位的集群上快2~2.5倍。同時(shí)，64位機(jī)器處理文件的大小突破了2G的限制，內(nèi)存突破了4G的限制，對(duì)疊前時(shí)間偏移的運(yùn)行效率有明顯的提高。之后，他們又遷移了3000顆CPU，由于利用率的提高，投資大幅度減少，為公司省下上千萬元費(fèi)用。

2007年的改造重點(diǎn)在存儲(chǔ)系統(tǒng)。原來他們的儲(chǔ)存絕大多數(shù)是小盤陣，單用戶應(yīng)用時(shí)效果還不錯(cuò)，但多用戶使用時(shí)性能得不到保證。2006年~2007年已投入幾千萬元引進(jìn)400TB的SAN全光纖架構(gòu)的共享存儲(chǔ)系統(tǒng)。目的就是為了對(duì)存儲(chǔ)和計(jì)算資源進(jìn)行大規(guī)模的優(yōu)化整合，以前是CPU在等數(shù)據(jù)，現(xiàn)在磁盤硬件轉(zhuǎn)速提高3倍，故障點(diǎn)減少，也沒有數(shù)據(jù)的孤島，CPU利用率又得以提高，常規(guī)處理的利用率提高到接近40%。

綠色之鑒

除在IT設(shè)備的節(jié)能動(dòng)腦筋外，機(jī)房的基礎(chǔ)設(shè)施和散熱設(shè)備的改造也會(huì)帶來可觀的成本節(jié)約。“CPU的快速增長(zhǎng)，對(duì)我們的場(chǎng)地面積占用很大，電費(fèi)上升非?？?，以前我們對(duì) IT設(shè)備外的配套設(shè)施也沒有考慮得那么周全。我們統(tǒng)計(jì)分析后發(fā)現(xiàn)，在每年的支出中，除CPU等軟硬件之外，其他基礎(chǔ)設(shè)施和散熱設(shè)備費(fèi)用占1/3，應(yīng)有很多文章可做?！辟嚹芎驼f道。

隨著石油勘探行業(yè)高性能計(jì)算規(guī)模的擴(kuò)大，迫切需要解決高密度機(jī)房的散熱和制冷問題。據(jù)賴能和介紹，他們采取的措施有很多，如改造機(jī)房地板，引入格柵來定向調(diào)節(jié)風(fēng)向、風(fēng)量和風(fēng)速，并設(shè)置定向機(jī)柜以更好地排熱。通過格柵等技術(shù)定向調(diào)節(jié)風(fēng)量使其均勻，因此能夠大大降低溫度，節(jié)省電量，每年能夠因此節(jié)約電費(fèi)幾十萬元。此外，通過整治高頻諧波，可以降低諧波率，也能夠降低每年數(shù)百萬元的電費(fèi)。

在數(shù)據(jù)中心的管理中，他們意識(shí)到資產(chǎn)管理有可視化的重要性。能不能在一個(gè)全面的視圖中，非常細(xì)致地捕捉到每一個(gè)局部的信息，并可以在操作臺(tái)上控制?他們正在嘗試應(yīng)用一些數(shù)字化管理手段，來進(jìn)行資產(chǎn)和運(yùn)營(yíng)成本的精細(xì)化管理。未來會(huì)把CPU、存儲(chǔ)、網(wǎng)絡(luò)等資源監(jiān)控與OA系統(tǒng)整合，這樣就不用一天跑幾次數(shù)據(jù)中心了，在辦公室里就可以看到數(shù)據(jù)中心的全部情況，進(jìn)行資源的實(shí)時(shí)管理。

擴(kuò)建之機(jī)

數(shù)據(jù)中心的業(yè)務(wù)這6年發(fā)生了非常大的變化，與2002年相比，業(yè)務(wù)增長(zhǎng)5倍，產(chǎn)值增長(zhǎng)5倍，而人員沒有增加。未來3-5年，賴能和說：“我們?cè)?‘藍(lán)色國(guó)土’的開發(fā)上，比陸地要快得多得多，CPU還要增加二三倍?！薄拔覀円呀?jīng)沒有地方擺下更多的IT設(shè)備。”2006年1月，他們就著手規(guī)劃未來的數(shù)據(jù)中心，總部新機(jī)房面積超過設(shè)計(jì)為6000平方米，2009年年底投產(chǎn)。未來的數(shù)據(jù)中心會(huì)更加綠色、更加自動(dòng)化，信息化管理手段更高，向著更加智能化方向發(fā)展?！辟嚹芎驼f。（CIO Insight）