廢墟上的IT故事 CIO談災(zāi)備規(guī)則與演練

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

企業(yè)對(duì)于災(zāi)備的認(rèn)識(shí)究竟有多少？看法各不相同：災(zāi)備這種事情，就像買保險(xiǎn)，絕大多數(shù)都是買個(gè)心理安慰，發(fā)生意外的概率太小了；對(duì)于數(shù)據(jù)災(zāi)備，還是有必要的，但對(duì)于系統(tǒng)災(zāi)備，那簡(jiǎn)直就是浪費(fèi)成本；IT這東西，更新?lián)Q代太快了，要做災(zāi)備得充分考慮投資回報(bào)……

不難看出企業(yè)真正認(rèn)識(shí)到災(zāi)備意義的少之又少，絕大多數(shù)企業(yè)認(rèn)為災(zāi)備的投資是一個(gè)浪費(fèi)，再加上災(zāi)備的成本較高，很多企業(yè)還是停留在數(shù)據(jù)災(zāi)備層次上。沒(méi)有充分衡量災(zāi)備的價(jià)值，了解災(zāi)備對(duì)于企業(yè)生產(chǎn)經(jīng)營(yíng)的意義。但經(jīng)過(guò)“5.12”地震后，身處災(zāi)區(qū)的企業(yè)卻對(duì)災(zāi)備有了更加深刻的認(rèn)識(shí)。

地震后僅用了15天，東方汽輪機(jī)廠就恢復(fù)了生產(chǎn)，這不得不稱得上是一個(gè)奇跡。在這奇跡背后，支撐東方汽輪機(jī)廠迅速投入生產(chǎn)的是IT災(zāi)備系統(tǒng)。原來(lái)，早在“十五”期間，東汽就意識(shí)到災(zāi)備的重要性，從那時(shí)起就開始了災(zāi)備工作。據(jù)東方汽輪機(jī)廠計(jì)算機(jī)處處長(zhǎng)夏開渝介紹，在災(zāi)備工作開始前期大家并沒(méi)有認(rèn)識(shí)到災(zāi)備的重要性，很不理解這樣的工作。很多人都不認(rèn)同企業(yè)做災(zāi)備，認(rèn)為投入大、周期長(zhǎng)，還不如用這些錢來(lái)投入到生產(chǎn)，獲得更大的收益。把這些錢花到災(zāi)備上，卻什么收益也看不到。整個(gè)災(zāi)備方案論證了很長(zhǎng)時(shí)間。但是在夏開渝的努力下，災(zāi)備工作得以進(jìn)行。東汽首先從數(shù)據(jù)災(zāi)備開始，逐步過(guò)渡到系統(tǒng)災(zāi)備，直到2007年底東汽完成了異地?cái)?shù)據(jù)災(zāi)備、系統(tǒng)災(zāi)備。

東汽的主信息中心在漢旺，而另一個(gè)用來(lái)備份的信息中心在德陽(yáng)，兩地相距幾十公里。兩個(gè)信息中心的數(shù)據(jù)相互備份，但是數(shù)據(jù)的備份并非實(shí)時(shí)，而是每天夜里零點(diǎn)自動(dòng)做增量備份，每周做全備份。對(duì)于重要的ERP數(shù)據(jù)，每天備份，同時(shí)做增量備份，一周做一次全備份，數(shù)據(jù)保留時(shí)間為一年。對(duì)于非關(guān)鍵數(shù)據(jù)3天做一次增量備份，兩周做一次全備份。

而德陽(yáng)機(jī)房中心的備份僅局限于數(shù)據(jù)備份，東汽只在漢旺機(jī)房?jī)?nèi)對(duì)關(guān)鍵核心服務(wù)器做了雙機(jī)熱備。夏開渝對(duì)企業(yè)級(jí)服務(wù)器以及PC及服務(wù)器分別用不同的軟件做了系統(tǒng)備份。就在地震過(guò)去整整一個(gè)星期后，東汽進(jìn)入了抗震救災(zāi)的第二階段，將工作重點(diǎn)從救人轉(zhuǎn)向清理廢墟、搶救設(shè)備和生產(chǎn)恢復(fù)。

據(jù)夏開渝回憶：“我們漢旺中心的系統(tǒng)都損壞了，當(dāng)時(shí)中心ERP服務(wù)器的機(jī)柜倒掉了，核心兩臺(tái)服務(wù)器也遭受了一定程度的破壞，但經(jīng)過(guò)修復(fù)發(fā)現(xiàn)仍然可用。這對(duì)于我們來(lái)說(shuō)是一個(gè)天大的好消息?！币?yàn)?，不僅這4臺(tái)企業(yè)級(jí)服務(wù)器價(jià)格昂貴，更重要的是他們只是在漢旺進(jìn)行了備份，并沒(méi)有在德陽(yáng)備份。如果這4臺(tái)服務(wù)器出了問(wèn)題，要恢復(fù)原來(lái)的信息系統(tǒng)，就必須重新采購(gòu)新機(jī)器、安裝軟件，程序繁瑣，時(shí)間周期會(huì)很長(zhǎng)。

5月18日，夏開渝帶領(lǐng)自己的手下就把機(jī)房中心的設(shè)備全部搶救出來(lái)，并在19日將這些救出來(lái)的設(shè)備運(yùn)抵東汽德陽(yáng)信息中心。此時(shí)，夏開渝對(duì)短期內(nèi)迅速將信息系統(tǒng)恢復(fù)到震前水平已有了一定的把握。夏開渝還清晰地記得，首先自己從硬件恢復(fù)工作開始，此期間IBM給予他們很大的幫助，第一時(shí)間內(nèi)無(wú)償提供了急需的硬件。僅用了3天就把磁盤陣列等硬件設(shè)施恢復(fù)好，之后又用了兩天的時(shí)間恢復(fù)系統(tǒng)和數(shù)據(jù)，最后一天對(duì)所有的系統(tǒng)進(jìn)行了全面測(cè)試。就這樣，東汽僅用了約一個(gè)星期的時(shí)間就把系統(tǒng)恢復(fù)到了生產(chǎn)前的狀況。

截至5月25日，東汽erp系統(tǒng)、PLM、CAPP、質(zhì)量管理平臺(tái)、人力資源系統(tǒng)以及財(cái)務(wù)系統(tǒng)等全面恢復(fù)應(yīng)用。

同樣面對(duì)突然而來(lái)的地震，華西證券的后臺(tái)交易系統(tǒng)卻能正常運(yùn)行，除了現(xiàn)場(chǎng)交易系統(tǒng)的損壞。華西證券早在2005年7月就開始建立災(zāi)備系統(tǒng)，并在2006年7月份對(duì)原有災(zāi)備中心進(jìn)行了擴(kuò)建。

目前，華西證券在深圳擁有一個(gè)異地災(zāi)備中心，而在成都總部擁有同城異地災(zāi)備中心，一主一備。在此次地震前，華西證券也經(jīng)常采取一些應(yīng)急演練，來(lái)應(yīng)對(duì)各種突發(fā)事件。據(jù)華西證券技術(shù)部總經(jīng)理李均介紹：“為了確保業(yè)務(wù)的連續(xù)性，我們經(jīng)常會(huì)過(guò)一段時(shí)間就把所有系統(tǒng)全部關(guān)閉，然后自動(dòng)切換到異地備用系統(tǒng)進(jìn)行演練。經(jīng)過(guò)多次演練，整個(gè)切換過(guò)程需要10〜15分鐘時(shí)間，業(yè)務(wù)仍舊順利運(yùn)轉(zhuǎn)。”

在地震后的十幾分鐘內(nèi)，通訊線路還未中斷，李均迅速?gòu)夭榱耸謾C(jī)炒股、電話委托等非現(xiàn)場(chǎng)交易，在確保非現(xiàn)場(chǎng)交易一切正常后，李均又開始向公司領(lǐng)導(dǎo)匯報(bào)情況。為了確保業(yè)務(wù)的連續(xù)性，華西證券每個(gè)營(yíng)業(yè)部至少都有3套通訊線路與總部聯(lián)通。這其中有聯(lián)通線路、電信線路以及衛(wèi)星線路。正是由于這樣的準(zhǔn)備工作，使得華西證券即使現(xiàn)場(chǎng)交易因?yàn)榈卣鹗茏?，人們也能通過(guò)網(wǎng)上交易以及手機(jī)交易來(lái)實(shí)現(xiàn)。從而確保華西證券從地震發(fā)生至今，整個(gè)交易持續(xù)運(yùn)轉(zhuǎn)。

地震后的東方汽輪機(jī)廠能夠在短短15天內(nèi)就恢復(fù)生產(chǎn)，系統(tǒng)很快運(yùn)轉(zhuǎn)，與其良好的災(zāi)備系統(tǒng)有著直接的關(guān)系。但是經(jīng)過(guò)此次地震后，夏開渝以及公司的領(lǐng)導(dǎo)也發(fā)現(xiàn)了東汽災(zāi)備的不足之處，同時(shí)對(duì)于災(zāi)備也有了新的認(rèn)識(shí)。

過(guò)去東汽的應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)的服務(wù)器分散度較大，所有服務(wù)器都是單應(yīng)用運(yùn)行，經(jīng)過(guò)這次地震后，夏開渝認(rèn)為要把多個(gè)數(shù)據(jù)庫(kù)服務(wù)器做成一個(gè)集群。夏經(jīng)理這樣解釋道：“這樣做的好處不僅在平日災(zāi)備的時(shí)候可以有效提高速度，另一方面使得災(zāi)備的準(zhǔn)確性大大提高。地震前的備份，經(jīng)常會(huì)出現(xiàn)一些地方備份不到，給我們?yōu)暮蠡謴?fù)工作帶來(lái)了一定的困難。”過(guò)去東汽的災(zāi)備有很多人為的因素，需要人工確定哪些地方需要做災(zāi)備，哪些地方不需要。經(jīng)過(guò)此次事件，東汽要把所有服務(wù)器共享一個(gè)磁盤陣列，由過(guò)去的10T擴(kuò)大到30T。

之前東汽在漢旺的總廠區(qū)已經(jīng)無(wú)法投入生產(chǎn)，未來(lái)東汽會(huì)在德陽(yáng)重新建立一個(gè)新廠區(qū)，并且在德陽(yáng)做一個(gè)同城異地的系統(tǒng)備份。夏開渝介紹道：“德陽(yáng)新廠區(qū)和原來(lái)德陽(yáng)的舊廠區(qū)距離僅有20公里，我們會(huì)把現(xiàn)有廠區(qū)的信息中心作為新廠區(qū)的災(zāi)備中心。不僅備份數(shù)據(jù)，更加強(qiáng)調(diào)系統(tǒng)的備份?！?/P>

東汽未來(lái)IT工作的重點(diǎn)是完善整個(gè)災(zāi)備系統(tǒng)。對(duì)于德陽(yáng)同城異地的災(zāi)備方案，夏開渝也表示了擔(dān)心：“兩個(gè)廠區(qū)相距僅20多公里，對(duì)于普通的火災(zāi)、斷電問(wèn)題可以很好解決，倘若再次面臨這樣嚴(yán)重的地震，這種災(zāi)備是遠(yuǎn)遠(yuǎn)不夠的。”對(duì)此，東汽首先會(huì)在德陽(yáng)建立災(zāi)備中心，其次會(huì)考慮在異地構(gòu)建一個(gè)大型的系統(tǒng)級(jí)災(zāi)備中心。

夏開渝反復(fù)強(qiáng)調(diào)：“災(zāi)備對(duì)于一個(gè)企業(yè)來(lái)說(shuō)至關(guān)重要，雖然說(shuō)系統(tǒng)壞了可以重建，數(shù)據(jù)沒(méi)有了就是致命的損失。但是經(jīng)過(guò)此次地震，讓我更明白系統(tǒng)災(zāi)備的重要性?！毕到y(tǒng)災(zāi)備對(duì)于東汽震后快速恢復(fù)生產(chǎn)至關(guān)重要，雖然企業(yè)有了數(shù)據(jù)，但是如果沒(méi)有系統(tǒng)備份，要想短時(shí)間內(nèi)恢復(fù)生產(chǎn)，根本不可能?！皩?duì)于我們制造型的企業(yè)來(lái)說(shuō)，ERP的數(shù)據(jù)至關(guān)重要，但是ERP的系統(tǒng)備份更不可少，因?yàn)镋RP的使用從最初到現(xiàn)在會(huì)不斷升級(jí)，這期間有一個(gè)周期。”夏開渝感慨萬(wàn)分地談道。看來(lái)，數(shù)據(jù)備份只是第一步，企業(yè)要想快速恢復(fù)“元?dú)狻备枰到y(tǒng)備份。

此外，企業(yè)的災(zāi)備還應(yīng)考慮到異構(gòu)系統(tǒng)災(zāi)備問(wèn)題。例如，企業(yè)平日使用的服務(wù)器很可能與災(zāi)備中心的服務(wù)器不同，尤其是異地災(zāi)備中心。那么，當(dāng)企業(yè)的系統(tǒng)切換到災(zāi)備中心時(shí)，經(jīng)常會(huì)發(fā)現(xiàn)系統(tǒng)一時(shí)間運(yùn)轉(zhuǎn)不了。這時(shí)，企業(yè)一定要統(tǒng)一平臺(tái)，做好災(zāi)備規(guī)劃。

過(guò)去，雖然每家證券公司都會(huì)做一個(gè)災(zāi)備中心，但是經(jīng)過(guò)地震后，監(jiān)管機(jī)關(guān)更明確要求所有證券公司必須有兩個(gè)災(zāi)備中心，一個(gè)同城災(zāi)備中心，一個(gè)異地災(zāi)備中心。作為一個(gè)高度依賴IT的行業(yè)，經(jīng)過(guò)地震對(duì)災(zāi)備更有了深刻的認(rèn)識(shí)。談到這一點(diǎn)，李均說(shuō)：“過(guò)去我們的災(zāi)備中心只具有主信息中心70%的能力，在性能上會(huì)與主信息中心有一定差距，未來(lái)我們會(huì)加大對(duì)基礎(chǔ)設(shè)施的投入，提高同城災(zāi)備與異地災(zāi)備的成本。更加注重災(zāi)備的高可用性?！?/P>

同樣在管理上，對(duì)于異地災(zāi)備，CIO要面臨管理的挑戰(zhàn)。李均談到：“CIO需要面臨管理半徑多長(zhǎng)的問(wèn)題，同時(shí)外包又會(huì)有信心安全的風(fēng)險(xiǎn)，這是一個(gè)不小的挑戰(zhàn)?！币?yàn)楫惖貫?zāi)備，CIO并不能隨時(shí)掌控所有信息，及時(shí)處理各種問(wèn)題。同時(shí)CIO還需要確保災(zāi)備系統(tǒng)能夠在第一時(shí)間啟用。對(duì)于平日的演練、設(shè)備保養(yǎng)、系統(tǒng)運(yùn)行管理等工作如何來(lái)做，需要CIO在工作上費(fèi)一番功夫。(cioinsight)