2006年商業(yè)IT五大黑鏡頭

不打無準備之仗

對于IT項目負責人來說，一個全新項目的上線挑戰(zhàn)性極大，如果不做好全方位的準備，沒有考慮周全各種潛在的風險，以及沒有將系統(tǒng)調試到最佳狀態(tài)的話，新項目初次上線往往會面臨非常多的麻煩。

2006年7月，第一期電子式儲蓄國債在全國范圍聯(lián)網(wǎng)銷售，就遇到個讓系統(tǒng)管理人員措手不及的大麻煩。由于是首次發(fā)行新型的電子式國債，而且數(shù)量有限，吸引了全國眾多的購買者，在全國各地，購買者從開售當日一大早就排起了長隊，場面十分火熱。但是開售沒多久，多家銀行系統(tǒng)出現(xiàn)故障，購買者無法登錄購買電子國債，有些銀行銷售系統(tǒng)由于長時間中斷從而錯過這短短幾個小時的銷售，更是讓苦苦等候多時的購買者空手而歸。

此次國債全國代辦網(wǎng)點一起通過財政部的系統(tǒng)抓數(shù)，代理銀行不受數(shù)量的限制，各地投資者先購先得，售完即止。正因為這樣，對各地銀行的系統(tǒng)提出了很高的要求，一旦系統(tǒng)出現(xiàn)問題，就無法滿足當?shù)刭徺I者的需求。中國銀行、中國農業(yè)銀行（下稱農行）以及交通銀行（下稱交行）都出現(xiàn)了不同程度的系統(tǒng)故障，農行系統(tǒng)中斷長達5小時，而交行一些支行不但無法辦理購買國債業(yè)務，甚至連儲蓄等其他業(yè)務也無法辦理了。

中央國債登記結算有限責任公司則表示，國債公司發(fā)行系統(tǒng)端一直保持正常，而且此次發(fā)售國債數(shù)量遠未達到系統(tǒng)負載峰值。問題出在哪里？業(yè)內人士認為，目前許多銀行都在自行開發(fā)系統(tǒng)，各銀行間開發(fā)水平有差距，加上電子國債屬首次發(fā)布，又是隨機抓取機制，這其中系統(tǒng)連接的帶寬限制與短時間內海量數(shù)據(jù)的處理對銷售系統(tǒng)來說都是極大的考驗。如果之前不做好充足的風險壓力測試以及連接準備，的確很容易出現(xiàn)問題。這次事件之后，到10月發(fā)行第二期電子國債時，中國工商銀行下屬一支行表示，第一期國債發(fā)行時系統(tǒng)不穩(wěn)定，導致很多客戶買不到國債，到第二期時，該支行所有窗口都可以辦理電子國債業(yè)務，分散了客戶的流量，系統(tǒng)運行也非常順利。看來，在接受了一次教訓之后，各大銀行也都有了經驗，想出各種應對措施，努力打好有準備的仗。

“有備”不一定無患

IT的集中管理往往被看作是解決信息孤島、提高運行效率的有效手段。然而集中之后的IT系統(tǒng)“牽一發(fā)而動全身”。因此在集中之時，還需要多留一手，不僅僅是建設備份系統(tǒng)，也要真正用好備份系統(tǒng)。典型的案例發(fā)生在2005年10月，中國民航信息網(wǎng)絡股份有限公司（下稱中航信）的主機故障導致全國數(shù)個機場航班延誤。從10月10日13點32分起，由于中航信離港系統(tǒng)的主機出現(xiàn)技術故障，導致廣州白云機場、深圳機場、北京首都機場等機場的離港航班受到影響，出現(xiàn)不同程度的延誤。事故發(fā)生后，部分機場啟動了自主開發(fā)的離港備份系統(tǒng)，并且采用人工方式為旅客辦理登機手續(xù)及行李托運手續(xù)。當天14點16分，中航信離港系統(tǒng)恢復正常，但是影響直到晚上才逐漸消除。

在中國，絕大部分機場的離港系統(tǒng)都由中航信提供，實行數(shù)據(jù)集中管理。這種集中管理保證了全國所有機場的離港業(yè)務在標準以及操作規(guī)范上的統(tǒng)一，但同時如果中航信的系統(tǒng)發(fā)生了故障，則很容易波及到多個機場。事實上，中航信的離港系統(tǒng)發(fā)生故障并不是第一次。今年1月11日，由于中航信位于北京總部的服務器出現(xiàn)故障，就曾經造成成都雙流機場離港系統(tǒng)“癱瘓”近40分鐘。這種故障是不可避免同時也是不可預料的，因此建設一個完善的備份系統(tǒng)和備份制度就顯得必不可少。

在航空這個高度依靠信息技術的行業(yè)，災難備份系統(tǒng)的建設并不落后，在這次中航信的系統(tǒng)故障中，各地機場也同時啟用了備份的離港系統(tǒng)，但航班延誤的情況仍然較為嚴重。據(jù)某航空公司人士透露，此次雖然受影響的機場都切換了備份系統(tǒng)，但由于許多數(shù)據(jù)仍然需要與北京進行傳送，這中間可能出現(xiàn)了很多信息錯誤的情況，使得備份系統(tǒng)的作用沒有充分發(fā)揮。由此可見，備份系統(tǒng)不應該是“備而不用”，不是建設了備份系統(tǒng)就能高枕無憂，圍繞備份系統(tǒng)切換的一整套流程同樣需要保證萬無一失，否則“有備”也并不一定能夠無患。

沒有外圍的技術缺陷，只有核心的管理缺失

中國銀聯(lián)股份有限公司（下稱銀聯(lián)）網(wǎng)絡癱瘓的后果遠比想象中嚴重。2006年4月20日10點56分，銀聯(lián)網(wǎng)絡系統(tǒng)因主機原因出現(xiàn)了“大面積”的癱瘓，導致北京、上海、廣州、江蘇、浙江、福建等18地的銀行卡不能跨行交易，據(jù)不完全數(shù)據(jù)統(tǒng)計顯示，34萬家商戶以及六萬臺ATM機因此受到影響。近年來，由于系統(tǒng)故障而引致的銀行卡跨行交易中斷并非首次，不過僅限于小范圍地區(qū)，這次受影響的持卡人、商戶以及交易中斷時間達到銀聯(lián)成立以來之最，也是金融系統(tǒng)之最。就此，銀聯(lián)在事隔6天之后發(fā)布了極其含糊的官方說法，表示“故障原因是由于銀聯(lián)新近準備上線的某外圍設備的隱性缺陷誘發(fā)了跨行交易系統(tǒng)主機的缺陷，使主機發(fā)生故障?！?/P>

但同時銀聯(lián)又強調，這個結論還有待相關廠商的專家進一步確認。11月底，《信息周刊》記者電話采訪銀聯(lián)詢問最終結果。銀聯(lián)聲稱，雖已查明故障原因，但考慮到這屬于銀聯(lián)內部的籌劃，而且涉及的技術細節(jié)過于專業(yè)，用戶可能難以理解，因此拒絕透露“主機致命”的真正原因。

不過，知情人士透露說，原來銀聯(lián)計劃在4月25日上線一臺新設備，20日上午工作繁忙時段，正當銀聯(lián)技術人員進行測試的時候，系統(tǒng)主機突然出現(xiàn)宕機，導致整個系統(tǒng)癱瘓，全國跨行交易無法正常進行。這一次宕機事件，反映出銀聯(lián)事前對產品測試中可能出現(xiàn)的問題估計不足，并沒有估計到系統(tǒng)癱瘓的面積會如此之大、情況如此嚴重，事先所準備的應急預案只不過是針對小范圍的故障的。

一次小疏忽引發(fā)了一場意想不到的大事故。受影響企業(yè)之一的杭州銀泰百貨公司信息部負責人金龍發(fā)指出：“如果考慮更周全一點，也許問題就不會發(fā)生。”關鍵系統(tǒng)的切換幾乎都會選擇在交易量最小的時間，如夜間進行，此時萬一出現(xiàn)事故，也可將風險降至最低。

由于銀聯(lián)系統(tǒng)癱瘓了近9個小時，時間如此之長備受質疑。一般來說，當主機宕機之后，另一個備份機可以接管系統(tǒng)，保證系統(tǒng)的正常運行，從主機切換到備份機的時間不會很長。業(yè)內人士猜測，很可能是銀聯(lián)主機宕機以后，主機冗余不足或者備份機根本沒有起作用，或者當初應急系統(tǒng)設計和建設不夠理想，又或者是銀聯(lián)新上的系統(tǒng)和原系統(tǒng)有沖突，導致整個系統(tǒng)癱瘓。

不能坐等互聯(lián)網(wǎng)強盜來“發(fā)現(xiàn)”你的致命弱點

2006年9月21日17點左右，作為中國三大域名服務提供商和網(wǎng)站服務提供商之一，北京新網(wǎng)數(shù)碼信息技術有限公司（下稱新網(wǎng)）的域名解析（DNS）服務器出現(xiàn)故障，其名下注冊的約有10萬左右域名不能訪問，部分DNS還被解析到不正確的主機上。

來自新網(wǎng)的數(shù)據(jù)顯示，該公司為超過60萬家企業(yè)客戶提供服務，占據(jù)了中國互聯(lián)網(wǎng)基礎服務業(yè)務20%以上的市場份額。此次災難據(jù)不完全統(tǒng)計，造成了中國近3成網(wǎng)站從互聯(lián)網(wǎng)上消失。直到第二天中午，新網(wǎng)才恢復其80%客戶網(wǎng)站的正常訪問。

盡管新網(wǎng)進行了積極的補救，而且事后新網(wǎng)也證實，DNS服務器出現(xiàn)問題是由于遭到大規(guī)模黑客攻擊，但是，新網(wǎng)顯然沒有考慮到用戶的感受，并沒有就是否賠償用戶損失做出說明及承諾。新網(wǎng)處理此事略顯粗硬的態(tài)度激怒了部分用戶，在新網(wǎng)注冊大量域名并在這次事件中被波及的中國網(wǎng)庫發(fā)表聲明，要求新網(wǎng)公開向中國網(wǎng)庫道歉，同時賠償直接和間接經濟損失150萬元。

互聯(lián)網(wǎng)基礎服務商遭遇網(wǎng)絡攻擊不是什么新鮮事，因此造成的服務中斷事故也有多起。萬網(wǎng)、百度等均曾因黑客攻擊而導致服務中斷。此類事件中，責任認定是最大的難題。在新網(wǎng)斷網(wǎng)事件中，新網(wǎng)自身IT系統(tǒng)是否存在漏洞或操作上的失誤，均無法為外人所知，但如果單純將責任歸咎于黑客攻擊，顯然對遭受損失的用戶有失公允。