數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用行業(yè)有別

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

由于來(lái)自國(guó)內(nèi)和國(guó)外的競(jìng)爭(zhēng)日趨激勵(lì)以及對(duì)精細(xì)化管理的迫切需求，使得無(wú)論是金融企業(yè)、電信企業(yè)，還是制造企業(yè)，都對(duì)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用產(chǎn)生了強(qiáng)烈的興趣，并且已經(jīng)有許多企業(yè)進(jìn)行了大量的實(shí)際應(yīng)用的部署。

今天的IT業(yè)界對(duì)于采用集中式的數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行業(yè)務(wù)決策分析，恐怕已經(jīng)有比較一致的贊同觀點(diǎn)了，甚至有不少人認(rèn)為，這種方式是實(shí)現(xiàn)商業(yè)智能（Business Intelligence，BI）的最佳途徑。因?yàn)槿虻男畔⒒M(jìn)程發(fā)展到今天，人們恐怕難以想象，如果沃爾瑪不通過(guò)它的衛(wèi)星把來(lái)自全球的賣(mài)場(chǎng)信息實(shí)時(shí)傳送到位于美國(guó)的集中的數(shù)據(jù)倉(cāng)庫(kù)中，它又怎能面向全球眾多賣(mài)場(chǎng)和眾多有著完全不同消費(fèi)習(xí)慣的消費(fèi)者做出合理的營(yíng)銷(xiāo)決策。同樣，在銀行，幾乎沒(méi)有人會(huì)認(rèn)為，采用相互獨(dú)立的視圖對(duì)信用卡數(shù)據(jù)和信貸數(shù)據(jù)進(jìn)行獨(dú)立分析能做出準(zhǔn)確的判斷并提出恰當(dāng)?shù)娘L(fēng)險(xiǎn)控制或者營(yíng)銷(xiāo)上的決策。

而近日，記者在由NCR Teradata數(shù)據(jù)倉(cāng)庫(kù)事業(yè)部舉辦的“2006 Teradata數(shù)據(jù)倉(cāng)庫(kù)峰會(huì)”上了解到，上述趨勢(shì)也正在中國(guó)得到越來(lái)越多的體現(xiàn)。但無(wú)論是金融企業(yè)、電信企業(yè)，還是制造企業(yè)，它們?cè)诨拘枨笠恢碌那闆r下，都存在一些特定的需求，所以相應(yīng)解決方案的設(shè)計(jì)也應(yīng)有的放矢。

金融、電信、制造業(yè)需求不同

為了實(shí)現(xiàn)對(duì)金融機(jī)構(gòu)的數(shù)據(jù)信息進(jìn)行持續(xù)的系統(tǒng)監(jiān)測(cè)和分析，早在2003年11月，銀監(jiān)會(huì)就計(jì)劃用三年左右的時(shí)間建立一個(gè)“統(tǒng)一規(guī)劃、統(tǒng)一管理、統(tǒng)一標(biāo)準(zhǔn)、資源共享”的非現(xiàn)場(chǎng)檢查信息技術(shù)平臺(tái)。銀監(jiān)會(huì)稱其為“1104工程”。隨著該工程的推進(jìn)，銀監(jiān)會(huì)提出精細(xì)化監(jiān)管的思路，對(duì)整個(gè)監(jiān)管業(yè)務(wù)流程進(jìn)行了重新設(shè)計(jì)。新的業(yè)務(wù)流程亦是一條完整的信息流，每一監(jiān)管環(huán)節(jié)都將被記錄到銀監(jiān)會(huì)新的數(shù)據(jù)系統(tǒng)中，使被監(jiān)管機(jī)構(gòu)各方面包括歷年的所有信息都一目了然。另外，新巴塞爾協(xié)議也要求銀行能夠保存更詳盡、歷史更長(zhǎng)的業(yè)務(wù)數(shù)據(jù)。NCR Teradata數(shù)據(jù)倉(cāng)庫(kù)事業(yè)部首席技術(shù)官，被業(yè)界公認(rèn)為全球數(shù)據(jù)倉(cāng)庫(kù)技術(shù)先驅(qū)的寶立明先生認(rèn)為，推動(dòng)中國(guó)銀行業(yè)積極采用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的一個(gè)重要?jiǎng)恿φ莵?lái)自于這一系列越來(lái)越嚴(yán)格的監(jiān)管措施。因?yàn)?，正如NCR Teradata數(shù)據(jù)倉(cāng)庫(kù)事業(yè)部大中華區(qū)總裁吳輔世所言，數(shù)據(jù)大集中使得銀行業(yè)有了很好的數(shù)據(jù)基礎(chǔ)，數(shù)據(jù)質(zhì)量得到很大提高，而利用數(shù)據(jù)倉(cāng)庫(kù)可以進(jìn)一步為決策者提供一個(gè)單一數(shù)據(jù)視圖，使各級(jí)決策者的決策基礎(chǔ)保持一致，從而避免分散決策。

寶立明認(rèn)為，數(shù)據(jù)倉(cāng)庫(kù)最大的優(yōu)勢(shì)就在于能夠通過(guò)單一視圖提供深入細(xì)致的信息，使得金融企業(yè)可以改變傳統(tǒng)的被動(dòng)的風(fēng)險(xiǎn)控制方式，而在風(fēng)險(xiǎn)發(fā)生之前就能從深入的數(shù)據(jù)分析中發(fā)現(xiàn)風(fēng)險(xiǎn)發(fā)生的端倪，進(jìn)而采取主動(dòng)的防范和控制。作為NCR Teradata在中國(guó)的一個(gè)重要客戶，上海證券交易所信息網(wǎng)絡(luò)公司董事長(zhǎng)趙小平說(shuō)，證券監(jiān)管、防范交易欺詐等都是交易所的重要職能，但是相關(guān)的分析工作涉及許多非結(jié)構(gòu)化的紙面文件。按照有關(guān)規(guī)定，這些紙面文件必須保留20年，但是時(shí)間一長(zhǎng)紙面文件難免會(huì)破損，降低甚至喪失法律效力。因此，對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理是上交所數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的重要工作之一。如今，上交所已經(jīng)完成了對(duì)包括600萬(wàn)頁(yè)紙質(zhì)非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的十幾個(gè)TB的數(shù)據(jù)的清理工作，僅2002年完成的一期項(xiàng)目就為15個(gè)業(yè)務(wù)部門(mén)提供了200多項(xiàng)應(yīng)用。如今，該項(xiàng)目的二期也已經(jīng)順利完成。

不同于金融業(yè)在監(jiān)管壓力下產(chǎn)生的需求，在中國(guó)，電信業(yè)則是由于競(jìng)爭(zhēng)程度的加劇，尤其是固話運(yùn)營(yíng)商存量客戶流失率的攀升，使得電信運(yùn)營(yíng)商已開(kāi)始考慮精細(xì)化管理和營(yíng)銷(xiāo)，而這是離不開(kāi)數(shù)據(jù)倉(cāng)庫(kù)的支持的。而且，3G業(yè)務(wù)的風(fēng)生水起也帶來(lái)了許多新的業(yè)務(wù)形式，將來(lái)這些業(yè)務(wù)的開(kāi)展也離不開(kāi)數(shù)據(jù)倉(cāng)庫(kù)的支持。因此，中國(guó)移動(dòng)目前已經(jīng)在總公司和全國(guó)9個(gè)省級(jí)公司建立企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)。另外，中國(guó)電信也從2003年下半年同數(shù)據(jù)倉(cāng)庫(kù)廠商N(yùn)CR Teradata合作，在全國(guó)兩個(gè)省級(jí)公司——浙江省和新疆維吾爾自治區(qū)進(jìn)行相關(guān)建設(shè)的試點(diǎn)。而目前，試點(diǎn)工作已經(jīng)取得階段性成果。

除此之外，在此次數(shù)據(jù)倉(cāng)庫(kù)峰會(huì)上，高科技的電子制造企業(yè)（臺(tái)積電、奇美電器等）也成為數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的一支新生力量。很多制造企業(yè)在完成ERP等基礎(chǔ)運(yùn)營(yíng)系統(tǒng)的建設(shè)后，仍然面臨生產(chǎn)系統(tǒng)數(shù)據(jù)和管理系統(tǒng)數(shù)據(jù)的分割，無(wú)法進(jìn)行整體決策。在報(bào)表分析方面，雖然erp系統(tǒng)可以產(chǎn)生一些分析報(bào)表，但這些報(bào)表大多是固定報(bào)表，無(wú)法靈活、動(dòng)態(tài)地適應(yīng)企業(yè)的決策需要。于是，為了提供進(jìn)一步的決策支持，許多制造企業(yè)開(kāi)始利用數(shù)據(jù)倉(cāng)庫(kù)對(duì)ERP等系統(tǒng)產(chǎn)生的數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換和裝載（ETL），為決策層提供可追蹤的、可審計(jì)的數(shù)據(jù)分析服務(wù)。

解決方案須量體裁衣

盡管，不同的行業(yè)對(duì)數(shù)據(jù)倉(cāng)庫(kù)的需求存在許多共性，例如隨著企業(yè)規(guī)模的擴(kuò)大，如果按照行政部門(mén)進(jìn)行分散決策、分散保有數(shù)據(jù)，將不能滿足新的決策需求，企業(yè)需要在統(tǒng)一的數(shù)據(jù)視圖下進(jìn)行整合的決策。但是，寶立明認(rèn)為，不同的企業(yè)在決策的重點(diǎn)和數(shù)據(jù)量上存在較大的差別，以至于在具體解決方案的設(shè)計(jì)上也會(huì)有相應(yīng)的區(qū)別。

例如，銀行業(yè)關(guān)注的重點(diǎn)在于風(fēng)險(xiǎn)的控制上，而不存在供應(yīng)鏈管理的問(wèn)題。相反，在制造業(yè)，供應(yīng)鏈的管理決策將是其關(guān)注的重點(diǎn)，除此之外，產(chǎn)品的質(zhì)量控制也是制造業(yè)的決策重點(diǎn)。同樣在數(shù)據(jù)量上，電信企業(yè)的數(shù)據(jù)量是最大的，零售業(yè)次之，制造業(yè)也是比較大的，相比之下，銀行的數(shù)據(jù)量是比較小的，寶立明舉例說(shuō)明:和電信企業(yè)相比，人們存取錢(qián)的頻率顯然要比打電話的頻率低得多。

于是解決方案在設(shè)計(jì)上也應(yīng)該針對(duì)不同的側(cè)重點(diǎn)有所區(qū)別。

對(duì)于銀行業(yè)，為了符合新巴塞爾資本協(xié)議AIRB登記的需求，需要采用集中式的數(shù)據(jù)倉(cāng)庫(kù)解決方案。在這種方式中，所新巴塞爾資本協(xié)議所需的數(shù)據(jù)及其來(lái)源系統(tǒng)均被明白地標(biāo)示出來(lái)，當(dāng)然，銀行內(nèi)可能不具備某些特定的數(shù)據(jù)，因此必須建立一套數(shù)據(jù)搜尋計(jì)劃。此處所有的來(lái)源系統(tǒng)數(shù)據(jù)都經(jīng)過(guò)加載及轉(zhuǎn)換的程序，然后送到中央數(shù)據(jù)存放系統(tǒng)。而支持新巴塞爾資本協(xié)議所需計(jì)算及報(bào)告數(shù)據(jù)，不論是營(yíng)運(yùn)單位層級(jí)或是整體企業(yè)層級(jí)，都是由這個(gè)中央數(shù)據(jù)存放系統(tǒng)來(lái)提供。這種方式支持了各式各樣的數(shù)據(jù)存取，包括將數(shù)據(jù)送至某一特定的應(yīng)用程序或計(jì)算及分析工具。這樣，就可以將風(fēng)險(xiǎn)數(shù)據(jù)進(jìn)行一次性存儲(chǔ)，可以供整個(gè)企業(yè)運(yùn)用，進(jìn)行各種分析。金融業(yè)整合的風(fēng)險(xiǎn)管理架構(gòu)如圖1所示。

而對(duì)于電信企業(yè)，由于運(yùn)營(yíng)商之間的競(jìng)爭(zhēng)日益加劇，使得經(jīng)營(yíng)分析和決策支持成為基于企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的重點(diǎn)。同時(shí)，由于電信企業(yè)數(shù)據(jù)量極大，所以數(shù)據(jù)集中和整合將是系統(tǒng)建設(shè)的最大挑戰(zhàn)，也是數(shù)據(jù)倉(cāng)庫(kù)能否在營(yíng)銷(xiāo)上發(fā)揮作用的前提和基礎(chǔ)。以中國(guó)電信為例，其IT系統(tǒng)以本地網(wǎng)模式為主，客戶、用戶資料分散，系統(tǒng)數(shù)據(jù)眾多，差異巨大，結(jié)構(gòu)復(fù)雜，多個(gè)系統(tǒng)在不同時(shí)期分別建設(shè)，缺乏統(tǒng)一的規(guī)劃和關(guān)聯(lián)。面對(duì)這種情況，建立全省統(tǒng)一的數(shù)據(jù)模型、實(shí)現(xiàn)全省標(biāo)準(zhǔn)化的代碼管理、統(tǒng)一統(tǒng)計(jì)口徑，采用閉環(huán)的數(shù)據(jù)質(zhì)量管理辦法和流程就變得非常重要。電信業(yè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)架構(gòu)如圖2所示。

鏈接:數(shù)據(jù)倉(cāng)庫(kù)“牛市”顯身手

“對(duì)不起，原本計(jì)劃由我們交易所的總工程師白碩給大家做主題發(fā)言的，但是白總臨時(shí)去參加證監(jiān)會(huì)召開(kāi)的一個(gè)重要會(huì)議了，只好由我代替他來(lái)做這個(gè)發(fā)言了。”這是上海證券交易所信息網(wǎng)絡(luò)公司董事長(zhǎng)趙小平在“2006 Teradata數(shù)據(jù)倉(cāng)庫(kù)峰會(huì)”上做主題發(fā)言時(shí)的開(kāi)場(chǎng)白。

原來(lái)，伴隨今年以來(lái)中國(guó)股市出現(xiàn)的多年以來(lái)罕見(jiàn)的牛市，受不斷攀升的股價(jià)影響，股民進(jìn)出市場(chǎng)的意愿空前高漲，上海證券交易所日均交易量明顯放大，目前已高達(dá)500多億元。值得欣慰的是，該交易所在2002年由路透咨詢公司協(xié)助規(guī)劃、設(shè)計(jì)、選型，至今已經(jīng)完成二期項(xiàng)目的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)在此期間表現(xiàn)相當(dāng)不錯(cuò)。按照每筆交易平均12000元（該數(shù)據(jù)是今年的統(tǒng)計(jì)結(jié)果，去年每筆交易大約為9000元）計(jì)算，500多億元總交易量大概需要處理500萬(wàn)筆交易。這樣的交易筆數(shù)之高即使在倫敦證券交易所也是沒(méi)有的。而如此眾多的交易數(shù)據(jù)，僅僅需要半個(gè)小時(shí)就可以被清理并存入數(shù)據(jù)倉(cāng)庫(kù)。趙小平不無(wú)驕傲地說(shuō)：“在這次股市大潮中，我們的數(shù)據(jù)倉(cāng)庫(kù)沒(méi)有拖后腿?！?

然而與之形成對(duì)比的是，在交易量猛增的情況下，券商信息系統(tǒng)建設(shè)的滯后，形成股市整體交易的瓶頸，造成大量交易堵塞。據(jù)趙小平介紹，這也正是白碩總工程師參加緊急會(huì)議的主要原因。