—元數(shù)據(jù)管理技術及應用現(xiàn)狀

申請免費試用、咨詢電話：400-8352-114

原來，老朱所在的這家電信運營商，最近剛剛驗收并啟用了一個元數(shù)據(jù)管理平臺工具。通過這一平臺，IT部門可以在那些曾經(jīng)引發(fā)激烈爭吵的數(shù)字后面加上詳細的注解。這樣，即便各部門得出的當日用戶數(shù)數(shù)值不一樣，也能在注解中清楚地看到具體的差異在哪里。如此，自然再沒有了吵來吵去的必要。

元數(shù)據(jù)，最常見的定義是：“關于數(shù)據(jù)的數(shù)據(jù)”。更準確一點說：元數(shù)據(jù)是描述流程、信息和對象的數(shù)據(jù)。這些描述涉及像技術屬性（例如，結(jié)構(gòu)和行為）這樣的特征、業(yè)務定義（包括字典和分類法）以及操作特征（如活動指標和使用歷史）。早在上世紀末，元數(shù)據(jù)的概念和相關工具就已經(jīng)出現(xiàn)，但限于當時的數(shù)據(jù)量還不夠大，而元數(shù)據(jù)本身又包含太多的內(nèi)容，以至于它并未得到充分利用。而在今天看來，元數(shù)據(jù)正在成為解決諸多數(shù)據(jù)問題時必須要抓住的一個“精髓”要素。

消弭爭吵

在此前一年中，老朱所在的那家電信運營商，各部門之間經(jīng)常就每日用戶數(shù)這類問題的指標數(shù)值不一致而吵得面紅耳赤。其實，在其他電信公司或者其他行業(yè)中也都存在著類似問題。簡單來講，這些公司通過各個時期的IT建設，形成了很多個獨立分開的系統(tǒng)。以電信運營商為例，就有計費系統(tǒng)、網(wǎng)絡系統(tǒng)、OA系統(tǒng)、財會系統(tǒng)和客服系統(tǒng)等等。在這些系統(tǒng)中，存有不同的客戶信息，具體體現(xiàn)就是不同格式的表。

兩年前，公司的數(shù)據(jù)倉庫項目建設完成，本以為這會大步提升IT系統(tǒng)的“智能性”，沒想到，基層的反映卻是根本沒法用。而其中的原因就在于，數(shù)據(jù)質(zhì)量沒法保證，也即：在業(yè)務邏輯上并不準確，各部門對于指標的定義不能統(tǒng)一。

以當日用戶數(shù)為例。對于這一指標,市場部、網(wǎng)絡部、計費部等部門給出的定義并不一樣。按照元數(shù)據(jù)技術的術語來講，就是在業(yè)務元數(shù)據(jù)上，大家對于業(yè)務的認識并不統(tǒng)一。比如：計費部門認為，一個用戶當天曾撥打電話，就可以計入到當日用戶數(shù)；而財務部門則認定，只有在發(fā)生費用之后才能計入；至于網(wǎng)絡部，則認為當天開機的用戶就可以算作當日用戶。如此一來，各部門的當日用戶數(shù)數(shù)值自然就不一樣：計費中心的系統(tǒng)顯示，當日用戶數(shù)有6000；市場部的系統(tǒng)顯示卻只有4000；到了財務部門的系統(tǒng)中，顯示僅有3000個。在這種情況下，擔負著業(yè)務壓力的業(yè)務人員很可能誰也說服不了對方來接受自己的數(shù)字，導致大家對數(shù)據(jù)倉庫系統(tǒng)本身的可信度也就打了折扣。

事實上，類似問題在目前已經(jīng)建成的數(shù)據(jù)倉庫項目中還有很多。其中的一大難題就是，原先未能統(tǒng)一的定義導致了某種指標的不一致，而要搞清楚為什么不一致，就得反查數(shù)據(jù)倉庫中的這些表在一開始的時候是如何定義的，表與表之間的聯(lián)絡關系是怎樣的。這種反查工作自然要求IT部門的人員就得詳細查閱原先軟件的設計。但問題是，現(xiàn)在的軟件開發(fā)一般都是迭代式開發(fā)，每個階段都有不同的人在做。回查一個表，很可能需要涉及到這個過程中的每一個開發(fā)人員。事實上，很少有人能做到這一點。即便費盡心機終于查到了，一個月的時間也過去了。

元數(shù)據(jù)管理平臺的建設就是為了避免繼續(xù)出現(xiàn)類似問題。在元數(shù)據(jù)管理平臺建成之后，其一，可以實現(xiàn)對技術元數(shù)據(jù)的抽取,把相關的字段放到平臺上來。在這個平臺上，就能清晰地看到這些表或字段之間的關聯(lián)關系，有一個很清晰的視圖。其二,還會把業(yè)務元數(shù)據(jù)抽取出來，確定要做哪些應用，就把相關的指標、流程在平臺上建立起來。把這些元數(shù)據(jù)抽取出來后，用戶可以通過平臺很方便地修改數(shù)據(jù)倉庫中的數(shù)據(jù)，調(diào)整業(yè)務中的統(tǒng)計指標等等。其三，就是要把技術元數(shù)據(jù)和業(yè)務元數(shù)據(jù)兩種數(shù)據(jù)對應起來。比如對于當日用戶數(shù)來講,它在數(shù)據(jù)倉庫中對應的都是哪些表，讓技術元數(shù)據(jù)和業(yè)務元數(shù)據(jù)聯(lián)系起來。這樣，在把各種定義統(tǒng)一之后，元數(shù)據(jù)管理平臺就可以給出一個更為詳細的指標。比如在數(shù)值之后做出注解，注明具體開機的有多少，發(fā)生費用的又有多少。如此，老朱所在公司的爭吵也就不復存在了。

第三方工具的魅力

雖然元數(shù)據(jù)至今尚未引起業(yè)界的廣泛重視，但是與元數(shù)據(jù)相關的管理工具其實早就存在，而專業(yè)的元數(shù)據(jù)管理工具則在2000年左右開始出現(xiàn)，比如像IBM、CA、DAG、Informatica、BEA等公司都有自己專門的元數(shù)據(jù)管理工具。

總起來看，目前國內(nèi)的元數(shù)據(jù)管理工具大概有三類。一是像IBM、CA等公司都提供的專門工具,比如IBM收購Ascential得到的Metastage，CA的DecisionBase都是如此；二是像DAG的Metacenter，它不依托于某項BI產(chǎn)品，是一種第三方的元數(shù)據(jù)管理工具；三是像亞信、石竹這樣的集成商也在開發(fā)自己的元數(shù)據(jù)管理工具。

“各種元數(shù)據(jù)管理工具有很多。理論上講，用戶可以用其中一種管理其他系統(tǒng)中的數(shù)據(jù)，比如選擇數(shù)據(jù)倉庫系統(tǒng)廠商提供的元數(shù)據(jù)管理工具來管理其他層面的元數(shù)據(jù)。但實際應用中的管理效果如何呢？一般情況是，這些專門工具管理自己本系統(tǒng)的元數(shù)據(jù)尚可，一旦跨系統(tǒng)管理，效果就不盡如人意了。” 亞信產(chǎn)品及解決方案咨詢部總監(jiān)薛森這樣表示。

從國內(nèi)的實際應用來看，DAG的Metacenter這一工具使用最多，目前所看到的在電信、金融領域建設的元數(shù)據(jù)管理項目基本上都是應用了這一產(chǎn)品。至于像CA等公司的工具，在國內(nèi)基本上沒有成功案例。記者在對CA公司提出采訪要求的時候，該公司在回復中則稱沒有合適人員接受采訪，看來像CA公司在元數(shù)據(jù)管理技術上似乎還比較滯后。

石竹商業(yè)智能軟件部產(chǎn)品支持經(jīng)理薛勇認為，Metacenter能夠為很多用戶所采用，主要因為這一產(chǎn)品的幾項優(yōu)勢：一是它是第三方提供的工具。二是在技術上確有過人之處，可以實現(xiàn)動態(tài)元數(shù)據(jù)管理，實時獲取元數(shù)據(jù)。而其他非第三方工具可能對自己數(shù)據(jù)倉庫中的數(shù)據(jù)看得很快，但是對于其他系統(tǒng)就不行了。三是可以提供的應用多。比如像血統(tǒng)分析和影響分析、表重要程度和表無關程度分析等都可以提供。

此外，還有兩個產(chǎn)品使得SOA和元數(shù)據(jù)的緊密關系迅速凸顯出來。首先是IBM的WebSphere元數(shù)據(jù)服務器將于今年年底作為IBM WebSphere信息集成（WII）平臺Hawk版的組成部分正式上市。

WebSphere元數(shù)據(jù)服務器將為WII平臺中的產(chǎn)品提供元數(shù)據(jù)管理，并為其他IBM軟件品牌中的元數(shù)據(jù)項目提供通用的元數(shù)據(jù)服務基礎設施。同在今年底，WebMethods公司將在12月份發(fā)布的Fabric產(chǎn)品下一版本也融合了Cerebra公司的語義元數(shù)據(jù)管理功能，從而來為IT部門提供了軟件資源的單一視圖?；蛟S，只有當SOA戰(zhàn)略充分認識到元數(shù)據(jù)管理的重要性之后，企業(yè)信息資源的業(yè)務價值才能實現(xiàn)最大化。

應用決定功能

“這樣一個平臺不是僅僅把元數(shù)據(jù)抽取出來，我們把元數(shù)據(jù)管理平臺定位為兩個應用層次?！眮喰女a(chǎn)品及解決方案咨詢部總監(jiān)薛森指出了目前元數(shù)據(jù)管理平臺的兩個主要應用層次，即系統(tǒng)維護和應用分析。從系統(tǒng)維護來看，元數(shù)據(jù)管理平臺使得數(shù)據(jù)倉庫以及業(yè)務系統(tǒng)中的各種修改變得省心省力。比如對數(shù)據(jù)庫中表的修改，小的數(shù)據(jù)倉庫模型的修改等等，都可以通過元數(shù)據(jù)管理平臺來實現(xiàn)。同時對數(shù)據(jù)倉庫、OLAP、ETL等各個層面進行修改。而在以前，這些工作需要DBA自己來完成。

那時雖然也有一些工具，但是都分散在不同的系統(tǒng)中。一個DBA要完成全部修改必須要求精通所有工具才能實現(xiàn)。而如果是多個DBA協(xié)作完成，同樣需要通知所有人在數(shù)據(jù)倉庫、OLAP、前端展現(xiàn)、ETL等系統(tǒng)中依次修改，耽誤時間不說，修改是否準確也不能保證，而業(yè)務在這個修改階段也會陷于停滯。從應用分析上看，目前可見的應用主要有三類。

其一，作為即席查詢工具做指標的管理，即通過基于元數(shù)據(jù)的指標管理，掌控各種指標的異常波動情況。據(jù)薛森介紹，像亞信公司建設的吉林移動的元數(shù)據(jù)管理平臺，現(xiàn)在就已經(jīng)開放了一些接口給業(yè)務人員。他們只需通過拖拽一些業(yè)務元數(shù)據(jù)就可以得到他們想要的東西。比如，要找出某項業(yè)務的前十大用戶，業(yè)務人員通過元數(shù)據(jù)平臺提供的即席查詢工具，幾次操作就可得到結(jié)果。而在過去，這需要業(yè)務人員首先提出請求，然后計費中心會制作一個工單，再把工單傳給集成廠商，廠商再把這個工單分解開來，讓某人做ETL層，某人做OLAP層。等這些都做完，半個月的時間也就搭進去了。

當然，薛森也表示，目前這種應用接口還比較有限，因為如果每個業(yè)務人員都在用，數(shù)據(jù)倉庫就承受不住了。其二，血統(tǒng)分析和影響分析。血統(tǒng)分析是指，發(fā)現(xiàn)某報表中的指標不正常就需要查出問題可能出在哪里。通過血統(tǒng)圖就可以很快找出問題是在BOSS系統(tǒng)中，還是在ODS層或者是DW層中。影響分析則和血統(tǒng)圖相反，主要看在修改一個表之后，可能會影響到上游的哪些數(shù)據(jù)。其三，表重要程度分析和表無關程度分析。主要就是針對現(xiàn)在數(shù)據(jù)倉庫提供的表的數(shù)量太多（上萬個）。這些表中有的使用頻率特別高，就需要加倍小心，多做優(yōu)化。通過元數(shù)據(jù)管理平臺就可以列出不同重要程度的表。

據(jù)石竹商業(yè)智能軟件部產(chǎn)品支持經(jīng)理薛勇介紹，目前，像四川移動的元數(shù)據(jù)管理平臺上，以上三類應用基本上都已存在。但是，他也表示，目前針對元數(shù)據(jù)管理平臺的應用大都還在探索階段。亞信薛森也認為，更重要的應用還在于更復雜的分析上。此外，據(jù)說目前國內(nèi)迄今為止最為全面的一個元數(shù)據(jù)管理平臺項目正在中國銀行總行抓緊實施，現(xiàn)在尚未開始驗收，其中還將出現(xiàn)哪些新的應用尚且不得而知。

編看編想

不夠成熟，但足夠重要！

“你在做元數(shù)據(jù)管理平臺項目時，最大的工作量是花在哪里？”這是筆者對每位被訪者都會問的一個問題，而兩位采訪者不約而同提到的一點就是，整理元數(shù)據(jù)。事實上，這一問題也正彰顯著目前國內(nèi)的元數(shù)據(jù)管理項目尚不夠成熟。

“說不成熟，是因為數(shù)據(jù)不成熟?！毖ι硎?。作為企業(yè)，從一開始就沒有完整的規(guī)劃，比如當初指標的含義，現(xiàn)在幾乎都需要倒著往回推，要獲得那些元數(shù)據(jù)自然就比較困難。薛勇也認為，各部門都有各自的描述方式，比如對于男女，有的分成F和M，有的分成0和1。如果把這些整理出來，是個很麻煩的過程。而要克服這種困難，只能靠熬時間一點一點解決。而像管理工具本身的不成熟也是一個方面。薛勇就認為，目前的元數(shù)據(jù)管理工具還不能自動把不同系統(tǒng)元數(shù)據(jù)之間的關系自動映射出來，還需要人工去做。

此外，目前平臺導入的元數(shù)據(jù)范圍也還很有限。比如在電信企業(yè)中，大多僅僅導入了經(jīng)營分析系統(tǒng)的元數(shù)據(jù)。而像BOSS系統(tǒng)，動輒都有幾千個業(yè)務控制點，導入元數(shù)據(jù)弄不好就要影響業(yè)務。也正是因為顧及到這一點，所以目前的元數(shù)據(jù)管理平臺只是選擇了在經(jīng)營分析系統(tǒng)這樣一個準實時的分析系統(tǒng)上做試點，然后再逐步推廣。

總起來看，目前國內(nèi)大型行業(yè)企業(yè)做元數(shù)據(jù)管理項目雖然不成熟，但是技術發(fā)展很快；見效雖然不快，但是早晚要做，而且早做比晚做遇到的困難相對要少些。對于那些有條件的大型行業(yè)用戶，早點入手無疑更好一些。(CCW-CNW)