—元數(shù)據(jù)管理技術(shù)及應(yīng)用現(xiàn)狀

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

原來，老朱所在的這家電信運(yùn)營商，最近剛剛驗(yàn)收并啟用了一個(gè)元數(shù)據(jù)管理平臺(tái)工具。通過這一平臺(tái)，IT部門可以在那些曾經(jīng)引發(fā)激烈爭吵的數(shù)字后面加上詳細(xì)的注解。這樣，即便各部門得出的當(dāng)日用戶數(shù)數(shù)值不一樣，也能在注解中清楚地看到具體的差異在哪里。如此，自然再?zèng)]有了吵來吵去的必要。

元數(shù)據(jù)，最常見的定義是：“關(guān)于數(shù)據(jù)的數(shù)據(jù)”。更準(zhǔn)確一點(diǎn)說：元數(shù)據(jù)是描述流程、信息和對(duì)象的數(shù)據(jù)。這些描述涉及像技術(shù)屬性（例如，結(jié)構(gòu)和行為）這樣的特征、業(yè)務(wù)定義（包括字典和分類法）以及操作特征（如活動(dòng)指標(biāo)和使用歷史）。早在上世紀(jì)末，元數(shù)據(jù)的概念和相關(guān)工具就已經(jīng)出現(xiàn)，但限于當(dāng)時(shí)的數(shù)據(jù)量還不夠大，而元數(shù)據(jù)本身又包含太多的內(nèi)容，以至于它并未得到充分利用。而在今天看來，元數(shù)據(jù)正在成為解決諸多數(shù)據(jù)問題時(shí)必須要抓住的一個(gè)“精髓”要素。

消弭爭吵

在此前一年中，老朱所在的那家電信運(yùn)營商，各部門之間經(jīng)常就每日用戶數(shù)這類問題的指標(biāo)數(shù)值不一致而吵得面紅耳赤。其實(shí)，在其他電信公司或者其他行業(yè)中也都存在著類似問題。簡單來講，這些公司通過各個(gè)時(shí)期的IT建設(shè)，形成了很多個(gè)獨(dú)立分開的系統(tǒng)。以電信運(yùn)營商為例，就有計(jì)費(fèi)系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)、OA系統(tǒng)、財(cái)會(huì)系統(tǒng)和客服系統(tǒng)等等。在這些系統(tǒng)中，存有不同的客戶信息，具體體現(xiàn)就是不同格式的表。

兩年前，公司的數(shù)據(jù)倉庫項(xiàng)目建設(shè)完成，本以為這會(huì)大步提升IT系統(tǒng)的“智能性”，沒想到，基層的反映卻是根本沒法用。而其中的原因就在于，數(shù)據(jù)質(zhì)量沒法保證，也即：在業(yè)務(wù)邏輯上并不準(zhǔn)確，各部門對(duì)于指標(biāo)的定義不能統(tǒng)一。

以當(dāng)日用戶數(shù)為例。對(duì)于這一指標(biāo),市場部、網(wǎng)絡(luò)部、計(jì)費(fèi)部等部門給出的定義并不一樣。按照元數(shù)據(jù)技術(shù)的術(shù)語來講，就是在業(yè)務(wù)元數(shù)據(jù)上，大家對(duì)于業(yè)務(wù)的認(rèn)識(shí)并不統(tǒng)一。比如：計(jì)費(fèi)部門認(rèn)為，一個(gè)用戶當(dāng)天曾撥打電話，就可以計(jì)入到當(dāng)日用戶數(shù)；而財(cái)務(wù)部門則認(rèn)定，只有在發(fā)生費(fèi)用之后才能計(jì)入；至于網(wǎng)絡(luò)部，則認(rèn)為當(dāng)天開機(jī)的用戶就可以算作當(dāng)日用戶。如此一來，各部門的當(dāng)日用戶數(shù)數(shù)值自然就不一樣：計(jì)費(fèi)中心的系統(tǒng)顯示，當(dāng)日用戶數(shù)有6000；市場部的系統(tǒng)顯示卻只有4000；到了財(cái)務(wù)部門的系統(tǒng)中，顯示僅有3000個(gè)。在這種情況下，擔(dān)負(fù)著業(yè)務(wù)壓力的業(yè)務(wù)人員很可能誰也說服不了對(duì)方來接受自己的數(shù)字，導(dǎo)致大家對(duì)數(shù)據(jù)倉庫系統(tǒng)本身的可信度也就打了折扣。

事實(shí)上，類似問題在目前已經(jīng)建成的數(shù)據(jù)倉庫項(xiàng)目中還有很多。其中的一大難題就是，原先未能統(tǒng)一的定義導(dǎo)致了某種指標(biāo)的不一致，而要搞清楚為什么不一致，就得反查數(shù)據(jù)倉庫中的這些表在一開始的時(shí)候是如何定義的，表與表之間的聯(lián)絡(luò)關(guān)系是怎樣的。這種反查工作自然要求IT部門的人員就得詳細(xì)查閱原先軟件的設(shè)計(jì)。但問題是，現(xiàn)在的軟件開發(fā)一般都是迭代式開發(fā)，每個(gè)階段都有不同的人在做?；夭橐粋€(gè)表，很可能需要涉及到這個(gè)過程中的每一個(gè)開發(fā)人員。事實(shí)上，很少有人能做到這一點(diǎn)。即便費(fèi)盡心機(jī)終于查到了，一個(gè)月的時(shí)間也過去了。

元數(shù)據(jù)管理平臺(tái)的建設(shè)就是為了避免繼續(xù)出現(xiàn)類似問題。在元數(shù)據(jù)管理平臺(tái)建成之后，其一，可以實(shí)現(xiàn)對(duì)技術(shù)元數(shù)據(jù)的抽取,把相關(guān)的字段放到平臺(tái)上來。在這個(gè)平臺(tái)上，就能清晰地看到這些表或字段之間的關(guān)聯(lián)關(guān)系，有一個(gè)很清晰的視圖。其二,還會(huì)把業(yè)務(wù)元數(shù)據(jù)抽取出來，確定要做哪些應(yīng)用，就把相關(guān)的指標(biāo)、流程在平臺(tái)上建立起來。把這些元數(shù)據(jù)抽取出來后，用戶可以通過平臺(tái)很方便地修改數(shù)據(jù)倉庫中的數(shù)據(jù)，調(diào)整業(yè)務(wù)中的統(tǒng)計(jì)指標(biāo)等等。其三，就是要把技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)兩種數(shù)據(jù)對(duì)應(yīng)起來。比如對(duì)于當(dāng)日用戶數(shù)來講,它在數(shù)據(jù)倉庫中對(duì)應(yīng)的都是哪些表，讓技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)聯(lián)系起來。這樣，在把各種定義統(tǒng)一之后，元數(shù)據(jù)管理平臺(tái)就可以給出一個(gè)更為詳細(xì)的指標(biāo)。比如在數(shù)值之后做出注解，注明具體開機(jī)的有多少，發(fā)生費(fèi)用的又有多少。如此，老朱所在公司的爭吵也就不復(fù)存在了。

第三方工具的魅力

雖然元數(shù)據(jù)至今尚未引起業(yè)界的廣泛重視，但是與元數(shù)據(jù)相關(guān)的管理工具其實(shí)早就存在，而專業(yè)的元數(shù)據(jù)管理工具則在2000年左右開始出現(xiàn)，比如像IBM、CA、DAG、Informatica、BEA等公司都有自己專門的元數(shù)據(jù)管理工具。

總起來看，目前國內(nèi)的元數(shù)據(jù)管理工具大概有三類。一是像IBM、CA等公司都提供的專門工具,比如IBM收購Ascential得到的Metastage，CA的DecisionBase都是如此；二是像DAG的Metacenter，它不依托于某項(xiàng)BI產(chǎn)品，是一種第三方的元數(shù)據(jù)管理工具；三是像亞信、石竹這樣的集成商也在開發(fā)自己的元數(shù)據(jù)管理工具。

“各種元數(shù)據(jù)管理工具有很多。理論上講，用戶可以用其中一種管理其他系統(tǒng)中的數(shù)據(jù)，比如選擇數(shù)據(jù)倉庫系統(tǒng)廠商提供的元數(shù)據(jù)管理工具來管理其他層面的元數(shù)據(jù)。但實(shí)際應(yīng)用中的管理效果如何呢？一般情況是，這些專門工具管理自己本系統(tǒng)的元數(shù)據(jù)尚可，一旦跨系統(tǒng)管理，效果就不盡如人意了?！?亞信產(chǎn)品及解決方案咨詢部總監(jiān)薛森這樣表示。

從國內(nèi)的實(shí)際應(yīng)用來看，DAG的Metacenter這一工具使用最多，目前所看到的在電信、金融領(lǐng)域建設(shè)的元數(shù)據(jù)管理項(xiàng)目基本上都是應(yīng)用了這一產(chǎn)品。至于像CA等公司的工具，在國內(nèi)基本上沒有成功案例。記者在對(duì)CA公司提出采訪要求的時(shí)候，該公司在回復(fù)中則稱沒有合適人員接受采訪，看來像CA公司在元數(shù)據(jù)管理技術(shù)上似乎還比較滯后。

石竹商業(yè)智能軟件部產(chǎn)品支持經(jīng)理薛勇認(rèn)為，Metacenter能夠?yàn)楹芏嘤脩羲捎茫饕驗(yàn)檫@一產(chǎn)品的幾項(xiàng)優(yōu)勢：一是它是第三方提供的工具。二是在技術(shù)上確有過人之處，可以實(shí)現(xiàn)動(dòng)態(tài)元數(shù)據(jù)管理，實(shí)時(shí)獲取元數(shù)據(jù)。而其他非第三方工具可能對(duì)自己數(shù)據(jù)倉庫中的數(shù)據(jù)看得很快，但是對(duì)于其他系統(tǒng)就不行了。三是可以提供的應(yīng)用多。比如像血統(tǒng)分析和影響分析、表重要程度和表無關(guān)程度分析等都可以提供。

此外，還有兩個(gè)產(chǎn)品使得SOA和元數(shù)據(jù)的緊密關(guān)系迅速凸顯出來。首先是IBM的WebSphere元數(shù)據(jù)服務(wù)器將于今年年底作為IBM WebSphere信息集成（WII）平臺(tái)Hawk版的組成部分正式上市。

WebSphere元數(shù)據(jù)服務(wù)器將為WII平臺(tái)中的產(chǎn)品提供元數(shù)據(jù)管理，并為其他IBM軟件品牌中的元數(shù)據(jù)項(xiàng)目提供通用的元數(shù)據(jù)服務(wù)基礎(chǔ)設(shè)施。同在今年底，WebMethods公司將在12月份發(fā)布的Fabric產(chǎn)品下一版本也融合了Cerebra公司的語義元數(shù)據(jù)管理功能，從而來為IT部門提供了軟件資源的單一視圖?；蛟S，只有當(dāng)SOA戰(zhàn)略充分認(rèn)識(shí)到元數(shù)據(jù)管理的重要性之后，企業(yè)信息資源的業(yè)務(wù)價(jià)值才能實(shí)現(xiàn)最大化。

應(yīng)用決定功能

“這樣一個(gè)平臺(tái)不是僅僅把元數(shù)據(jù)抽取出來，我們把元數(shù)據(jù)管理平臺(tái)定位為兩個(gè)應(yīng)用層次?！眮喰女a(chǎn)品及解決方案咨詢部總監(jiān)薛森指出了目前元數(shù)據(jù)管理平臺(tái)的兩個(gè)主要應(yīng)用層次，即系統(tǒng)維護(hù)和應(yīng)用分析。從系統(tǒng)維護(hù)來看，元數(shù)據(jù)管理平臺(tái)使得數(shù)據(jù)倉庫以及業(yè)務(wù)系統(tǒng)中的各種修改變得省心省力。比如對(duì)數(shù)據(jù)庫中表的修改，小的數(shù)據(jù)倉庫模型的修改等等，都可以通過元數(shù)據(jù)管理平臺(tái)來實(shí)現(xiàn)。同時(shí)對(duì)數(shù)據(jù)倉庫、OLAP、ETL等各個(gè)層面進(jìn)行修改。而在以前，這些工作需要DBA自己來完成。

那時(shí)雖然也有一些工具，但是都分散在不同的系統(tǒng)中。一個(gè)DBA要完成全部修改必須要求精通所有工具才能實(shí)現(xiàn)。而如果是多個(gè)DBA協(xié)作完成，同樣需要通知所有人在數(shù)據(jù)倉庫、OLAP、前端展現(xiàn)、ETL等系統(tǒng)中依次修改，耽誤時(shí)間不說，修改是否準(zhǔn)確也不能保證，而業(yè)務(wù)在這個(gè)修改階段也會(huì)陷于停滯。從應(yīng)用分析上看，目前可見的應(yīng)用主要有三類。

其一，作為即席查詢工具做指標(biāo)的管理，即通過基于元數(shù)據(jù)的指標(biāo)管理，掌控各種指標(biāo)的異常波動(dòng)情況。據(jù)薛森介紹，像亞信公司建設(shè)的吉林移動(dòng)的元數(shù)據(jù)管理平臺(tái)，現(xiàn)在就已經(jīng)開放了一些接口給業(yè)務(wù)人員。他們只需通過拖拽一些業(yè)務(wù)元數(shù)據(jù)就可以得到他們想要的東西。比如，要找出某項(xiàng)業(yè)務(wù)的前十大用戶，業(yè)務(wù)人員通過元數(shù)據(jù)平臺(tái)提供的即席查詢工具，幾次操作就可得到結(jié)果。而在過去，這需要業(yè)務(wù)人員首先提出請(qǐng)求，然后計(jì)費(fèi)中心會(huì)制作一個(gè)工單，再把工單傳給集成廠商，廠商再把這個(gè)工單分解開來，讓某人做ETL層，某人做OLAP層。等這些都做完，半個(gè)月的時(shí)間也就搭進(jìn)去了。

當(dāng)然，薛森也表示，目前這種應(yīng)用接口還比較有限，因?yàn)槿绻總€(gè)業(yè)務(wù)人員都在用，數(shù)據(jù)倉庫就承受不住了。其二，血統(tǒng)分析和影響分析。血統(tǒng)分析是指，發(fā)現(xiàn)某報(bào)表中的指標(biāo)不正常就需要查出問題可能出在哪里。通過血統(tǒng)圖就可以很快找出問題是在BOSS系統(tǒng)中，還是在ODS層或者是DW層中。影響分析則和血統(tǒng)圖相反，主要看在修改一個(gè)表之后，可能會(huì)影響到上游的哪些數(shù)據(jù)。其三，表重要程度分析和表無關(guān)程度分析。主要就是針對(duì)現(xiàn)在數(shù)據(jù)倉庫提供的表的數(shù)量太多（上萬個(gè)）。這些表中有的使用頻率特別高，就需要加倍小心，多做優(yōu)化。通過元數(shù)據(jù)管理平臺(tái)就可以列出不同重要程度的表。

據(jù)石竹商業(yè)智能軟件部產(chǎn)品支持經(jīng)理薛勇介紹，目前，像四川移動(dòng)的元數(shù)據(jù)管理平臺(tái)上，以上三類應(yīng)用基本上都已存在。但是，他也表示，目前針對(duì)元數(shù)據(jù)管理平臺(tái)的應(yīng)用大都還在探索階段。亞信薛森也認(rèn)為，更重要的應(yīng)用還在于更復(fù)雜的分析上。此外，據(jù)說目前國內(nèi)迄今為止最為全面的一個(gè)元數(shù)據(jù)管理平臺(tái)項(xiàng)目正在中國銀行總行抓緊實(shí)施，現(xiàn)在尚未開始驗(yàn)收，其中還將出現(xiàn)哪些新的應(yīng)用尚且不得而知。

編看編想

不夠成熟，但足夠重要！

“你在做元數(shù)據(jù)管理平臺(tái)項(xiàng)目時(shí)，最大的工作量是花在哪里？”這是筆者對(duì)每位被訪者都會(huì)問的一個(gè)問題，而兩位采訪者不約而同提到的一點(diǎn)就是，整理元數(shù)據(jù)。事實(shí)上，這一問題也正彰顯著目前國內(nèi)的元數(shù)據(jù)管理項(xiàng)目尚不夠成熟。

“說不成熟，是因?yàn)閿?shù)據(jù)不成熟?！毖ι硎?。作為企業(yè)，從一開始就沒有完整的規(guī)劃，比如當(dāng)初指標(biāo)的含義，現(xiàn)在幾乎都需要倒著往回推，要獲得那些元數(shù)據(jù)自然就比較困難。薛勇也認(rèn)為，各部門都有各自的描述方式，比如對(duì)于男女，有的分成F和M，有的分成0和1。如果把這些整理出來，是個(gè)很麻煩的過程。而要克服這種困難，只能靠熬時(shí)間一點(diǎn)一點(diǎn)解決。而像管理工具本身的不成熟也是一個(gè)方面。薛勇就認(rèn)為，目前的元數(shù)據(jù)管理工具還不能自動(dòng)把不同系統(tǒng)元數(shù)據(jù)之間的關(guān)系自動(dòng)映射出來，還需要人工去做。

此外，目前平臺(tái)導(dǎo)入的元數(shù)據(jù)范圍也還很有限。比如在電信企業(yè)中，大多僅僅導(dǎo)入了經(jīng)營分析系統(tǒng)的元數(shù)據(jù)。而像BOSS系統(tǒng)，動(dòng)輒都有幾千個(gè)業(yè)務(wù)控制點(diǎn)，導(dǎo)入元數(shù)據(jù)弄不好就要影響業(yè)務(wù)。也正是因?yàn)轭櫦暗竭@一點(diǎn)，所以目前的元數(shù)據(jù)管理平臺(tái)只是選擇了在經(jīng)營分析系統(tǒng)這樣一個(gè)準(zhǔn)實(shí)時(shí)的分析系統(tǒng)上做試點(diǎn)，然后再逐步推廣。

總起來看，目前國內(nèi)大型行業(yè)企業(yè)做元數(shù)據(jù)管理項(xiàng)目雖然不成熟，但是技術(shù)發(fā)展很快；見效雖然不快，但是早晚要做，而且早做比晚做遇到的困難相對(duì)要少些。對(duì)于那些有條件的大型行業(yè)用戶，早點(diǎn)入手無疑更好一些。(CCW-CNW)