元數(shù)據(jù)管理：企業(yè)信息化發(fā)展的潤滑劑

申請免費試用、咨詢電話：400-8352-114

隨著企業(yè)IT信息化建設(shè)如火如荼的進行了數(shù)十年，大多數(shù)企業(yè)逐漸擁有了ERP、CRM、SCM等系統(tǒng)。在企業(yè)的這些分散的業(yè)務(wù)系統(tǒng)里存放著大量珍貴的數(shù)據(jù)，而這些數(shù)據(jù)對于企業(yè)而言，恰似深埋在大地中的寶藏一樣，會對企業(yè)的未來發(fā)展產(chǎn)生至關(guān)重要的作用。于是乎企業(yè)挖“寶藏”的工作全面展開了,而這就是商業(yè)智能（Business Intelligence）。

可現(xiàn)實情況是這些“寶藏”零散的深埋于浩如煙海的數(shù)據(jù)之中，并非因企業(yè)有了激情和想法就能輕易獲得。由于原來企業(yè)各業(yè)務(wù)系統(tǒng)建設(shè)的出發(fā)點，都只考慮單系統(tǒng)自身的完整性和一致性，當企業(yè)想從全局層次上把這些分散的系統(tǒng)有機的集成起來的時候，人們會發(fā)現(xiàn)這種工作的難度比挖礦本身還難。人們無論怎么去努力，但離“智能”的境界總是有不小的差距。在人們不斷探索解決問題的過程中，元數(shù)據(jù)的出現(xiàn)，為那些挖掘數(shù)據(jù)寶藏者們提供了有力的支撐。

元數(shù)據(jù)（Meta Data）是關(guān)于數(shù)據(jù)的數(shù)據(jù)。當人們描述現(xiàn)實世界的現(xiàn)象時，就會產(chǎn)生抽象信息，這些抽象信息便可以看作是元數(shù)據(jù);元數(shù)據(jù)主要用來描述數(shù)據(jù)的上下文信息。通俗的來講，假若圖書館的每本書中的內(nèi)容是數(shù)據(jù)的話，那么找到每本書的索引則是元數(shù)據(jù)。

元數(shù)據(jù)之所以有其它方法無法比擬的優(yōu)勢，就在于它可以幫助人們更好的理解數(shù)據(jù)，發(fā)現(xiàn)和描述數(shù)據(jù)的來龍去脈，特別是那些即將要從OLTP系統(tǒng)上升到DW/BI體系建設(shè)的企業(yè)，元數(shù)據(jù)可以幫他們形成清晰直觀的數(shù)據(jù)流圖。

元數(shù)據(jù)的概念雖然在國內(nèi)剛剛被人們熟悉起來，但在國外他已經(jīng)歷了較長的發(fā)展歷史。從上世紀60年代，人們認識到元數(shù)據(jù)的需要，到數(shù)據(jù)字典、CASE工具的應用，以及上世紀90年代數(shù)據(jù)倉庫體系中元數(shù)據(jù)存儲庫的出現(xiàn)，直到現(xiàn)階段國外企業(yè)以元數(shù)據(jù)為驅(qū)動的IT系統(tǒng)建設(shè)的方法論流行。企業(yè)對于元數(shù)據(jù)的價值越來越有深刻的體會。

元數(shù)據(jù)按其描述對象的不同可以分三大類:技術(shù)元數(shù)據(jù)、業(yè)務(wù)元數(shù)據(jù)和管理元數(shù)據(jù)。技術(shù)元數(shù)據(jù)主要用是用來描述數(shù)據(jù)實體和數(shù)據(jù)處理過程中的技術(shù)細節(jié)和處理規(guī)則。比如我們所熟知的表結(jié)構(gòu)、ETL映射關(guān)系等，這類元數(shù)據(jù)主要是系統(tǒng)建設(shè)的技術(shù)人員使用。業(yè)務(wù)元數(shù)據(jù)主要是對IT系統(tǒng)的數(shù)據(jù)實體和數(shù)據(jù)處理的業(yè)務(wù)化描述，包括業(yè)務(wù)規(guī)則、業(yè)務(wù)術(shù)語、統(tǒng)計口徑、信息分類等。我們經(jīng)常提及的KPI定義和報表統(tǒng)計規(guī)則等就屬于此類元數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)主要的使用者是業(yè)務(wù)人員和公司決策人員。管理類元數(shù)據(jù)主要是對項目管理、IT運維、IT資源設(shè)備等相關(guān)信息的描述。這類元數(shù)據(jù)主要是企業(yè)IT部門的管理人員使用。利用此類元數(shù)據(jù)可以進行工作分配、網(wǎng)絡(luò)資源等方面的管理。

元數(shù)據(jù)的管理方式有三種:集中式、分布式和混合式。集中式的管理方式是把原有系統(tǒng)中的元數(shù)據(jù)抽取出來，用一個獨立的系統(tǒng)來集中管理。此類管理方式優(yōu)點是:可高效存取信息、獨立于被集成的系統(tǒng)和具備存儲附加元數(shù)據(jù)的能力;缺點是:由于額外的執(zhí)行和維護降低了ROI和實時性。

分布式管理方式是不具備獨立的元數(shù)據(jù)存儲庫，系統(tǒng)實時的連接到原有的系統(tǒng)。這種方式的優(yōu)點是:適時性比較好和能保證元數(shù)據(jù)的質(zhì)量;缺點是:過度依賴于集成系統(tǒng)和不能存儲附加元數(shù)據(jù)。

混合式元數(shù)據(jù)管理既有獨立的元數(shù)據(jù)存儲庫又可實時的連接到原有的系統(tǒng)?；旌鲜焦芾矸绞娇朔思惺胶头植际焦芾淼母髯匀秉c，同時集成了前兩種管理方式的優(yōu)點，既能適時的捕獲和反映原有系統(tǒng)元數(shù)據(jù)的情況，又能讓用戶擴展和定義附加的元數(shù)據(jù)。

元數(shù)據(jù)管理目前遵循的規(guī)范為CWM（Common Warehouse Model）。該規(guī)范是由OMG組織制定的，此規(guī)范目的是能在不同的系統(tǒng)之中可以自由、便捷的交換元數(shù)據(jù)。CWM核心的技術(shù)有三個:UML（United Modeling Language）、MOF(Metadata Object Facility)和XMI（XML Metadata Interchange）。UML主要用來定義元模型;MOF用來提供操作元數(shù)據(jù)接口;XMI用來定義交換元數(shù)據(jù)的機制。具體的講CWM標準包含五個包，若干個類。

元數(shù)據(jù)管理典型的應用有:ETL映射分析、血統(tǒng)分析/影響分析和差異分析等。這些應用對于整個企業(yè)、技術(shù)人員、業(yè)務(wù)人員和IT管理人員都的揮著至關(guān)重要的作用。對于整個企業(yè)而言，元數(shù)據(jù)管理可以協(xié)助企業(yè)進行數(shù)據(jù)資產(chǎn)管理;幫助解決數(shù)據(jù)孤島的現(xiàn)象，形成統(tǒng)一企業(yè)信息地圖;實現(xiàn)集中瀏覽分布在企業(yè)內(nèi)部的所有電子文檔;同時協(xié)助企業(yè)建立企業(yè)級視圖的指標庫。

隨著企業(yè)信息化建設(shè)的不斷深入和積累，元數(shù)據(jù)管理平臺可以發(fā)揮企業(yè)知識傳承的平臺。

對于那些已經(jīng)建設(shè)有BI/DW系統(tǒng)的企業(yè)而言，企業(yè)內(nèi)部分散著數(shù)十種系統(tǒng)的情況是很普遍的現(xiàn)象。這些企業(yè)的業(yè)務(wù)人員和決策層所關(guān)注的一些統(tǒng)計報表和指標，往往是經(jīng)過許多業(yè)務(wù)系統(tǒng)和若干數(shù)據(jù)處理環(huán)節(jié)而形成的。當最末端的數(shù)據(jù)發(fā)生異常時，在沒有元數(shù)據(jù)管理系統(tǒng)的情況下，需要許多單位和部門（包括軟件集成商）的人共同參與，利用手工的方式去逐級查找數(shù)據(jù)出錯的原因。這種方式不僅不利于問題的及時發(fā)現(xiàn)，而且一旦出現(xiàn)問題，很難短時間內(nèi)定位問題，甚至根本不可能定位問題的所在。

而利用元數(shù)據(jù)管理系統(tǒng)的血統(tǒng)分析等功能，可以很容易的定位問題，再配合監(jiān)控規(guī)則的設(shè)置，使問題發(fā)現(xiàn)的及時性大大提高。比如某企業(yè)日常工作中所用到的“產(chǎn)品銷售收入”這個指標出現(xiàn)異常時，相關(guān)人員就可以利用元數(shù)據(jù)管理系統(tǒng)的“血統(tǒng)分析”很快的定位到出錯的位置.

利用元數(shù)據(jù)管理系統(tǒng)，企業(yè)可以建立數(shù)據(jù)元（標準）的統(tǒng)一視圖。通過統(tǒng)一數(shù)據(jù)口徑、完善指標體系、建立統(tǒng)一數(shù)據(jù)視圖，可確保數(shù)據(jù)的完整性、準確性、一致性，從而有效的在各個業(yè)務(wù)系統(tǒng)內(nèi)進行數(shù)據(jù)的轉(zhuǎn)換和整理工作。目前，許多企業(yè)經(jīng)常會面臨同一個指標在不同部門或者不同系統(tǒng)中定義不一致的情況，以至于最終的統(tǒng)計數(shù)據(jù)出現(xiàn)偏差，為決策者提供了錯誤的決策依據(jù)。

如某企業(yè)某月A省分公司和B省分公司都給總公司上報了“產(chǎn)品銷售量”的指標，A省分公司的產(chǎn)品銷售量為500萬件，B省分公司的產(chǎn)品銷售量為300萬件。按常識判斷A省分公司的銷售量應該遠遠小于B省分公司的銷售量，但報表的數(shù)據(jù)卻與常識相差甚遠，究竟是什么原因造成這種與常識的不一致性呢？在沒有元數(shù)據(jù)管理系統(tǒng)時，我們很難發(fā)現(xiàn)其中的原因，但有了元數(shù)據(jù)管理系統(tǒng)的指標差異分析等功能，通過元數(shù)據(jù)的差異分析很容易解釋這些現(xiàn)象。

此外，元數(shù)據(jù)管理系統(tǒng)可在統(tǒng)一數(shù)據(jù)視圖上進行全行業(yè)內(nèi)的指標一致性分析，可對關(guān)鍵業(yè)務(wù)的監(jiān)控規(guī)則進行設(shè)置和管理。隨著數(shù)據(jù)量的不斷積累，數(shù)據(jù)質(zhì)量問題的日益突出，元數(shù)據(jù)管理平臺可承擔起全企業(yè)的數(shù)據(jù)質(zhì)量管理的基礎(chǔ)平臺。同時，利用需求類元數(shù)據(jù)和流程類元數(shù)據(jù)，來協(xié)助IT管理人員進行項目和流程的管理，從而減少企業(yè)人員流動對于項目造成的影響。

在這個“惟一不變的就是變化本身”的時代，在這個數(shù)據(jù)和知識爆炸的時代，如何有效的進行企業(yè)IT系統(tǒng)建設(shè)的揚棄和傳承？如何高效的利用企業(yè)數(shù)據(jù)資產(chǎn)？

這些問題猶如“格爾迪奧斯繩結(jié)”擺在我們的面前，而元數(shù)據(jù)恰是解開這個“結(jié)”的關(guān)鍵所在。對于企業(yè)IT系統(tǒng)建設(shè)而言，我們依然信奉“元數(shù)據(jù)不是萬能的，但沒有元數(shù)據(jù)是萬萬不能的”這句經(jīng)典詮釋。特別是對于那些組織結(jié)構(gòu)復雜、IT系統(tǒng)眾多的企業(yè)，這個組織和支撐它的IT系統(tǒng)要想有效運轉(zhuǎn)起來，一定少不了元數(shù)據(jù)這種“潤滑劑”。（E800）