企業(yè)數(shù)據(jù)倉(cāng)庫(kù)中元數(shù)據(jù)的應(yīng)用研究

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

0 引 言

以數(shù)據(jù)倉(cāng)庫(kù)為核心的商務(wù)智能(BI)技術(shù)日益受到業(yè)界重視，許多BI系統(tǒng)己經(jīng)投入使用，帶來了巨大的效益。但是數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)質(zhì)量問題已經(jīng)嚴(yán)重影響了商務(wù)智能的應(yīng)用能力，由此引發(fā)了人們對(duì)元數(shù)據(jù)管理和應(yīng)用的研究。

元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”或“關(guān)于數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)”，即關(guān)于數(shù)據(jù)的內(nèi)容、質(zhì)量、狀況和其他特性的信息。

1 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)質(zhì)量問題

基礎(chǔ)數(shù)據(jù)的正確性、真實(shí)性直接影響到報(bào)表和分析結(jié)果的可信度。突出的數(shù)據(jù)質(zhì)量問題包括：

● 數(shù)據(jù)被錯(cuò)誤理解

● 重要的事實(shí)錯(cuò)誤傳達(dá)

● 不能判斷商業(yè)變化造成的影響

● 缺乏工具連貫性

● 缺乏查帳索引

數(shù)據(jù)質(zhì)量問題主要是由分公司本身錄入、業(yè)務(wù)系統(tǒng)新舊多次切換和升級(jí)、業(yè)務(wù)擴(kuò)展操作等原因造成。

從圖1數(shù)據(jù)質(zhì)量管理體系架構(gòu)圖我們可以看到：元數(shù)據(jù)是數(shù)據(jù)質(zhì)量管理實(shí)現(xiàn)的基礎(chǔ)，元數(shù)據(jù)管理支撐功能的實(shí)施是數(shù)據(jù)質(zhì)量管理系統(tǒng)的核心。

圖1 數(shù)據(jù)質(zhì)量管理體系架構(gòu)圖

數(shù)據(jù)質(zhì)量管理系統(tǒng)的核心是元數(shù)據(jù)管理支撐功能的實(shí)施：

● 數(shù)據(jù)質(zhì)量管理包含元數(shù)據(jù)管理

● 元數(shù)據(jù)管理功能為數(shù)據(jù)質(zhì)量管理提供支撐

元數(shù)據(jù)是數(shù)據(jù)質(zhì)量管理系統(tǒng)實(shí)現(xiàn)的基礎(chǔ)，是描述和控制BI系統(tǒng)中數(shù)據(jù)的數(shù)據(jù)，對(duì)上層功能提供信息支撐。

2 應(yīng)用元數(shù)據(jù)提高數(shù)據(jù)質(zhì)量的應(yīng)用實(shí)例

可以提高數(shù)據(jù)質(zhì)量的主要元數(shù)據(jù)業(yè)務(wù)應(yīng)用包括：元數(shù)據(jù)瀏覽、數(shù)據(jù)時(shí)效性探察、指標(biāo)管理與分析、數(shù)據(jù)血統(tǒng)分析、影響分析、處理過程分析、表重要程度分析和表無關(guān)程度分析等。

2.1 數(shù)據(jù)血緣分析

輔助管理人員對(duì)由BI系統(tǒng)提供的報(bào)表、指標(biāo)的數(shù)據(jù)項(xiàng)進(jìn)行血緣分析，了解該指標(biāo)或報(bào)表元素由源系統(tǒng)到BI系統(tǒng)，由數(shù)據(jù)倉(cāng)庫(kù)到前端顯示或者報(bào)表系統(tǒng)的計(jì)算過程和處理方法，管理人員可以通過血緣分析結(jié)合數(shù)據(jù)時(shí)效性探查來了解提供報(bào)表和指標(biāo)的可信度或?qū)PIC的相應(yīng)的指標(biāo)定義和有關(guān)規(guī)范進(jìn)行核查。

業(yè)務(wù)人員可以對(duì)由BI系統(tǒng)產(chǎn)生的某一個(gè)指標(biāo)或者報(bào)表元素進(jìn)行血源分析，即已知某一數(shù)據(jù)項(xiàng)，查找到該數(shù)據(jù)項(xiàng)從源系統(tǒng)到前端展示的若干ETL過程相關(guān)的數(shù)據(jù)項(xiàng)、計(jì)算方法、計(jì)算公式，形成該報(bào)表元素(或指標(biāo))的族譜圖，從而了解產(chǎn)生該數(shù)據(jù)項(xiàng)的流程。

2.2 處理過程分析

處理過程分析與數(shù)據(jù)血緣分析類似，但處理過程分析給出的是過程的執(zhí)行相關(guān)信息，數(shù)據(jù)血緣分析給出的是數(shù)據(jù)的流動(dòng)信息。

2.2.1 影響分析

影響分析使你可以回答類似下面的一些問題：

● 我所做的這個(gè)改動(dòng)還會(huì)影響到別的什么地方？

● 這個(gè)對(duì)象還依賴于別的什么對(duì)象？

圖2展示了在金融業(yè)務(wù)BI應(yīng)用中用MetaStage進(jìn)行交叉工具對(duì)數(shù)據(jù)質(zhì)量影響的分析，我們可以清晰地通過元數(shù)據(jù)管理工具分析出—個(gè)數(shù)據(jù)對(duì)象在數(shù)據(jù)處理鏈條上的所有依賴關(guān)系。

圖2 MetaStage交叉工具影響分析示例

2.3 數(shù)據(jù)時(shí)效性探察

BI系統(tǒng)中的數(shù)據(jù)時(shí)效性是BI系統(tǒng)中數(shù)據(jù)質(zhì)量的重要的組成部分，通過對(duì)BI系統(tǒng)元數(shù)據(jù)的管理，可以分析到某一條或某一些數(shù)據(jù)的時(shí)效性。首先通過元數(shù)據(jù)瀏覽和檢索功能，檢索感興趣某個(gè)數(shù)據(jù)項(xiàng)相關(guān)的元數(shù)據(jù)信息，探察該數(shù)據(jù)最后計(jì)算的時(shí)間；然后，通過元數(shù)據(jù)ETL分析，找到該元素以及和該元素相關(guān)的計(jì)算元素的ETL過程(從生產(chǎn)系統(tǒng)到數(shù)據(jù)倉(cāng)庫(kù)，再?gòu)臄?shù)據(jù)倉(cāng)庫(kù)到前端展示系統(tǒng))的最終執(zhí)行時(shí)間。對(duì)上述時(shí)間進(jìn)行探查分析，以決定該數(shù)據(jù)的時(shí)間有效性和真實(shí)性。

2.4 元數(shù)據(jù)相關(guān)性分析

在調(diào)整BI系統(tǒng)時(shí)，經(jīng)常遇到調(diào)整一些系統(tǒng)而影響其他系統(tǒng)的情況。為了保證數(shù)據(jù)的一致性，需要對(duì)整個(gè)BI系統(tǒng)中的相關(guān)的元數(shù)據(jù)進(jìn)行調(diào)整。此時(shí)，通過元數(shù)據(jù)相關(guān)性分析，找到所有需要進(jìn)行調(diào)整的元數(shù)據(jù)，可以統(tǒng)一進(jìn)行修改和調(diào)整。

3 結(jié)束語

元數(shù)據(jù)管理是提高數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)質(zhì)量的必由之路，元數(shù)據(jù)管理的復(fù)雜性及元數(shù)據(jù)管理的很多內(nèi)容仍然需要依靠管理制度、流程、其它輔助工具以及人工參與來共同完成。