數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)之?dāng)?shù)據(jù)架構(gòu)規(guī)劃與設(shè)計(jì)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

如果說整體架構(gòu)規(guī)劃是比較遙遠(yuǎn)和飄渺的事，那么數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)的中心部分----數(shù)據(jù)架構(gòu)，將為我們打開把遠(yuǎn)期規(guī)劃和現(xiàn)實(shí)項(xiàng)目的實(shí)施緊緊地聯(lián)系在一起，我們可以從現(xiàn)實(shí)出發(fā)，找到方向的突破口。BTW，今天在公司洋洋灑灑寫了10多頁(yè)關(guān)于數(shù)據(jù)架構(gòu)的文檔，為近期項(xiàng)目做技術(shù)準(zhǔn)備，等架構(gòu)定了后，我就開始深入熟悉公司具體業(yè)務(wù)和現(xiàn)有模型了，現(xiàn)在只是有一定了解而已，但細(xì)節(jié)架構(gòu)是根據(jù)實(shí)際情況去定制的。

現(xiàn)在簡(jiǎn)單說下思路。這些并不是理論，更不是論文，而是經(jīng)驗(yàn)的描述，不知道唯業(yè)務(wù)流程是論者看到這些，是否認(rèn)為技術(shù)架構(gòu)對(duì)業(yè)務(wù)分析的長(zhǎng)期有效的支持，是可實(shí)現(xiàn)的和很有必要的呢？

一. 數(shù)據(jù)流架構(gòu)，主要是設(shè)計(jì)數(shù)據(jù)流需要多少層次，每個(gè)層次的功能必須有獨(dú)特的定義。ODS是否只有為數(shù)據(jù)倉(cāng)庫(kù)做數(shù)據(jù)準(zhǔn)備的功能，EDW是否沒計(jì)劃和條件去建設(shè)范式模型，是否多個(gè)集市，多個(gè)集市需要統(tǒng)一維度建模，數(shù)據(jù)集市到底要滿足哪些BI功能，這些問題都決定了數(shù)據(jù)流架構(gòu)如何去設(shè)計(jì)。

二.數(shù)據(jù)管理架構(gòu)。

1. 考慮歷史存儲(chǔ)方式，根據(jù)數(shù)據(jù)使用頻率和價(jià)值，是否參考DW2.0理論進(jìn)行數(shù)據(jù)管理。

2. 存儲(chǔ)方式的角度，從粒度上講，維度模型的數(shù)據(jù)倉(cāng)庫(kù)到底需要多大的粒度，特別是時(shí)間方面的維度，數(shù)據(jù)集市到底需要多大的粒度。而從應(yīng)用數(shù)據(jù)方面講，是否需要在數(shù)據(jù)集市中將維度信息加在事實(shí)表中，需要加多少進(jìn)去，甚至形成大寬表，方便報(bào)表或者查詢以及數(shù)據(jù)挖掘。

三. 業(yè)務(wù)數(shù)據(jù)架構(gòu)。

目前包括國(guó)際大廠商的行業(yè)模型，其實(shí)都是從平面角度看業(yè)務(wù)，雖然業(yè)務(wù)上包括很全，但從技術(shù)上講，并不是更合理的模型架構(gòu)，或者沒有架構(gòu)，只是平面的模型，是否我們就直接拿來用，不需要架構(gòu)了？以下做簡(jiǎn)要說明：

1. 業(yè)務(wù)數(shù)據(jù)流。（1）針對(duì)表的考慮。需要考慮不同業(yè)務(wù)定義中，表當(dāng)中到底存儲(chǔ)多少信息，是多種定義放一起，還是不同定義存儲(chǔ)在不同的表。高時(shí)間粒度事實(shí)表是在數(shù)據(jù)集市直接通過低粒度事實(shí)表匯總，還是從維度建設(shè)時(shí)就分出來ETL?？紤]擴(kuò)展原因，最好不要多種定義的數(shù)據(jù)放一起，這樣擴(kuò)展性不強(qiáng)，也不容易維護(hù)。

（2）針對(duì)字段的考慮。維表主要考慮到維數(shù)據(jù)的增強(qiáng)性描述，事實(shí)表主要是度量的描述以及退化維的生成，不過衍生度量和退化維一般在統(tǒng)一維度層或者數(shù)據(jù)集市中完成，根據(jù)是否是企業(yè)級(jí)定位而定。

2. 業(yè)務(wù)數(shù)據(jù)管理架構(gòu)。一般國(guó)際大廠商的行業(yè)模型，會(huì)有很多衍生表來描述不同業(yè)務(wù)定義的維信息，不過這種擴(kuò)展性僅僅還是停留在平面層次。如果要適應(yīng)更大更復(fù)雜的業(yè)務(wù)變化和組織機(jī)構(gòu)變化需求，我們的管理架構(gòu)需要細(xì)到管理相應(yīng)的業(yè)務(wù)元數(shù)據(jù)。根據(jù)模型技術(shù)的發(fā)展，針對(duì)主題模型，我們可以設(shè)計(jì)出輔助模型來描述元數(shù)據(jù)，達(dá)到最大的業(yè)務(wù)變化/增加、組織結(jié)構(gòu)變化/增加的支持。在實(shí)際項(xiàng)目中，根據(jù)業(yè)務(wù)調(diào)研，設(shè)計(jì)出相應(yīng)的參考模型組，并維護(hù)參考表數(shù)據(jù)（一般100條數(shù)據(jù)以內(nèi)），然后在統(tǒng)一維度建模中，由參考表和主體業(yè)務(wù)模型關(guān)聯(lián)而成統(tǒng)一可信高可擴(kuò)展性的維表。

四. 數(shù)據(jù)安全架構(gòu)。

一般安全管理分為操作系統(tǒng)級(jí)、數(shù)據(jù)庫(kù)級(jí)、Schema級(jí)、表/視圖級(jí)、數(shù)據(jù)級(jí)（行數(shù)據(jù)），以及BI界面控制級(jí)別、CUBE控制等多個(gè)層次。這里主要說的是數(shù)據(jù)行級(jí)。在維度數(shù)據(jù)倉(cāng)庫(kù)，達(dá)到所謂數(shù)據(jù)行級(jí)控制，可以通過類似BI界面那樣的多個(gè)組合權(quán)限組，然后結(jié)合事實(shí)表進(jìn)行權(quán)限控制。

五.數(shù)據(jù)質(zhì)量架構(gòu)。

數(shù)據(jù)質(zhì)量控制本身有多個(gè)因素組成，包括業(yè)務(wù)調(diào)研、ETL、測(cè)試嚴(yán)密性等，這里主要從數(shù)據(jù)建模的角度考慮。一般可以設(shè)計(jì)相應(yīng)的控制表來一定程度控制，比如維度數(shù)據(jù)有效性。