數(shù)據(jù)集市技術(shù)應(yīng)用一瞥

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

隨著某省移動(dòng)公司的商業(yè)智能（BI）系統(tǒng)逐漸完善，激發(fā)了地市分公司旺盛的應(yīng)用需求，具體表現(xiàn)為對(duì)數(shù)據(jù)粒度的要求更加精細(xì)、需求更加靈活多變、要求更強(qiáng)的可操作性。為了讓省移動(dòng)公司的經(jīng)營(yíng)分析系統(tǒng)在地市級(jí)公司日常生產(chǎn)經(jīng)營(yíng)中發(fā)揮更大作用，省移動(dòng)公司決定為地市公司搭建更符合本地特色的"數(shù)據(jù)集市"平臺(tái)。

該平臺(tái)作為省級(jí)經(jīng)營(yíng)分析數(shù)據(jù)倉庫的子集，在保障與省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)一致性的同時(shí)，將省級(jí)經(jīng)營(yíng)分析系統(tǒng)的應(yīng)用延伸到市場(chǎng)經(jīng)營(yíng)工作的關(guān)鍵環(huán)節(jié)，全面支撐地市分公司各部門的日常生產(chǎn)運(yùn)營(yíng)。"數(shù)據(jù)集市"可集中進(jìn)行有針對(duì)性、及時(shí)、靈活、細(xì)化的數(shù)據(jù)分析，能快速指導(dǎo)市場(chǎng)經(jīng)營(yíng)和生產(chǎn)活動(dòng)，大大促進(jìn)地市分公司進(jìn)行精細(xì)化經(jīng)營(yíng)，進(jìn)行更符合地區(qū)特征的營(yíng)銷分析和經(jīng)營(yíng)管理。同時(shí)，也進(jìn)一步延伸和完善了省級(jí)移動(dòng)經(jīng)營(yíng)分析系統(tǒng)的價(jià)值鏈。

兩種方式靈活選擇

在前面的案例里提到了數(shù)據(jù)集市、數(shù)據(jù)倉庫和經(jīng)營(yíng)分析系統(tǒng)。數(shù)據(jù)倉庫（Data Warehouse）是指從多個(gè)數(shù)據(jù)源收集的信息，以一種一致的存儲(chǔ)方式保存所得到的數(shù)據(jù)集合。數(shù)據(jù)倉庫創(chuàng)始人之一Inmon的定義為：數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、穩(wěn)定的、包含歷史數(shù)據(jù)的數(shù)據(jù)集合，它用于支持管理中的決策制定過程。在構(gòu)造數(shù)據(jù)倉庫時(shí)，要經(jīng)過數(shù)據(jù)的清洗、抽取轉(zhuǎn)換、集成和加載等過程。面向不同的需求，對(duì)數(shù)據(jù)進(jìn)行清洗以保證數(shù)據(jù)的正確性，然后對(duì)數(shù)據(jù)進(jìn)行抽取，轉(zhuǎn)換成數(shù)據(jù)倉庫所需形式，并實(shí)現(xiàn)加載到數(shù)據(jù)倉庫。

移動(dòng)公司的經(jīng)營(yíng)分析系統(tǒng)可以理解為就是數(shù)據(jù)倉庫。數(shù)據(jù)倉庫通常是企業(yè)級(jí)應(yīng)用，因此涉及的范圍和投入的成本非常巨大，使一些企業(yè)無力承擔(dān)。因而，他們希望在最需要的關(guān)鍵部門建立一種適合自身應(yīng)用的、自行定制的部門數(shù)據(jù)倉庫子集。正是這種需求使數(shù)據(jù)集市應(yīng)運(yùn)而生。

數(shù)據(jù)集市（Data Mart）是聚焦在選定的主題上的，是部門范圍的。在移動(dòng)公司里，集團(tuán)和省級(jí)公司使用數(shù)據(jù)倉庫，而地市則使用數(shù)據(jù)集市進(jìn)行區(qū)域化、個(gè)性化的數(shù)據(jù)分析。

在電信行業(yè)里，往往是先有數(shù)據(jù)倉庫，再建設(shè)數(shù)據(jù)集市，也就是采取自上而下的方式。但這并不是唯一的方式。Sybase公司技術(shù)總監(jiān)盧東明向記者介紹，美國(guó)運(yùn)通公司曾經(jīng)針對(duì)信用卡防欺詐系統(tǒng)建立了一個(gè)數(shù)據(jù)集市，由于其他應(yīng)用紛紛和這個(gè)數(shù)據(jù)集市相連，后來這個(gè)數(shù)據(jù)集市發(fā)展成為一個(gè)數(shù)據(jù)量為50TB的企業(yè)級(jí)數(shù)據(jù)倉庫。運(yùn)通公司采取的就是自下而上的方式，也就是先建數(shù)據(jù)集市，再發(fā)展為數(shù)據(jù)倉庫。

關(guān)于自上而下和自下而上這兩種方法孰優(yōu)孰劣，一直存在著爭(zhēng)論。在這里就要提到兩個(gè)人-Ralph Kimball和Bill Inmon，他們一直是商業(yè)智能領(lǐng)域中的革新者，開發(fā)并測(cè)試了新的技術(shù)和體系結(jié)構(gòu)，而且都撰寫了關(guān)于數(shù)據(jù)倉庫方面的多本書籍。

Inmon認(rèn)為，應(yīng)該圍繞主題來組織數(shù)據(jù)倉庫中的數(shù)據(jù)，例如客戶、供應(yīng)商、產(chǎn)品等等。每個(gè)主題區(qū)域僅僅包含該主題相關(guān)的信息。數(shù)據(jù)倉庫應(yīng)該一次增加一個(gè)主題，并且當(dāng)需要容易地訪問多個(gè)主題時(shí)，創(chuàng)建以數(shù)據(jù)倉庫為來源的數(shù)據(jù)集市。換言之，某個(gè)特定數(shù)據(jù)集市中的所有數(shù)據(jù)都應(yīng)來自于面向主題的數(shù)據(jù)存儲(chǔ)。 Inmon 的方法包含了更多上述工作而減少了對(duì)于信息的初始訪問。但他認(rèn)為，這個(gè)集中式的體系結(jié)構(gòu)持續(xù)下去將提供更強(qiáng)的一致性和靈活性，并且從長(zhǎng)遠(yuǎn)來看，將真正節(jié)省資源和工作。

而Kimball的觀點(diǎn)是: "數(shù)據(jù)倉庫僅僅是構(gòu)成它的數(shù)據(jù)集市的聯(lián)合"。他認(rèn)為，"可以通過一系列維數(shù)相同的數(shù)據(jù)集市遞增地構(gòu)建數(shù)據(jù)倉庫"。每個(gè)數(shù)據(jù)集市將聯(lián)合多個(gè)數(shù)據(jù)源來滿足特定的業(yè)務(wù)需求。通過使用"一致的"維，能夠共同看到不同數(shù)據(jù)集市中的信息，這表示它們擁有公共定義的元素。 Kimball 的方法將提供集成的數(shù)據(jù)來回答企業(yè)迫切需要解決的業(yè)務(wù)問題，并且要快于 Inmon 的方法。Inmon 的方法是只有在構(gòu)建幾個(gè)單主題區(qū)域之后，集中式的數(shù)據(jù)倉庫才創(chuàng)建數(shù)據(jù)集市。而 Kimball認(rèn)為，該方法缺乏靈活性，并且在現(xiàn)在的商業(yè)環(huán)境中所花時(shí)間太長(zhǎng)。

實(shí)際上，選擇哪種方法取決于項(xiàng)目的主要商業(yè)驅(qū)動(dòng)。如果企業(yè)正忍受糟糕的數(shù)據(jù)管理和不一致的數(shù)據(jù)，或者希望為今后打下良好的基礎(chǔ)，那么， Inmon 的方法就更好一些。 如果企業(yè)迫切需要給用戶提供信息，那么， Kimball 的方法將滿足該需求。而一旦滿足了迫切的信息需求后，就應(yīng)該考慮包含獨(dú)立數(shù)據(jù)倉庫的數(shù)據(jù)體系結(jié)構(gòu)的轉(zhuǎn)換計(jì)劃。數(shù)據(jù)倉庫將使數(shù)據(jù)集市與遺留系統(tǒng)和 OLTP 系統(tǒng)隔離，并且支持更快地創(chuàng)建將來的數(shù)據(jù)集市。

亞信科技資深方案設(shè)計(jì)師張健說："在實(shí)際項(xiàng)目的建設(shè)過程中， 企業(yè)不會(huì)完全按照絕對(duì)的自上而下或是自下而上的方法去做。"

本報(bào)特約撰稿人劉慶表示，就國(guó)外成熟數(shù)據(jù)倉庫廠商的理念而言，大多是以自上而下為主，采用Bill Inmon的方法，先建立一套完美的企業(yè)數(shù)據(jù)倉庫，并且他們通常針對(duì)行業(yè)已經(jīng)設(shè)計(jì)出抽象程度比較高的概念模型，可以根據(jù)實(shí)際環(huán)境生成邏輯模型和物理模型。在構(gòu)建完美的數(shù)據(jù)倉庫的時(shí)候，設(shè)計(jì)者會(huì)考慮最終有哪些應(yīng)用，根據(jù)應(yīng)用做取舍。

獨(dú)立還是依賴

盧東明說：“在廠商的產(chǎn)品線中并沒有區(qū)分?jǐn)?shù)據(jù)倉庫和數(shù)據(jù)集市，因?yàn)槎叩幕炯夹g(shù)是一致的。也不能簡(jiǎn)單地以容量劃分?jǐn)?shù)據(jù)倉庫和數(shù)據(jù)集市，國(guó)外有的數(shù)據(jù)集市的容量達(dá)到了20TB，比很多數(shù)據(jù)倉庫的容量還要大。”

數(shù)據(jù)集市可以分為兩類：獨(dú)立型和依賴型。在獨(dú)立型數(shù)據(jù)集市中，數(shù)據(jù)來自一個(gè)或多個(gè)操作系統(tǒng)或外部信息提供者，或者來自在一個(gè)特定的部門或地域局部產(chǎn)生的數(shù)據(jù)。依賴型數(shù)據(jù)集市中的數(shù)據(jù)直接來自企業(yè)數(shù)據(jù)倉庫。

劉慶認(rèn)為，目前，國(guó)內(nèi)還是依賴型的數(shù)據(jù)集市居多。兩者的區(qū)別就在于是否從一個(gè)中央數(shù)據(jù)倉庫而來。因?yàn)閲?guó)內(nèi)的數(shù)據(jù)倉庫項(xiàng)目在開始階段多是國(guó)外廠商推進(jìn)的，肯定有些不理智，大多直接從數(shù)據(jù)倉庫的概念入手，整合分散的、異構(gòu)的數(shù)據(jù)。而獨(dú)立型數(shù)據(jù)集市是因?yàn)榭蛻粲蟹治鲂枨?，需要一些用于分析的?shù)據(jù)支撐，所以在部分或者自己的區(qū)域內(nèi)建立這種小型數(shù)據(jù)倉庫。獨(dú)立型數(shù)據(jù)集市是服務(wù)具體分析應(yīng)用的。

就應(yīng)用而言，獨(dú)立型和依賴型數(shù)據(jù)集市應(yīng)該是相似的，因?yàn)槟壳皩?duì)于數(shù)據(jù)集市的建模方法基本一致：使用建立面向主題的星型模式，服務(wù)于某項(xiàng)分析應(yīng)用。二者主要的差別還是在擴(kuò)展性方面，獨(dú)立型數(shù)據(jù)集市還是會(huì)導(dǎo)致不一致的數(shù)據(jù)。因?yàn)樗赡馨凑兆约罕镜氐姆绞絹磉M(jìn)行編碼，當(dāng)存在多個(gè)獨(dú)立數(shù)據(jù)集市的時(shí)候，他們之間的數(shù)據(jù)很難共享。依賴型的數(shù)據(jù)集市則是按照中央數(shù)據(jù)倉庫統(tǒng)一的編碼方式，可以共享。

數(shù)據(jù)結(jié)構(gòu)

數(shù)據(jù)集市中數(shù)據(jù)的結(jié)構(gòu)通常被描述為星型結(jié)構(gòu)或雪花結(jié)構(gòu)。一個(gè)星型結(jié)構(gòu)包含兩個(gè)基本部分—一個(gè)事實(shí)表和各種支持維表。事實(shí)表描述數(shù)據(jù)集市中最密集的數(shù)據(jù)。在電話公司中，用于呼叫的數(shù)據(jù)是典型的最密集數(shù)據(jù)；在銀行中，與賬目核對(duì)和自動(dòng)柜員機(jī)有關(guān)的數(shù)據(jù)是典型的最密集數(shù)據(jù)。對(duì)于零售業(yè)而言，銷售和庫存數(shù)據(jù)是最密集的數(shù)據(jù)。(ccw-cnw)