數(shù)據(jù)集市技術(shù)應(yīng)用一瞥

申請免費試用、咨詢電話：400-8352-114

隨著某省移動公司的商業(yè)智能（BI）系統(tǒng)逐漸完善，激發(fā)了地市分公司旺盛的應(yīng)用需求，具體表現(xiàn)為對數(shù)據(jù)粒度的要求更加精細(xì)、需求更加靈活多變、要求更強的可操作性。為了讓省移動公司的經(jīng)營分析系統(tǒng)在地市級公司日常生產(chǎn)經(jīng)營中發(fā)揮更大作用，省移動公司決定為地市公司搭建更符合本地特色的"數(shù)據(jù)集市"平臺。

該平臺作為省級經(jīng)營分析數(shù)據(jù)倉庫的子集，在保障與省級經(jīng)營分析系統(tǒng)數(shù)據(jù)一致性的同時，將省級經(jīng)營分析系統(tǒng)的應(yīng)用延伸到市場經(jīng)營工作的關(guān)鍵環(huán)節(jié)，全面支撐地市分公司各部門的日常生產(chǎn)運營。"數(shù)據(jù)集市"可集中進行有針對性、及時、靈活、細(xì)化的數(shù)據(jù)分析，能快速指導(dǎo)市場經(jīng)營和生產(chǎn)活動，大大促進地市分公司進行精細(xì)化經(jīng)營，進行更符合地區(qū)特征的營銷分析和經(jīng)營管理。同時，也進一步延伸和完善了省級移動經(jīng)營分析系統(tǒng)的價值鏈。

兩種方式靈活選擇

在前面的案例里提到了數(shù)據(jù)集市、數(shù)據(jù)倉庫和經(jīng)營分析系統(tǒng)。數(shù)據(jù)倉庫（Data Warehouse）是指從多個數(shù)據(jù)源收集的信息，以一種一致的存儲方式保存所得到的數(shù)據(jù)集合。數(shù)據(jù)倉庫創(chuàng)始人之一Inmon的定義為：數(shù)據(jù)倉庫是一個面向主題的、集成的、穩(wěn)定的、包含歷史數(shù)據(jù)的數(shù)據(jù)集合，它用于支持管理中的決策制定過程。在構(gòu)造數(shù)據(jù)倉庫時，要經(jīng)過數(shù)據(jù)的清洗、抽取轉(zhuǎn)換、集成和加載等過程。面向不同的需求，對數(shù)據(jù)進行清洗以保證數(shù)據(jù)的正確性，然后對數(shù)據(jù)進行抽取，轉(zhuǎn)換成數(shù)據(jù)倉庫所需形式，并實現(xiàn)加載到數(shù)據(jù)倉庫。

移動公司的經(jīng)營分析系統(tǒng)可以理解為就是數(shù)據(jù)倉庫。數(shù)據(jù)倉庫通常是企業(yè)級應(yīng)用，因此涉及的范圍和投入的成本非常巨大，使一些企業(yè)無力承擔(dān)。因而，他們希望在最需要的關(guān)鍵部門建立一種適合自身應(yīng)用的、自行定制的部門數(shù)據(jù)倉庫子集。正是這種需求使數(shù)據(jù)集市應(yīng)運而生。

數(shù)據(jù)集市（Data Mart）是聚焦在選定的主題上的，是部門范圍的。在移動公司里，集團和省級公司使用數(shù)據(jù)倉庫，而地市則使用數(shù)據(jù)集市進行區(qū)域化、個性化的數(shù)據(jù)分析。

在電信行業(yè)里，往往是先有數(shù)據(jù)倉庫，再建設(shè)數(shù)據(jù)集市，也就是采取自上而下的方式。但這并不是唯一的方式。Sybase公司技術(shù)總監(jiān)盧東明向記者介紹，美國運通公司曾經(jīng)針對信用卡防欺詐系統(tǒng)建立了一個數(shù)據(jù)集市，由于其他應(yīng)用紛紛和這個數(shù)據(jù)集市相連，后來這個數(shù)據(jù)集市發(fā)展成為一個數(shù)據(jù)量為50TB的企業(yè)級數(shù)據(jù)倉庫。運通公司采取的就是自下而上的方式，也就是先建數(shù)據(jù)集市，再發(fā)展為數(shù)據(jù)倉庫。

關(guān)于自上而下和自下而上這兩種方法孰優(yōu)孰劣，一直存在著爭論。在這里就要提到兩個人-Ralph Kimball和Bill Inmon，他們一直是商業(yè)智能領(lǐng)域中的革新者，開發(fā)并測試了新的技術(shù)和體系結(jié)構(gòu)，而且都撰寫了關(guān)于數(shù)據(jù)倉庫方面的多本書籍。

Inmon認(rèn)為，應(yīng)該圍繞主題來組織數(shù)據(jù)倉庫中的數(shù)據(jù)，例如客戶、供應(yīng)商、產(chǎn)品等等。每個主題區(qū)域僅僅包含該主題相關(guān)的信息。數(shù)據(jù)倉庫應(yīng)該一次增加一個主題，并且當(dāng)需要容易地訪問多個主題時，創(chuàng)建以數(shù)據(jù)倉庫為來源的數(shù)據(jù)集市。換言之，某個特定數(shù)據(jù)集市中的所有數(shù)據(jù)都應(yīng)來自于面向主題的數(shù)據(jù)存儲。 Inmon 的方法包含了更多上述工作而減少了對于信息的初始訪問。但他認(rèn)為，這個集中式的體系結(jié)構(gòu)持續(xù)下去將提供更強的一致性和靈活性，并且從長遠(yuǎn)來看，將真正節(jié)省資源和工作。

而Kimball的觀點是: "數(shù)據(jù)倉庫僅僅是構(gòu)成它的數(shù)據(jù)集市的聯(lián)合"。他認(rèn)為，"可以通過一系列維數(shù)相同的數(shù)據(jù)集市遞增地構(gòu)建數(shù)據(jù)倉庫"。每個數(shù)據(jù)集市將聯(lián)合多個數(shù)據(jù)源來滿足特定的業(yè)務(wù)需求。通過使用"一致的"維，能夠共同看到不同數(shù)據(jù)集市中的信息，這表示它們擁有公共定義的元素。 Kimball 的方法將提供集成的數(shù)據(jù)來回答企業(yè)迫切需要解決的業(yè)務(wù)問題，并且要快于 Inmon 的方法。Inmon 的方法是只有在構(gòu)建幾個單主題區(qū)域之后，集中式的數(shù)據(jù)倉庫才創(chuàng)建數(shù)據(jù)集市。而 Kimball認(rèn)為，該方法缺乏靈活性，并且在現(xiàn)在的商業(yè)環(huán)境中所花時間太長。

實際上，選擇哪種方法取決于項目的主要商業(yè)驅(qū)動。如果企業(yè)正忍受糟糕的數(shù)據(jù)管理和不一致的數(shù)據(jù)，或者希望為今后打下良好的基礎(chǔ)，那么， Inmon 的方法就更好一些。 如果企業(yè)迫切需要給用戶提供信息，那么， Kimball 的方法將滿足該需求。而一旦滿足了迫切的信息需求后，就應(yīng)該考慮包含獨立數(shù)據(jù)倉庫的數(shù)據(jù)體系結(jié)構(gòu)的轉(zhuǎn)換計劃。數(shù)據(jù)倉庫將使數(shù)據(jù)集市與遺留系統(tǒng)和 OLTP 系統(tǒng)隔離，并且支持更快地創(chuàng)建將來的數(shù)據(jù)集市。

亞信科技資深方案設(shè)計師張健說："在實際項目的建設(shè)過程中， 企業(yè)不會完全按照絕對的自上而下或是自下而上的方法去做。"

本報特約撰稿人劉慶表示，就國外成熟數(shù)據(jù)倉庫廠商的理念而言，大多是以自上而下為主，采用Bill Inmon的方法，先建立一套完美的企業(yè)數(shù)據(jù)倉庫，并且他們通常針對行業(yè)已經(jīng)設(shè)計出抽象程度比較高的概念模型，可以根據(jù)實際環(huán)境生成邏輯模型和物理模型。在構(gòu)建完美的數(shù)據(jù)倉庫的時候，設(shè)計者會考慮最終有哪些應(yīng)用，根據(jù)應(yīng)用做取舍。

獨立還是依賴

盧東明說：“在廠商的產(chǎn)品線中并沒有區(qū)分?jǐn)?shù)據(jù)倉庫和數(shù)據(jù)集市，因為二者的基本技術(shù)是一致的。也不能簡單地以容量劃分?jǐn)?shù)據(jù)倉庫和數(shù)據(jù)集市，國外有的數(shù)據(jù)集市的容量達到了20TB，比很多數(shù)據(jù)倉庫的容量還要大。”

數(shù)據(jù)集市可以分為兩類：獨立型和依賴型。在獨立型數(shù)據(jù)集市中，數(shù)據(jù)來自一個或多個操作系統(tǒng)或外部信息提供者，或者來自在一個特定的部門或地域局部產(chǎn)生的數(shù)據(jù)。依賴型數(shù)據(jù)集市中的數(shù)據(jù)直接來自企業(yè)數(shù)據(jù)倉庫。

劉慶認(rèn)為，目前，國內(nèi)還是依賴型的數(shù)據(jù)集市居多。兩者的區(qū)別就在于是否從一個中央數(shù)據(jù)倉庫而來。因為國內(nèi)的數(shù)據(jù)倉庫項目在開始階段多是國外廠商推進的，肯定有些不理智，大多直接從數(shù)據(jù)倉庫的概念入手，整合分散的、異構(gòu)的數(shù)據(jù)。而獨立型數(shù)據(jù)集市是因為客戶有分析需求，需要一些用于分析的數(shù)據(jù)支撐，所以在部分或者自己的區(qū)域內(nèi)建立這種小型數(shù)據(jù)倉庫。獨立型數(shù)據(jù)集市是服務(wù)具體分析應(yīng)用的。

就應(yīng)用而言，獨立型和依賴型數(shù)據(jù)集市應(yīng)該是相似的，因為目前對于數(shù)據(jù)集市的建模方法基本一致：使用建立面向主題的星型模式，服務(wù)于某項分析應(yīng)用。二者主要的差別還是在擴展性方面，獨立型數(shù)據(jù)集市還是會導(dǎo)致不一致的數(shù)據(jù)。因為它可能按照自己本地的方式來進行編碼，當(dāng)存在多個獨立數(shù)據(jù)集市的時候，他們之間的數(shù)據(jù)很難共享。依賴型的數(shù)據(jù)集市則是按照中央數(shù)據(jù)倉庫統(tǒng)一的編碼方式，可以共享。

數(shù)據(jù)結(jié)構(gòu)

數(shù)據(jù)集市中數(shù)據(jù)的結(jié)構(gòu)通常被描述為星型結(jié)構(gòu)或雪花結(jié)構(gòu)。一個星型結(jié)構(gòu)包含兩個基本部分—一個事實表和各種支持維表。事實表描述數(shù)據(jù)集市中最密集的數(shù)據(jù)。在電話公司中，用于呼叫的數(shù)據(jù)是典型的最密集數(shù)據(jù)；在銀行中，與賬目核對和自動柜員機有關(guān)的數(shù)據(jù)是典型的最密集數(shù)據(jù)。對于零售業(yè)而言，銷售和庫存數(shù)據(jù)是最密集的數(shù)據(jù)。(ccw-cnw)