監(jiān)理公司管理系統(tǒng) | 工程企業(yè)管理系統(tǒng) | OA系統(tǒng) | ERP系統(tǒng) | 造價咨詢管理系統(tǒng) | 工程設(shè)計管理系統(tǒng) | 簽約案例 | 購買價格 | 在線試用 | 手機APP | 產(chǎn)品資料
X 關(guān)閉

數(shù)據(jù)集市技術(shù)應(yīng)用一瞥

申請免費試用、咨詢電話:400-8352-114

文章來源:泛普軟件

隨著某省移動公司的商業(yè)智能(BI)系統(tǒng)逐漸完善,激發(fā)了地市分公司旺盛的應(yīng)用需求,具體表現(xiàn)為對數(shù)據(jù)粒度的要求更加精細(xì)、需求更加靈活多變、要求更強的可操作性。為了讓省移動公司的經(jīng)營分析系統(tǒng)在地市級公司日常生產(chǎn)經(jīng)營中發(fā)揮更大作用,省移動公司決定為地市公司搭建更符合本地特色的"數(shù)據(jù)集市"平臺。

該平臺作為省級經(jīng)營分析數(shù)據(jù)倉庫的子集,在保障與省級經(jīng)營分析系統(tǒng)數(shù)據(jù)一致性的同時,將省級經(jīng)營分析系統(tǒng)的應(yīng)用延伸到市場經(jīng)營工作的關(guān)鍵環(huán)節(jié),全面支撐地市分公司各部門的日常生產(chǎn)運營。"數(shù)據(jù)集市"可集中進行有針對性、及時、靈活、細(xì)化的數(shù)據(jù)分析,能快速指導(dǎo)市場經(jīng)營和生產(chǎn)活動,大大促進地市分公司進行精細(xì)化經(jīng)營,進行更符合地區(qū)特征的營銷分析和經(jīng)營管理。同時,也進一步延伸和完善了省級移動經(jīng)營分析系統(tǒng)的價值鏈。

兩種方式靈活選擇

在前面的案例里提到了數(shù)據(jù)集市、數(shù)據(jù)倉庫和經(jīng)營分析系統(tǒng)。數(shù)據(jù)倉庫(Data Warehouse)是指從多個數(shù)據(jù)源收集的信息,以一種一致的存儲方式保存所得到的數(shù)據(jù)集合。數(shù)據(jù)倉庫創(chuàng)始人之一Inmon的定義為:數(shù)據(jù)倉庫是一個面向主題的、集成的、穩(wěn)定的、包含歷史數(shù)據(jù)的數(shù)據(jù)集合,它用于支持管理中的決策制定過程。在構(gòu)造數(shù)據(jù)倉庫時,要經(jīng)過數(shù)據(jù)的清洗、抽取轉(zhuǎn)換、集成和加載等過程。面向不同的需求,對數(shù)據(jù)進行清洗以保證數(shù)據(jù)的正確性,然后對數(shù)據(jù)進行抽取,轉(zhuǎn)換成數(shù)據(jù)倉庫所需形式,并實現(xiàn)加載到數(shù)據(jù)倉庫。

移動公司的經(jīng)營分析系統(tǒng)可以理解為就是數(shù)據(jù)倉庫。數(shù)據(jù)倉庫通常是企業(yè)級應(yīng)用,因此涉及的范圍和投入的成本非常巨大,使一些企業(yè)無力承擔(dān)。因而,他們希望在最需要的關(guān)鍵部門建立一種適合自身應(yīng)用的、自行定制的部門數(shù)據(jù)倉庫子集。正是這種需求使數(shù)據(jù)集市應(yīng)運而生。

數(shù)據(jù)集市(Data Mart)是聚焦在選定的主題上的,是部門范圍的。在移動公司里,集團和省級公司使用數(shù)據(jù)倉庫,而地市則使用數(shù)據(jù)集市進行區(qū)域化、個性化的數(shù)據(jù)分析。

在電信行業(yè)里,往往是先有數(shù)據(jù)倉庫,再建設(shè)數(shù)據(jù)集市,也就是采取自上而下的方式。但這并不是唯一的方式。Sybase公司技術(shù)總監(jiān)盧東明向記者介紹,美國運通公司曾經(jīng)針對信用卡防欺詐系統(tǒng)建立了一個數(shù)據(jù)集市,由于其他應(yīng)用紛紛和這個數(shù)據(jù)集市相連,后來這個數(shù)據(jù)集市發(fā)展成為一個數(shù)據(jù)量為50TB的企業(yè)級數(shù)據(jù)倉庫。運通公司采取的就是自下而上的方式,也就是先建數(shù)據(jù)集市,再發(fā)展為數(shù)據(jù)倉庫。

關(guān)于自上而下和自下而上這兩種方法孰優(yōu)孰劣,一直存在著爭論。在這里就要提到兩個人-Ralph Kimball和Bill Inmon,他們一直是商業(yè)智能領(lǐng)域中的革新者,開發(fā)并測試了新的技術(shù)和體系結(jié)構(gòu),而且都撰寫了關(guān)于數(shù)據(jù)倉庫方面的多本書籍。

Inmon認(rèn)為,應(yīng)該圍繞主題來組織數(shù)據(jù)倉庫中的數(shù)據(jù),例如客戶、供應(yīng)商、產(chǎn)品等等。每個主題區(qū)域僅僅包含該主題相關(guān)的信息。數(shù)據(jù)倉庫應(yīng)該一次增加一個主題,并且當(dāng)需要容易地訪問多個主題時,創(chuàng)建以數(shù)據(jù)倉庫為來源的數(shù)據(jù)集市。換言之,某個特定數(shù)據(jù)集市中的所有數(shù)據(jù)都應(yīng)來自于面向主題的數(shù)據(jù)存儲。 Inmon 的方法包含了更多上述工作而減少了對于信息的初始訪問。但他認(rèn)為,這個集中式的體系結(jié)構(gòu)持續(xù)下去將提供更強的一致性和靈活性,并且從長遠(yuǎn)來看,將真正節(jié)省資源和工作。

而Kimball的觀點是: "數(shù)據(jù)倉庫僅僅是構(gòu)成它的數(shù)據(jù)集市的聯(lián)合"。他認(rèn)為,"可以通過一系列維數(shù)相同的數(shù)據(jù)集市遞增地構(gòu)建數(shù)據(jù)倉庫"。每個數(shù)據(jù)集市將聯(lián)合多個數(shù)據(jù)源來滿足特定的業(yè)務(wù)需求。通過使用"一致的"維,能夠共同看到不同數(shù)據(jù)集市中的信息,這表示它們擁有公共定義的元素。 Kimball 的方法將提供集成的數(shù)據(jù)來回答企業(yè)迫切需要解決的業(yè)務(wù)問題,并且要快于 Inmon 的方法。Inmon 的方法是只有在構(gòu)建幾個單主題區(qū)域之后,集中式的數(shù)據(jù)倉庫才創(chuàng)建數(shù)據(jù)集市。而 Kimball認(rèn)為,該方法缺乏靈活性,并且在現(xiàn)在的商業(yè)環(huán)境中所花時間太長。

實際上,選擇哪種方法取決于項目的主要商業(yè)驅(qū)動。如果企業(yè)正忍受糟糕的數(shù)據(jù)管理和不一致的數(shù)據(jù),或者希望為今后打下良好的基礎(chǔ),那么, Inmon 的方法就更好一些。 如果企業(yè)迫切需要給用戶提供信息,那么, Kimball 的方法將滿足該需求。而一旦滿足了迫切的信息需求后,就應(yīng)該考慮包含獨立數(shù)據(jù)倉庫的數(shù)據(jù)體系結(jié)構(gòu)的轉(zhuǎn)換計劃。數(shù)據(jù)倉庫將使數(shù)據(jù)集市與遺留系統(tǒng)和 OLTP 系統(tǒng)隔離,并且支持更快地創(chuàng)建將來的數(shù)據(jù)集市。

亞信科技資深方案設(shè)計師張健說:"在實際項目的建設(shè)過程中, 企業(yè)不會完全按照絕對的自上而下或是自下而上的方法去做。"

本報特約撰稿人劉慶表示,就國外成熟數(shù)據(jù)倉庫廠商的理念而言,大多是以自上而下為主,采用Bill Inmon的方法,先建立一套完美的企業(yè)數(shù)據(jù)倉庫,并且他們通常針對行業(yè)已經(jīng)設(shè)計出抽象程度比較高的概念模型,可以根據(jù)實際環(huán)境生成邏輯模型和物理模型。在構(gòu)建完美的數(shù)據(jù)倉庫的時候,設(shè)計者會考慮最終有哪些應(yīng)用,根據(jù)應(yīng)用做取舍。



獨立還是依賴

盧東明說:“在廠商的產(chǎn)品線中并沒有區(qū)分?jǐn)?shù)據(jù)倉庫和數(shù)據(jù)集市,因為二者的基本技術(shù)是一致的。也不能簡單地以容量劃分?jǐn)?shù)據(jù)倉庫和數(shù)據(jù)集市,國外有的數(shù)據(jù)集市的容量達到了20TB,比很多數(shù)據(jù)倉庫的容量還要大。”

數(shù)據(jù)集市可以分為兩類:獨立型和依賴型。在獨立型數(shù)據(jù)集市中,數(shù)據(jù)來自一個或多個操作系統(tǒng)或外部信息提供者,或者來自在一個特定的部門或地域局部產(chǎn)生的數(shù)據(jù)。依賴型數(shù)據(jù)集市中的數(shù)據(jù)直接來自企業(yè)數(shù)據(jù)倉庫。

劉慶認(rèn)為,目前,國內(nèi)還是依賴型的數(shù)據(jù)集市居多。兩者的區(qū)別就在于是否從一個中央數(shù)據(jù)倉庫而來。因為國內(nèi)的數(shù)據(jù)倉庫項目在開始階段多是國外廠商推進的,肯定有些不理智,大多直接從數(shù)據(jù)倉庫的概念入手,整合分散的、異構(gòu)的數(shù)據(jù)。而獨立型數(shù)據(jù)集市是因為客戶有分析需求,需要一些用于分析的數(shù)據(jù)支撐,所以在部分或者自己的區(qū)域內(nèi)建立這種小型數(shù)據(jù)倉庫。獨立型數(shù)據(jù)集市是服務(wù)具體分析應(yīng)用的。

就應(yīng)用而言,獨立型和依賴型數(shù)據(jù)集市應(yīng)該是相似的,因為目前對于數(shù)據(jù)集市的建模方法基本一致:使用建立面向主題的星型模式,服務(wù)于某項分析應(yīng)用。二者主要的差別還是在擴展性方面,獨立型數(shù)據(jù)集市還是會導(dǎo)致不一致的數(shù)據(jù)。因為它可能按照自己本地的方式來進行編碼,當(dāng)存在多個獨立數(shù)據(jù)集市的時候,他們之間的數(shù)據(jù)很難共享。依賴型的數(shù)據(jù)集市則是按照中央數(shù)據(jù)倉庫統(tǒng)一的編碼方式,可以共享。

數(shù)據(jù)結(jié)構(gòu)

數(shù)據(jù)集市中數(shù)據(jù)的結(jié)構(gòu)通常被描述為星型結(jié)構(gòu)或雪花結(jié)構(gòu)。一個星型結(jié)構(gòu)包含兩個基本部分—一個事實表和各種支持維表。事實表描述數(shù)據(jù)集市中最密集的數(shù)據(jù)。在電話公司中,用于呼叫的數(shù)據(jù)是典型的最密集數(shù)據(jù);在銀行中,與賬目核對和自動柜員機有關(guān)的數(shù)據(jù)是典型的最密集數(shù)據(jù)。對于零售業(yè)而言,銷售和庫存數(shù)據(jù)是最密集的數(shù)據(jù)。(ccw-cnw)



 

發(fā)布:2007-04-22 09:57    編輯:泛普軟件 · xiaona    [打印此頁]    [關(guān)閉]
相關(guān)文章:
南昌OA系統(tǒng)
聯(lián)系方式

成都公司:成都市成華區(qū)建設(shè)南路160號1層9號

重慶公司:重慶市江北區(qū)紅旗河溝華創(chuàng)商務(wù)大廈18樓

咨詢:400-8352-114

加微信,免費獲取試用系統(tǒng)

QQ在線咨詢

泛普南昌OA信息化其他應(yīng)用

南昌OA軟件 南昌OA新聞動態(tài) 南昌OA信息化 南昌OA快博 南昌OA行業(yè)資訊 南昌軟件開發(fā)公司 南昌門禁系統(tǒng) 南昌物業(yè)管理軟件 南昌倉庫管理軟件 南昌餐飲管理軟件 南昌網(wǎng)站建設(shè)公司