當(dāng)前位置:工程項目OA系統(tǒng) > 泛普各地 > 江西OA系統(tǒng) > 南昌OA系統(tǒng) > 南昌OA信息化
數(shù)據(jù)集市技術(shù)應(yīng)用一瞥
隨著某省移動公司的商業(yè)智能(BI)系統(tǒng)逐漸完善,激發(fā)了地市分公司旺盛的應(yīng)用需求,具體表現(xiàn)為對數(shù)據(jù)粒度的要求更加精細(xì)、需求更加靈活多變、要求更強的可操作性。為了讓省移動公司的經(jīng)營分析系統(tǒng)在地市級公司日常生產(chǎn)經(jīng)營中發(fā)揮更大作用,省移動公司決定為地市公司搭建更符合本地特色的"數(shù)據(jù)集市"平臺。
該平臺作為省級經(jīng)營分析數(shù)據(jù)倉庫的子集,在保障與省級經(jīng)營分析系統(tǒng)數(shù)據(jù)一致性的同時,將省級經(jīng)營分析系統(tǒng)的應(yīng)用延伸到市場經(jīng)營工作的關(guān)鍵環(huán)節(jié),全面支撐地市分公司各部門的日常生產(chǎn)運營。"數(shù)據(jù)集市"可集中進行有針對性、及時、靈活、細(xì)化的數(shù)據(jù)分析,能快速指導(dǎo)市場經(jīng)營和生產(chǎn)活動,大大促進地市分公司進行精細(xì)化經(jīng)營,進行更符合地區(qū)特征的營銷分析和經(jīng)營管理。同時,也進一步延伸和完善了省級移動經(jīng)營分析系統(tǒng)的價值鏈。
兩種方式靈活選擇
在前面的案例里提到了數(shù)據(jù)集市、數(shù)據(jù)倉庫和經(jīng)營分析系統(tǒng)。數(shù)據(jù)倉庫(Data Warehouse)是指從多個數(shù)據(jù)源收集的信息,以一種一致的存儲方式保存所得到的數(shù)據(jù)集合。數(shù)據(jù)倉庫創(chuàng)始人之一Inmon的定義為:數(shù)據(jù)倉庫是一個面向主題的、集成的、穩(wěn)定的、包含歷史數(shù)據(jù)的數(shù)據(jù)集合,它用于支持管理中的決策制定過程。在構(gòu)造數(shù)據(jù)倉庫時,要經(jīng)過數(shù)據(jù)的清洗、抽取轉(zhuǎn)換、集成和加載等過程。面向不同的需求,對數(shù)據(jù)進行清洗以保證數(shù)據(jù)的正確性,然后對數(shù)據(jù)進行抽取,轉(zhuǎn)換成數(shù)據(jù)倉庫所需形式,并實現(xiàn)加載到數(shù)據(jù)倉庫。
移動公司的經(jīng)營分析系統(tǒng)可以理解為就是數(shù)據(jù)倉庫。數(shù)據(jù)倉庫通常是企業(yè)級應(yīng)用,因此涉及的范圍和投入的成本非常巨大,使一些企業(yè)無力承擔(dān)。因而,他們希望在最需要的關(guān)鍵部門建立一種適合自身應(yīng)用的、自行定制的部門數(shù)據(jù)倉庫子集。正是這種需求使數(shù)據(jù)集市應(yīng)運而生。
數(shù)據(jù)集市(Data Mart)是聚焦在選定的主題上的,是部門范圍的。在移動公司里,集團和省級公司使用數(shù)據(jù)倉庫,而地市則使用數(shù)據(jù)集市進行區(qū)域化、個性化的數(shù)據(jù)分析。
在電信行業(yè)里,往往是先有數(shù)據(jù)倉庫,再建設(shè)數(shù)據(jù)集市,也就是采取自上而下的方式。但這并不是唯一的方式。Sybase公司技術(shù)總監(jiān)盧東明向記者介紹,美國運通公司曾經(jīng)針對信用卡防欺詐系統(tǒng)建立了一個數(shù)據(jù)集市,由于其他應(yīng)用紛紛和這個數(shù)據(jù)集市相連,后來這個數(shù)據(jù)集市發(fā)展成為一個數(shù)據(jù)量為50TB的企業(yè)級數(shù)據(jù)倉庫。運通公司采取的就是自下而上的方式,也就是先建數(shù)據(jù)集市,再發(fā)展為數(shù)據(jù)倉庫。
關(guān)于自上而下和自下而上這兩種方法孰優(yōu)孰劣,一直存在著爭論。在這里就要提到兩個人-Ralph Kimball和Bill Inmon,他們一直是商業(yè)智能領(lǐng)域中的革新者,開發(fā)并測試了新的技術(shù)和體系結(jié)構(gòu),而且都撰寫了關(guān)于數(shù)據(jù)倉庫方面的多本書籍。
Inmon認(rèn)為,應(yīng)該圍繞主題來組織數(shù)據(jù)倉庫中的數(shù)據(jù),例如客戶、供應(yīng)商、產(chǎn)品等等。每個主題區(qū)域僅僅包含該主題相關(guān)的信息。數(shù)據(jù)倉庫應(yīng)該一次增加一個主題,并且當(dāng)需要容易地訪問多個主題時,創(chuàng)建以數(shù)據(jù)倉庫為來源的數(shù)據(jù)集市。換言之,某個特定數(shù)據(jù)集市中的所有數(shù)據(jù)都應(yīng)來自于面向主題的數(shù)據(jù)存儲。 Inmon 的方法包含了更多上述工作而減少了對于信息的初始訪問。但他認(rèn)為,這個集中式的體系結(jié)構(gòu)持續(xù)下去將提供更強的一致性和靈活性,并且從長遠(yuǎn)來看,將真正節(jié)省資源和工作。
而Kimball的觀點是: "數(shù)據(jù)倉庫僅僅是構(gòu)成它的數(shù)據(jù)集市的聯(lián)合"。他認(rèn)為,"可以通過一系列維數(shù)相同的數(shù)據(jù)集市遞增地構(gòu)建數(shù)據(jù)倉庫"。每個數(shù)據(jù)集市將聯(lián)合多個數(shù)據(jù)源來滿足特定的業(yè)務(wù)需求。通過使用"一致的"維,能夠共同看到不同數(shù)據(jù)集市中的信息,這表示它們擁有公共定義的元素。 Kimball 的方法將提供集成的數(shù)據(jù)來回答企業(yè)迫切需要解決的業(yè)務(wù)問題,并且要快于 Inmon 的方法。Inmon 的方法是只有在構(gòu)建幾個單主題區(qū)域之后,集中式的數(shù)據(jù)倉庫才創(chuàng)建數(shù)據(jù)集市。而 Kimball認(rèn)為,該方法缺乏靈活性,并且在現(xiàn)在的商業(yè)環(huán)境中所花時間太長。
實際上,選擇哪種方法取決于項目的主要商業(yè)驅(qū)動。如果企業(yè)正忍受糟糕的數(shù)據(jù)管理和不一致的數(shù)據(jù),或者希望為今后打下良好的基礎(chǔ),那么, Inmon 的方法就更好一些。 如果企業(yè)迫切需要給用戶提供信息,那么, Kimball 的方法將滿足該需求。而一旦滿足了迫切的信息需求后,就應(yīng)該考慮包含獨立數(shù)據(jù)倉庫的數(shù)據(jù)體系結(jié)構(gòu)的轉(zhuǎn)換計劃。數(shù)據(jù)倉庫將使數(shù)據(jù)集市與遺留系統(tǒng)和 OLTP 系統(tǒng)隔離,并且支持更快地創(chuàng)建將來的數(shù)據(jù)集市。
亞信科技資深方案設(shè)計師張健說:"在實際項目的建設(shè)過程中, 企業(yè)不會完全按照絕對的自上而下或是自下而上的方法去做。"
本報特約撰稿人劉慶表示,就國外成熟數(shù)據(jù)倉庫廠商的理念而言,大多是以自上而下為主,采用Bill Inmon的方法,先建立一套完美的企業(yè)數(shù)據(jù)倉庫,并且他們通常針對行業(yè)已經(jīng)設(shè)計出抽象程度比較高的概念模型,可以根據(jù)實際環(huán)境生成邏輯模型和物理模型。在構(gòu)建完美的數(shù)據(jù)倉庫的時候,設(shè)計者會考慮最終有哪些應(yīng)用,根據(jù)應(yīng)用做取舍。
獨立還是依賴
盧東明說:“在廠商的產(chǎn)品線中并沒有區(qū)分?jǐn)?shù)據(jù)倉庫和數(shù)據(jù)集市,因為二者的基本技術(shù)是一致的。也不能簡單地以容量劃分?jǐn)?shù)據(jù)倉庫和數(shù)據(jù)集市,國外有的數(shù)據(jù)集市的容量達到了20TB,比很多數(shù)據(jù)倉庫的容量還要大。”
數(shù)據(jù)集市可以分為兩類:獨立型和依賴型。在獨立型數(shù)據(jù)集市中,數(shù)據(jù)來自一個或多個操作系統(tǒng)或外部信息提供者,或者來自在一個特定的部門或地域局部產(chǎn)生的數(shù)據(jù)。依賴型數(shù)據(jù)集市中的數(shù)據(jù)直接來自企業(yè)數(shù)據(jù)倉庫。
劉慶認(rèn)為,目前,國內(nèi)還是依賴型的數(shù)據(jù)集市居多。兩者的區(qū)別就在于是否從一個中央數(shù)據(jù)倉庫而來。因為國內(nèi)的數(shù)據(jù)倉庫項目在開始階段多是國外廠商推進的,肯定有些不理智,大多直接從數(shù)據(jù)倉庫的概念入手,整合分散的、異構(gòu)的數(shù)據(jù)。而獨立型數(shù)據(jù)集市是因為客戶有分析需求,需要一些用于分析的數(shù)據(jù)支撐,所以在部分或者自己的區(qū)域內(nèi)建立這種小型數(shù)據(jù)倉庫。獨立型數(shù)據(jù)集市是服務(wù)具體分析應(yīng)用的。
就應(yīng)用而言,獨立型和依賴型數(shù)據(jù)集市應(yīng)該是相似的,因為目前對于數(shù)據(jù)集市的建模方法基本一致:使用建立面向主題的星型模式,服務(wù)于某項分析應(yīng)用。二者主要的差別還是在擴展性方面,獨立型數(shù)據(jù)集市還是會導(dǎo)致不一致的數(shù)據(jù)。因為它可能按照自己本地的方式來進行編碼,當(dāng)存在多個獨立數(shù)據(jù)集市的時候,他們之間的數(shù)據(jù)很難共享。依賴型的數(shù)據(jù)集市則是按照中央數(shù)據(jù)倉庫統(tǒng)一的編碼方式,可以共享。
數(shù)據(jù)結(jié)構(gòu)
數(shù)據(jù)集市中數(shù)據(jù)的結(jié)構(gòu)通常被描述為星型結(jié)構(gòu)或雪花結(jié)構(gòu)。一個星型結(jié)構(gòu)包含兩個基本部分—一個事實表和各種支持維表。事實表描述數(shù)據(jù)集市中最密集的數(shù)據(jù)。在電話公司中,用于呼叫的數(shù)據(jù)是典型的最密集數(shù)據(jù);在銀行中,與賬目核對和自動柜員機有關(guān)的數(shù)據(jù)是典型的最密集數(shù)據(jù)。對于零售業(yè)而言,銷售和庫存數(shù)據(jù)是最密集的數(shù)據(jù)。(ccw-cnw)
- 1解救南昌OA市場的最脆弱的地方
- 2把握數(shù)據(jù)倉庫中的“鍵”
- 3最好的OA系統(tǒng) 必須能黏住用戶
- 4四種方式搭建網(wǎng)絡(luò)電視直播系統(tǒng)
- 5如何避免軟件開發(fā)中不兼容的設(shè)計方法
- 6如何利用oa做好知識管理!
- 7數(shù)據(jù)集市技術(shù)應(yīng)用一瞥
- 8借移動OA 老板“會管”也“慧管”
- 9OA行業(yè)產(chǎn)品型定制型誰主沉浮
- 10OA從業(yè)價值觀:百年老店還是畫地為牢
- 11知識經(jīng)濟方興未艾OA不止于知識容器
- 12OA軟件-行走的“辦公桌”
- 13自動診斷系統(tǒng)網(wǎng)絡(luò)故障的小技巧
- 142013年IT預(yù)算將在移動和云領(lǐng)域
- 15一項好的郵件服務(wù)器災(zāi)難恢復(fù)計劃
- 16信息化現(xiàn)狀分析 企業(yè)IT規(guī)劃成關(guān)鍵
- 17間諜軟件的慣用手法
- 18數(shù)據(jù)大清理
- 19解密大數(shù)據(jù):一個轉(zhuǎn)變政府經(jīng)營理念的實用指南
- 20怎樣用多路VPN跨越ISP鴻溝
- 21網(wǎng)絡(luò)管理管什么?
- 22不同的人對OA的認(rèn)識是不同的
- 23南昌OA辦公系統(tǒng)項目的實施指南
- 24OA,連鎖企業(yè)新選擇
- 25如何進行密碼破解
- 26Chinasec專家談內(nèi)網(wǎng)安全產(chǎn)品選型三要素
- 27OA成騰訊巨頭移動互聯(lián)網(wǎng)戰(zhàn)略的下一個目標(biāo)?
- 28OA系統(tǒng)的兩大主題即是滿足需求和創(chuàng)新
- 29電子商務(wù)、企業(yè)社交是大型企業(yè)信息化重點
- 30教育行業(yè)OA軟件應(yīng)用前景獨好
成都公司:成都市成華區(qū)建設(shè)南路160號1層9號
重慶公司:重慶市江北區(qū)紅旗河溝華創(chuàng)商務(wù)大廈18樓