數(shù)據(jù)倉(cāng)庫(kù)技術(shù)支持之決策支持系統(tǒng)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)

1.1 數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)生背景

應(yīng)用和技術(shù)的發(fā)展是相互作用的，一方面，現(xiàn)代社會(huì)的廣泛電子化、數(shù)字化提供了前所未有的、有待加工和處理的原始數(shù)據(jù)。就一個(gè)企業(yè)而占，這些數(shù)據(jù)量大約五年就可以增加一倍，另外，數(shù)據(jù)的形式也突破了傳統(tǒng)的數(shù)字和符號(hào)，包括原始商業(yè)文檔、多種圖形、圖像數(shù)據(jù)等，故許多企業(yè)、部門并不是缺少數(shù)據(jù)，而是常常被過(guò)分重復(fù)和不一致的數(shù)據(jù)所困擾，從而越來(lái)越難以有效管理和存取這些數(shù)據(jù)，使之用于決策過(guò)程，這種局面自然導(dǎo)致一個(gè)強(qiáng)烈的要求，要求有一種系統(tǒng)能存取這些數(shù)據(jù)，并將它轉(zhuǎn)換成一種可信賴的、有用的信息。另一方面，現(xiàn)代企業(yè)經(jīng)常面臨各種挑戰(zhàn)，如何最大限度的挖掘各種有用信息，使企業(yè)在激烈的市場(chǎng)競(jìng)爭(zhēng)中立于不敗之地，并獲得最大的商業(yè)利潤(rùn)，也為計(jì)算機(jī)信息處理技術(shù)提出了新的要求。

由此導(dǎo)致了數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的提出。數(shù)據(jù)倉(cāng)庫(kù)是計(jì)算機(jī)應(yīng)用領(lǐng)域里的一個(gè)嶄新方向，己成為90年代信息系統(tǒng)體系結(jié)構(gòu)新的技術(shù)焦點(diǎn)，它是來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)拷貝和集成，從歷史的角度來(lái)組織和存儲(chǔ)數(shù)據(jù)，同時(shí)保證關(guān)鍵任務(wù)數(shù)據(jù)的完整性和安全性，為企業(yè)發(fā)展提供有效的技術(shù)支持。

1.2 數(shù)據(jù)倉(cāng)庫(kù)的基本概念

1998年剛剛發(fā)展起來(lái)的數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）技術(shù)的概念由美國(guó)著名工程學(xué)家W.H.lnmon博士于90年代在《建立數(shù)據(jù)倉(cāng)庫(kù)》一防中提出：“數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、包含歷史數(shù)據(jù)的數(shù)據(jù)集合，它用于支持經(jīng)營(yíng)管理中的決策制定過(guò)程?！?

數(shù)據(jù)倉(cāng)庫(kù)與傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)相比有著本質(zhì)的區(qū)別，數(shù)據(jù)庫(kù)是一種通用平臺(tái)，建立于嚴(yán)格的數(shù)學(xué)模刑之上，用來(lái)管理企業(yè)數(shù)據(jù)，進(jìn)行事務(wù)處理，完成相關(guān)業(yè)務(wù)；而數(shù)據(jù)倉(cāng)庫(kù)沒(méi)有嚴(yán)格的數(shù)據(jù)理淪，更偏向工程，它不是花錢就可購(gòu)買的成品，而是企業(yè)一個(gè)日積月累的建立過(guò)程。它的應(yīng)用對(duì)象是不同層次的管理者，它的數(shù)據(jù)源是多種數(shù)據(jù)源，庫(kù)中數(shù)據(jù)無(wú)須修改刪除，卞要是大規(guī)模查詢和分析。數(shù)據(jù)倉(cāng)庫(kù)是來(lái)自多個(gè)源的數(shù)據(jù)的存儲(chǔ)庫(kù)，它可通過(guò)Internet將不同的數(shù)據(jù)庫(kù)連接起來(lái)，并將數(shù)據(jù)全部或部分復(fù)制到一個(gè)數(shù)據(jù)存儲(chǔ)中心。數(shù)據(jù)倉(cāng)庫(kù)傾向于一個(gè)邏輯的概念，它建立在一定數(shù)量的數(shù)據(jù)庫(kù)之上，這些數(shù)據(jù)庫(kù)在物理上是可以分開的，甚至可以屬于不同的國(guó)家。數(shù)據(jù)倉(cāng)庫(kù)通過(guò)Internet掃破地域界限，將它們合成一個(gè)邏輯整體，把一個(gè)海量的數(shù)據(jù)庫(kù)展現(xiàn)在用戶面前。

1.3 數(shù)據(jù)倉(cāng)庫(kù)基本體系結(jié)構(gòu)

為了能夠?qū)⒁延械臄?shù)據(jù)源提取出來(lái)，并組織成用于決策分析所需的綜合數(shù)據(jù)的形式，一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的基本體系結(jié)構(gòu)中應(yīng)有以卜幾個(gè)基本組成部分：

（1）數(shù)據(jù)源。指為數(shù)據(jù)倉(cāng)庫(kù)提供最底層數(shù)據(jù)的運(yùn)做數(shù)據(jù)庫(kù)系統(tǒng)及外部數(shù)據(jù)。

（2）監(jiān)視器。負(fù)責(zé)感知數(shù)據(jù)源發(fā)生的變化，并按數(shù)據(jù)倉(cāng)庫(kù)的需求提取數(shù)據(jù)。

（3）集成器。將從運(yùn)做數(shù)據(jù)庫(kù)中提取的數(shù)據(jù)經(jīng)過(guò)轉(zhuǎn)換、計(jì)算、綜合等操作，井集成到數(shù)據(jù)倉(cāng)庫(kù)中。

（4）數(shù)據(jù)倉(cāng)庫(kù)。存儲(chǔ)己經(jīng)按企業(yè)級(jí)視圖轉(zhuǎn)換的數(shù)據(jù)，供分析處理用。根據(jù)不同的分析要求，數(shù)據(jù)按不同的綜合程度存儲(chǔ)。數(shù)據(jù)倉(cāng)庫(kù)中還應(yīng)存儲(chǔ)元數(shù)據(jù)，其中記錄了數(shù)據(jù)的結(jié)構(gòu)和數(shù)據(jù)倉(cāng)庫(kù)的任務(wù)變化，以支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)的開發(fā)和使用。

（5）客戶應(yīng)用。提供用戶對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行訪問(wèn)查詢，并以直觀的方法表示分析結(jié)果的工具。

圖1是斯扣福大學(xué)“WHPS”課題組提出的一個(gè)基本的數(shù)據(jù)倉(cāng)庫(kù)模型。

圖1 數(shù)據(jù)倉(cāng)庫(kù)基本結(jié)構(gòu)

2 基于數(shù)據(jù)倉(cāng)庫(kù)的電信事業(yè)決策支持系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)體系結(jié)構(gòu)

在系統(tǒng)日常運(yùn)做過(guò)程中積累了大量的計(jì)費(fèi)系統(tǒng)數(shù)據(jù)和其它的一些文本數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)首先從這些數(shù)據(jù)源中抽取相關(guān)的數(shù)據(jù)，進(jìn)行數(shù)據(jù)集成、轉(zhuǎn)換和綜合，將數(shù)據(jù)重新組合成面向全局的數(shù)據(jù)視圖，為DSS提供數(shù)據(jù)存儲(chǔ)和組織的基礎(chǔ)，解決了以往DSS中的數(shù)據(jù)不一致的問(wèn)題。企業(yè)數(shù)據(jù)倉(cāng)庫(kù)包括大量的業(yè)務(wù)處理系統(tǒng)的操作細(xì)節(jié)數(shù)據(jù)和其它的綜合數(shù)據(jù)，而在企業(yè)管理分析與決策中，人們所關(guān)心的大多是綜合性數(shù)據(jù)，需要從綜合性的、總的范圍來(lái)觀察數(shù)據(jù)。為此我們通過(guò)OLAP數(shù)據(jù)倉(cāng)庫(kù)使用技術(shù)，可以把數(shù)據(jù)在一定層次上聚集，方便用戶的J陜速查詢，以及從多維的角度對(duì)數(shù)據(jù)進(jìn)行切片、切塊、旋轉(zhuǎn)等操作，進(jìn)一步增加用戶對(duì)數(shù)據(jù)的理解。此外，OLAP還可用于企業(yè)的報(bào)表分析，在日常的企業(yè)管理過(guò)程中，需要大量的報(bào)表，借助于OLAP工具可以便利的生成各種報(bào)表。

圖2 系統(tǒng)體系結(jié)構(gòu)圖

數(shù)據(jù)挖掘可以在企業(yè)數(shù)據(jù)倉(cāng)庫(kù)上直接進(jìn)行，數(shù)據(jù)倉(cāng)庫(kù)為數(shù)據(jù)挖掘提供了集成的、一致的、經(jīng)過(guò)清理的數(shù)據(jù)，使數(shù)據(jù)挖掘免除了繁雜的數(shù)據(jù)準(zhǔn)各過(guò)程。數(shù)據(jù)挖掘也可在OLAP服務(wù)器平臺(tái)上進(jìn)行。在數(shù)據(jù)挖掘過(guò)程中，常常需要探測(cè)式的數(shù)據(jù)分析，從各種數(shù)據(jù)庫(kù)選擇相關(guān)數(shù)據(jù)，對(duì)各種數(shù)據(jù)選擇不同的粒度，以不同的形式提供知識(shí)和結(jié)果，而基于數(shù)據(jù)倉(cāng)庫(kù)的OLAP完全可以為數(shù)據(jù)挖掘提供有關(guān)的數(shù)據(jù)操作支持。數(shù)據(jù)挖掘所得到的知識(shí)經(jīng)決策者的審核后決定是否用于指導(dǎo)企業(yè)的決策。

2.2 系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)

數(shù)據(jù)倉(cāng)庫(kù)通常以星形模刑或雪花刑模刑組織和存儲(chǔ)數(shù)據(jù)，在這兩種模式中，都具有一個(gè)核心事實(shí)表。事實(shí)表是根據(jù)選定的卞題構(gòu)造，存儲(chǔ)用于分析數(shù)據(jù)的度量值和各個(gè)維的值。維是用戶觀察分析數(shù)據(jù)的角度，如時(shí)間、地理等。在這兩種模式中，維的層次、內(nèi)容等信息保存在維表中，并通過(guò)事實(shí)表中相應(yīng)維的碼值與事實(shí)表相連。在本系統(tǒng)中采用星刑模刑 ,即以代表一定卞題的事實(shí)表和能表示概念層次的維表來(lái)建數(shù)據(jù)倉(cāng)庫(kù)。

以面向主題的原則分析電信系統(tǒng)，選取話務(wù)量、帳務(wù)、營(yíng)業(yè)、企業(yè)話費(fèi)收入及用戶開戶四個(gè)主題。以賬務(wù)主題為例，其物理模刑如圖3所示：

圖3 賬務(wù)主題分析模型

其中賬務(wù)事實(shí)表包括與各個(gè)維度表相關(guān)聯(lián)的外鍵和分析數(shù)據(jù)的度量值，維度表包括出賬日期維度表、客戶年齡維度表、客戶群信息維度表、客戶所屬地理維度表和客戶付費(fèi)方式維度表等。維度表的建立是為了從出賬日期、客戶年齡、客戶群信息、客戶所屬地理和客戶付費(fèi)方式等角度分析花費(fèi)和用戶的相關(guān)情況。

2.3 系統(tǒng)實(shí)現(xiàn)方案

此系統(tǒng)采用基于客戶/服務(wù)器的三層體系結(jié)構(gòu)（如圖4），前端客戶群、中間應(yīng)用層、后端的數(shù)據(jù)庫(kù)服務(wù)層。前端客戶端以Web瀏覽的形式負(fù)責(zé)處理和用戶的信息交互；中間應(yīng)用層支持大量應(yīng)用程序功能和實(shí)施業(yè)務(wù)規(guī)則，這一層的業(yè)務(wù)服務(wù)可以通過(guò)將基于服務(wù)器的Microsoft產(chǎn)品與定制的COM構(gòu)件運(yùn)行環(huán)境集成在一塊來(lái)實(shí)現(xiàn)，主要實(shí)現(xiàn)Web服務(wù)和通用的數(shù)據(jù)訪問(wèn)功能；后端數(shù)據(jù)庫(kù)服務(wù)器存放并管理各種系統(tǒng)數(shù)據(jù)，封裝對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)，是系統(tǒng)訪問(wèn)其它數(shù)據(jù)源的統(tǒng)一接口，OLAP和數(shù)據(jù)挖掘的應(yīng)用，也通過(guò)這一層來(lái)訪問(wèn)數(shù)據(jù)庫(kù)，它主要負(fù)責(zé)從業(yè)務(wù)處理源數(shù)據(jù)庫(kù)中抽取、轉(zhuǎn)換數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)。元數(shù)據(jù)，是關(guān)于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)，是在數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過(guò)程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義、目標(biāo)定義、轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)，負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)結(jié)構(gòu)和業(yè)務(wù)規(guī)則的管理。

圖4 系統(tǒng)二層體系結(jié)構(gòu)圖

在實(shí)驗(yàn)中采用SQL Server2000作后臺(tái)數(shù)據(jù)庫(kù)服務(wù)器，以SQL Server2000的數(shù)據(jù)轉(zhuǎn)換服務(wù)（DTS）從源數(shù)據(jù)庫(kù)中抽取和轉(zhuǎn)化數(shù)據(jù)，送到數(shù)據(jù)倉(cāng)庫(kù)中。在分析系統(tǒng)中采用Microsoft SQL Server Analysis Services，Analysis Services是用于聯(lián)機(jī)分析處理（OLAP）和數(shù)據(jù)挖掘的中間層服務(wù)器，將數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織成包含預(yù)先計(jì)算聚合數(shù)據(jù)的多維數(shù)據(jù)集，通過(guò)在多維結(jié)構(gòu)中對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行提取、匯總、組織和存儲(chǔ)，可以對(duì)最終擁護(hù)查詢做出快速響應(yīng)。同時(shí)在DTS的任務(wù)里將會(huì)出現(xiàn)數(shù)據(jù)挖掘預(yù)測(cè)查詢?nèi)蝿?wù)，實(shí)現(xiàn)決策支持系統(tǒng)的數(shù)據(jù)挖掘預(yù)測(cè)功能。應(yīng)用端采用VB開發(fā)應(yīng)用程序，以豐富數(shù)據(jù)挖掘功能和加強(qiáng)多維分析的可視化以及報(bào)表的制作。

2.4 系統(tǒng)實(shí)現(xiàn)的決策功能

2.4.1 電信數(shù)據(jù)的多維分析

電信數(shù)據(jù)本身具有多維性，如呼叫時(shí)間、持續(xù)時(shí)間、呼叫者位置、被呼叫者位置、呼叫類刑、客戶信息等，對(duì)此類數(shù)據(jù)的多維分析有助于識(shí)別和比較數(shù)據(jù)通信情況，系統(tǒng)負(fù)載，資源使用，用戶組行為，利潤(rùn)等。將電信數(shù)據(jù)組織成數(shù)據(jù)倉(cāng)庫(kù)有利于使用OLAP和可視化工具進(jìn)行多維分析。

2.4.2 電信數(shù)據(jù)的數(shù)據(jù)挖掘

數(shù)據(jù)挖掘可幫助識(shí)別滌用模式和異常模式，通過(guò)多維分析、聚類分析和孤立點(diǎn)分析可以發(fā)現(xiàn)滌用模式，進(jìn)而采取相應(yīng)措施應(yīng)付這類模式。此外，多維分析中關(guān)聯(lián)和序列模式的發(fā)現(xiàn)有助于推動(dòng)電信服務(wù)的發(fā)展，通過(guò)改進(jìn)服務(wù)增加用戶滿意度和忠誠(chéng)度等。

3 結(jié)束語(yǔ)

本系統(tǒng)采用數(shù)據(jù)倉(cāng)庫(kù)、OLAP和數(shù)據(jù)挖掘二者相結(jié)合的決策系統(tǒng)方案，從企業(yè)高度出發(fā)建立綜合、穩(wěn)定一致的數(shù)據(jù)倉(cāng)庫(kù)，和基于數(shù)據(jù)倉(cāng)庫(kù)的OLAP強(qiáng)大的多維分析相結(jié)合，并支持企業(yè)各種報(bào)表生成，同時(shí)在數(shù)據(jù)倉(cāng)庫(kù)和OLAP的便利平臺(tái)上采用各類數(shù)據(jù)挖掘算法發(fā)現(xiàn)隱藏的知識(shí)以支持企業(yè)的深層次決策。這種決策支持系統(tǒng)解決方案具有通用性，可用于金融、零信業(yè)等領(lǐng)域。

隨著各種計(jì)算機(jī)技術(shù)，如數(shù)據(jù)模型、數(shù)據(jù)庫(kù)技術(shù)和應(yīng)用開發(fā)技術(shù)的不斷進(jìn)步，數(shù)據(jù)倉(cāng)庫(kù)技術(shù)也在不斷發(fā)展，并在實(shí)際應(yīng)用中發(fā)揮巨大作用。（萬(wàn)方數(shù)據(jù)）