數(shù)據(jù)倉庫技術支持之決策支持系統(tǒng)

申請免費試用、咨詢電話：400-8352-114

1 數(shù)據(jù)倉庫技術

1.1 數(shù)據(jù)倉庫產(chǎn)生背景

應用和技術的發(fā)展是相互作用的，一方面，現(xiàn)代社會的廣泛電子化、數(shù)字化提供了前所未有的、有待加工和處理的原始數(shù)據(jù)。就一個企業(yè)而占，這些數(shù)據(jù)量大約五年就可以增加一倍，另外，數(shù)據(jù)的形式也突破了傳統(tǒng)的數(shù)字和符號，包括原始商業(yè)文檔、多種圖形、圖像數(shù)據(jù)等，故許多企業(yè)、部門并不是缺少數(shù)據(jù)，而是常常被過分重復和不一致的數(shù)據(jù)所困擾，從而越來越難以有效管理和存取這些數(shù)據(jù)，使之用于決策過程，這種局面自然導致一個強烈的要求，要求有一種系統(tǒng)能存取這些數(shù)據(jù)，并將它轉換成一種可信賴的、有用的信息。另一方面，現(xiàn)代企業(yè)經(jīng)常面臨各種挑戰(zhàn)，如何最大限度的挖掘各種有用信息，使企業(yè)在激烈的市場競爭中立于不敗之地，并獲得最大的商業(yè)利潤，也為計算機信息處理技術提出了新的要求。

由此導致了數(shù)據(jù)倉庫技術的提出。數(shù)據(jù)倉庫是計算機應用領域里的一個嶄新方向，己成為90年代信息系統(tǒng)體系結構新的技術焦點，它是來自多個數(shù)據(jù)源的數(shù)據(jù)拷貝和集成，從歷史的角度來組織和存儲數(shù)據(jù)，同時保證關鍵任務數(shù)據(jù)的完整性和安全性，為企業(yè)發(fā)展提供有效的技術支持。

1.2 數(shù)據(jù)倉庫的基本概念

1998年剛剛發(fā)展起來的數(shù)據(jù)倉庫（Data Warehouse）技術的概念由美國著名工程學家W.H.lnmon博士于90年代在《建立數(shù)據(jù)倉庫》一防中提出：“數(shù)據(jù)倉庫是一個面向主題的、集成的、包含歷史數(shù)據(jù)的數(shù)據(jù)集合，它用于支持經(jīng)營管理中的決策制定過程?！?

數(shù)據(jù)倉庫與傳統(tǒng)的數(shù)據(jù)庫系統(tǒng)相比有著本質(zhì)的區(qū)別，數(shù)據(jù)庫是一種通用平臺，建立于嚴格的數(shù)學模刑之上，用來管理企業(yè)數(shù)據(jù)，進行事務處理，完成相關業(yè)務；而數(shù)據(jù)倉庫沒有嚴格的數(shù)據(jù)理淪，更偏向工程，它不是花錢就可購買的成品，而是企業(yè)一個日積月累的建立過程。它的應用對象是不同層次的管理者，它的數(shù)據(jù)源是多種數(shù)據(jù)源，庫中數(shù)據(jù)無須修改刪除，卞要是大規(guī)模查詢和分析。數(shù)據(jù)倉庫是來自多個源的數(shù)據(jù)的存儲庫，它可通過Internet將不同的數(shù)據(jù)庫連接起來，并將數(shù)據(jù)全部或部分復制到一個數(shù)據(jù)存儲中心。數(shù)據(jù)倉庫傾向于一個邏輯的概念，它建立在一定數(shù)量的數(shù)據(jù)庫之上，這些數(shù)據(jù)庫在物理上是可以分開的，甚至可以屬于不同的國家。數(shù)據(jù)倉庫通過Internet掃破地域界限，將它們合成一個邏輯整體，把一個海量的數(shù)據(jù)庫展現(xiàn)在用戶面前。

1.3 數(shù)據(jù)倉庫基本體系結構

為了能夠?qū)⒁延械臄?shù)據(jù)源提取出來，并組織成用于決策分析所需的綜合數(shù)據(jù)的形式，一個數(shù)據(jù)倉庫的基本體系結構中應有以卜幾個基本組成部分：

（1）數(shù)據(jù)源。指為數(shù)據(jù)倉庫提供最底層數(shù)據(jù)的運做數(shù)據(jù)庫系統(tǒng)及外部數(shù)據(jù)。

（2）監(jiān)視器。負責感知數(shù)據(jù)源發(fā)生的變化，并按數(shù)據(jù)倉庫的需求提取數(shù)據(jù)。

（3）集成器。將從運做數(shù)據(jù)庫中提取的數(shù)據(jù)經(jīng)過轉換、計算、綜合等操作，井集成到數(shù)據(jù)倉庫中。

（4）數(shù)據(jù)倉庫。存儲己經(jīng)按企業(yè)級視圖轉換的數(shù)據(jù)，供分析處理用。根據(jù)不同的分析要求，數(shù)據(jù)按不同的綜合程度存儲。數(shù)據(jù)倉庫中還應存儲元數(shù)據(jù)，其中記錄了數(shù)據(jù)的結構和數(shù)據(jù)倉庫的任務變化，以支持數(shù)據(jù)倉庫的開發(fā)和使用。

（5）客戶應用。提供用戶對數(shù)據(jù)倉庫中的數(shù)據(jù)進行訪問查詢，并以直觀的方法表示分析結果的工具。

圖1是斯扣福大學“WHPS”課題組提出的一個基本的數(shù)據(jù)倉庫模型。

圖1 數(shù)據(jù)倉庫基本結構

2 基于數(shù)據(jù)倉庫的電信事業(yè)決策支持系統(tǒng)設計

2.1 系統(tǒng)體系結構

在系統(tǒng)日常運做過程中積累了大量的計費系統(tǒng)數(shù)據(jù)和其它的一些文本數(shù)據(jù)，數(shù)據(jù)倉庫首先從這些數(shù)據(jù)源中抽取相關的數(shù)據(jù)，進行數(shù)據(jù)集成、轉換和綜合，將數(shù)據(jù)重新組合成面向全局的數(shù)據(jù)視圖，為DSS提供數(shù)據(jù)存儲和組織的基礎，解決了以往DSS中的數(shù)據(jù)不一致的問題。企業(yè)數(shù)據(jù)倉庫包括大量的業(yè)務處理系統(tǒng)的操作細節(jié)數(shù)據(jù)和其它的綜合數(shù)據(jù)，而在企業(yè)管理分析與決策中，人們所關心的大多是綜合性數(shù)據(jù)，需要從綜合性的、總的范圍來觀察數(shù)據(jù)。為此我們通過OLAP數(shù)據(jù)倉庫使用技術，可以把數(shù)據(jù)在一定層次上聚集，方便用戶的J陜速查詢，以及從多維的角度對數(shù)據(jù)進行切片、切塊、旋轉等操作，進一步增加用戶對數(shù)據(jù)的理解。此外，OLAP還可用于企業(yè)的報表分析，在日常的企業(yè)管理過程中，需要大量的報表，借助于OLAP工具可以便利的生成各種報表。

圖2 系統(tǒng)體系結構圖

數(shù)據(jù)挖掘可以在企業(yè)數(shù)據(jù)倉庫上直接進行，數(shù)據(jù)倉庫為數(shù)據(jù)挖掘提供了集成的、一致的、經(jīng)過清理的數(shù)據(jù)，使數(shù)據(jù)挖掘免除了繁雜的數(shù)據(jù)準各過程。數(shù)據(jù)挖掘也可在OLAP服務器平臺上進行。在數(shù)據(jù)挖掘過程中，常常需要探測式的數(shù)據(jù)分析，從各種數(shù)據(jù)庫選擇相關數(shù)據(jù)，對各種數(shù)據(jù)選擇不同的粒度，以不同的形式提供知識和結果，而基于數(shù)據(jù)倉庫的OLAP完全可以為數(shù)據(jù)挖掘提供有關的數(shù)據(jù)操作支持。數(shù)據(jù)挖掘所得到的知識經(jīng)決策者的審核后決定是否用于指導企業(yè)的決策。

2.2 系統(tǒng)數(shù)據(jù)倉庫設計

數(shù)據(jù)倉庫通常以星形模刑或雪花刑模刑組織和存儲數(shù)據(jù)，在這兩種模式中，都具有一個核心事實表。事實表是根據(jù)選定的卞題構造，存儲用于分析數(shù)據(jù)的度量值和各個維的值。維是用戶觀察分析數(shù)據(jù)的角度，如時間、地理等。在這兩種模式中，維的層次、內(nèi)容等信息保存在維表中，并通過事實表中相應維的碼值與事實表相連。在本系統(tǒng)中采用星刑模刑 ,即以代表一定卞題的事實表和能表示概念層次的維表來建數(shù)據(jù)倉庫。

以面向主題的原則分析電信系統(tǒng)，選取話務量、帳務、營業(yè)、企業(yè)話費收入及用戶開戶四個主題。以賬務主題為例，其物理模刑如圖3所示：

圖3 賬務主題分析模型

其中賬務事實表包括與各個維度表相關聯(lián)的外鍵和分析數(shù)據(jù)的度量值，維度表包括出賬日期維度表、客戶年齡維度表、客戶群信息維度表、客戶所屬地理維度表和客戶付費方式維度表等。維度表的建立是為了從出賬日期、客戶年齡、客戶群信息、客戶所屬地理和客戶付費方式等角度分析花費和用戶的相關情況。

2.3 系統(tǒng)實現(xiàn)方案

此系統(tǒng)采用基于客戶/服務器的三層體系結構（如圖4），前端客戶群、中間應用層、后端的數(shù)據(jù)庫服務層。前端客戶端以Web瀏覽的形式負責處理和用戶的信息交互；中間應用層支持大量應用程序功能和實施業(yè)務規(guī)則，這一層的業(yè)務服務可以通過將基于服務器的Microsoft產(chǎn)品與定制的COM構件運行環(huán)境集成在一塊來實現(xiàn)，主要實現(xiàn)Web服務和通用的數(shù)據(jù)訪問功能；后端數(shù)據(jù)庫服務器存放并管理各種系統(tǒng)數(shù)據(jù)，封裝對數(shù)據(jù)庫的訪問，是系統(tǒng)訪問其它數(shù)據(jù)源的統(tǒng)一接口，OLAP和數(shù)據(jù)挖掘的應用，也通過這一層來訪問數(shù)據(jù)庫，它主要負責從業(yè)務處理源數(shù)據(jù)庫中抽取、轉換數(shù)據(jù)到數(shù)據(jù)倉庫。元數(shù)據(jù)，是關于數(shù)據(jù)倉庫的數(shù)據(jù)，是在數(shù)據(jù)倉庫建設過程中所產(chǎn)生的有關數(shù)據(jù)源定義、目標定義、轉換規(guī)則等相關的關鍵數(shù)據(jù)，負責數(shù)據(jù)倉庫中數(shù)據(jù)結構和業(yè)務規(guī)則的管理。

圖4 系統(tǒng)二層體系結構圖

在實驗中采用SQL Server2000作后臺數(shù)據(jù)庫服務器，以SQL Server2000的數(shù)據(jù)轉換服務（DTS）從源數(shù)據(jù)庫中抽取和轉化數(shù)據(jù)，送到數(shù)據(jù)倉庫中。在分析系統(tǒng)中采用Microsoft SQL Server Analysis Services，Analysis Services是用于聯(lián)機分析處理（OLAP）和數(shù)據(jù)挖掘的中間層服務器，將數(shù)據(jù)倉庫中的數(shù)據(jù)組織成包含預先計算聚合數(shù)據(jù)的多維數(shù)據(jù)集，通過在多維結構中對數(shù)據(jù)倉庫中的數(shù)據(jù)進行提取、匯總、組織和存儲，可以對最終擁護查詢做出快速響應。同時在DTS的任務里將會出現(xiàn)數(shù)據(jù)挖掘預測查詢?nèi)蝿?，實現(xiàn)決策支持系統(tǒng)的數(shù)據(jù)挖掘預測功能。應用端采用VB開發(fā)應用程序，以豐富數(shù)據(jù)挖掘功能和加強多維分析的可視化以及報表的制作。

2.4 系統(tǒng)實現(xiàn)的決策功能

2.4.1 電信數(shù)據(jù)的多維分析

電信數(shù)據(jù)本身具有多維性，如呼叫時間、持續(xù)時間、呼叫者位置、被呼叫者位置、呼叫類刑、客戶信息等，對此類數(shù)據(jù)的多維分析有助于識別和比較數(shù)據(jù)通信情況，系統(tǒng)負載，資源使用，用戶組行為，利潤等。將電信數(shù)據(jù)組織成數(shù)據(jù)倉庫有利于使用OLAP和可視化工具進行多維分析。

2.4.2 電信數(shù)據(jù)的數(shù)據(jù)挖掘

數(shù)據(jù)挖掘可幫助識別滌用模式和異常模式，通過多維分析、聚類分析和孤立點分析可以發(fā)現(xiàn)滌用模式，進而采取相應措施應付這類模式。此外，多維分析中關聯(lián)和序列模式的發(fā)現(xiàn)有助于推動電信服務的發(fā)展，通過改進服務增加用戶滿意度和忠誠度等。

3 結束語

本系統(tǒng)采用數(shù)據(jù)倉庫、OLAP和數(shù)據(jù)挖掘二者相結合的決策系統(tǒng)方案，從企業(yè)高度出發(fā)建立綜合、穩(wěn)定一致的數(shù)據(jù)倉庫，和基于數(shù)據(jù)倉庫的OLAP強大的多維分析相結合，并支持企業(yè)各種報表生成，同時在數(shù)據(jù)倉庫和OLAP的便利平臺上采用各類數(shù)據(jù)挖掘算法發(fā)現(xiàn)隱藏的知識以支持企業(yè)的深層次決策。這種決策支持系統(tǒng)解決方案具有通用性，可用于金融、零信業(yè)等領域。

隨著各種計算機技術，如數(shù)據(jù)模型、數(shù)據(jù)庫技術和應用開發(fā)技術的不斷進步，數(shù)據(jù)倉庫技術也在不斷發(fā)展，并在實際應用中發(fā)揮巨大作用。（萬方數(shù)據(jù)）