商務(wù)智能系統(tǒng)實現(xiàn)數(shù)據(jù)管理的技術(shù)

申請免費試用、咨詢電話：400-8352-114

無論是商業(yè)企業(yè)、科研機構(gòu)或者政府部門，在過去若干年的時間里都積累了海量的、以不同形式存儲的數(shù)據(jù)資料。但當(dāng)面對越來越多迅速膨脹的超級數(shù)據(jù)庫時，人們卻無從著手去理解數(shù)據(jù)中包含的信息，更難以獲得有價值的知識。然而這些信息數(shù)據(jù)記載著企業(yè)的生命軌跡，蘊含著企業(yè)的發(fā)展方向，由于采用普通的聯(lián)機事物處理技術(shù)(OLTP)的信息系統(tǒng)無法同時滿足高效作業(yè)和決策支持的兩項需求，造成了海量數(shù)據(jù)與信息“孤島”的并存。好在人們已經(jīng)感受到了危險的降臨，商務(wù)智能軟件已悄然而生并越來越受到世人的重視。

1．商務(wù)智能的定義

商務(wù)智能(Business Intelligence)的定義眾說紛紜，Gartner Group認(rèn)為“商務(wù)智能是將數(shù)據(jù)轉(zhuǎn)換成信息的過程，然后通過發(fā)現(xiàn)將信息轉(zhuǎn)化為知識”；商務(wù)智能大師利奧托德認(rèn)為“商務(wù)智能是將存儲于各種商業(yè)信息系統(tǒng)中的數(shù)據(jù)轉(zhuǎn)換成有用信息的技術(shù)，它允許用戶查詢和分析數(shù)據(jù)庫，可以得出影響商業(yè)活動的關(guān)鍵因素，最終幫助用戶做出更好更合理的決策”。

筆者在總結(jié)了商務(wù)智能的相關(guān)定義之后，將商務(wù)智能定義為：商務(wù)智能是指利用現(xiàn)代信息技術(shù)收集、管理和分析存儲于各種商業(yè)信息系統(tǒng)中的數(shù)據(jù)，使之轉(zhuǎn)換成有用信息，并以可視化的形式加以表現(xiàn)，使企業(yè)的各級決策者獲得知識和洞察力，促使他們做出對企業(yè)更有利的決策的技術(shù)。

目前，各個行業(yè)都面對著激烈的競爭，及時、準(zhǔn)確的決策已成為企業(yè)生存與發(fā)展的生命線。隨著信息技術(shù)在企業(yè)中的普遍應(yīng)用，企業(yè)產(chǎn)生了大量富有價值的電子數(shù)據(jù)。但這些數(shù)據(jù)大都存儲于不同的系統(tǒng)中，數(shù)據(jù)的定義和格式也不統(tǒng)一，商務(wù)智能系統(tǒng)能從不同的數(shù)據(jù)源搜集的數(shù)據(jù)中提取有用的數(shù)據(jù)，并對這些數(shù)據(jù)進行清洗，以確保數(shù)據(jù)的正確性，在對數(shù)據(jù)進行轉(zhuǎn)換、重構(gòu)等操作后，將其存入數(shù)據(jù)倉庫或數(shù)據(jù)集市中；再運用適合的查詢分析工具、數(shù)據(jù)挖掘工具、OLAP工具等管理分析工具對信息進行處理，使信息變?yōu)檩o助決策的知識，并將知識以適當(dāng)?shù)姆绞秸故驹跊Q策者面前，供決策者運籌帷幄。

2．商務(wù)智能系統(tǒng)的基本架構(gòu)

美國數(shù)據(jù)倉庫研究院把商務(wù)智能比作“數(shù)據(jù)煉油廠”，它將商務(wù)智能的應(yīng)用過程描述為“數(shù)據(jù)一信息一知識一計劃一行動”的過程。

根據(jù)對商務(wù)智能的理解，借鑒美國數(shù)據(jù)倉庫研究院的“數(shù)據(jù)煉油廠”，給出商務(wù)智能系統(tǒng)的架構(gòu)，如圖一所示：

圖一 商務(wù)智能系統(tǒng)架構(gòu)

1)數(shù)據(jù)源層——商務(wù)智能系統(tǒng)的數(shù)據(jù)來源，它存儲著系統(tǒng)所需的最原始的數(shù)據(jù)以及數(shù)據(jù)之間的關(guān)系，保持著歷史的真實性。

2)數(shù)據(jù)整合層——商務(wù)智能系統(tǒng)的根本要求，它將來自不同數(shù)據(jù)源的信息合并為相同的信息結(jié)構(gòu)，消除重復(fù)、無效和界外的數(shù)據(jù)，提取、凈化和傳遞數(shù)據(jù)到為數(shù)據(jù)倉庫設(shè)立的文件中。

3)數(shù)據(jù)倉庫層——商務(wù)智能系統(tǒng)的基礎(chǔ)，是數(shù)據(jù)分析的源數(shù)據(jù)，保存著大量的、面向主題的、集成的數(shù)據(jù)。

4)數(shù)據(jù)分析層——體現(xiàn)系統(tǒng)智能的關(guān)鍵，它一般采用OLAP技術(shù)和數(shù)據(jù)挖掘技術(shù)對數(shù)據(jù)進行分析和處理。

5)數(shù)據(jù)展現(xiàn)層——它向商務(wù)智能環(huán)境的收益者提供實際的分析結(jié)果，同時保證系統(tǒng)分析結(jié)果的可視化，形式有報表、圖表、數(shù)據(jù)表等。

3．商務(wù)智能系統(tǒng)的關(guān)鍵技術(shù)

對商務(wù)智能系統(tǒng)的架構(gòu)進行分析可以看出，商務(wù)智能系統(tǒng)對數(shù)據(jù)實行分析管理的關(guān)鍵技術(shù)如下：

3.1 數(shù)據(jù)倉庫技術(shù)

數(shù)據(jù)倉庫之父w．H．Inmon博士對數(shù)據(jù)倉庫的定義得到了大多數(shù)學(xué)者和工程人員的接受：“數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的、隨時間變化的數(shù)據(jù)集合，它用以支持經(jīng)營管理中的決策制定過程?！庇纱硕x可以看出，數(shù)據(jù)倉庫具有如下特性：

(1)面向主題性

面向主題性是數(shù)據(jù)倉庫中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉庫中的所有數(shù)據(jù)都是圍繞著某一主題組織和展開的，每個主題對應(yīng)一個客觀分析領(lǐng)域。

(2)數(shù)據(jù)集成性

數(shù)據(jù)倉庫的集成性是指根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進行抽取、篩選、清理、綜合等，使數(shù)據(jù)倉庫中的數(shù)據(jù)具有集成性。

(3)數(shù)據(jù)的穩(wěn)定性

數(shù)據(jù)的穩(wěn)定性說明數(shù)據(jù)倉庫中的數(shù)據(jù)不會像業(yè)務(wù)處理系統(tǒng)中的數(shù)據(jù)庫那樣進行日常的添加、修改、刪除等操作，而是很少發(fā)生更新處理，表現(xiàn)出相當(dāng)程度的穩(wěn)定性。

(4)數(shù)據(jù)的時變性

數(shù)據(jù)倉庫的時變性，即數(shù)據(jù)倉庫中的數(shù)據(jù)應(yīng)該隨著時間的推移而發(fā)生變化。數(shù)據(jù)倉庫要能夠捕捉業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)變化，定期將變化的數(shù)據(jù)追加到數(shù)據(jù)倉庫中來，還要將達到一定年限或規(guī)定時間的歷史數(shù)據(jù)進行刪除。

(5)數(shù)據(jù)的集合性

數(shù)據(jù)的集合性是指數(shù)據(jù)倉庫必須以某種數(shù)據(jù)集合的形式存儲起來，數(shù)據(jù)倉庫采用的數(shù)據(jù)集合方式主要有以多維數(shù)據(jù)庫方式存儲的多維模式、以關(guān)系數(shù)據(jù)庫方式存儲的關(guān)系模式，以及多維模式和關(guān)系模式混合的模式。

(6)決策支持作用

決策支持作用是數(shù)據(jù)倉庫一個核心的應(yīng)用，建立數(shù)據(jù)倉庫的目的是將企業(yè)多年來收集到的數(shù)據(jù)按照一個統(tǒng)一的規(guī)則組織存儲，然后通過對海量的數(shù)據(jù)進行分析提供決策支持，幫助企業(yè)及時、準(zhǔn)確地把握機會，以在激烈的市場競爭中取得最大的利潤。

數(shù)據(jù)倉庫技術(shù)是信息技術(shù)飛速發(fā)展的結(jié)果，它與傳統(tǒng)的面向操作的數(shù)據(jù)庫技術(shù)相比有很大的不同，從結(jié)構(gòu)上看，數(shù)據(jù)倉庫主要包括：數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市／知識挖掘庫、管理工具和應(yīng)用工具等部分。如圖二所示：

圖二 數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu)

數(shù)據(jù)源——數(shù)據(jù)倉庫的數(shù)據(jù)來源。

數(shù)據(jù)準(zhǔn)備區(qū)——數(shù)據(jù)源中的數(shù)據(jù)經(jīng)抽取、轉(zhuǎn)換最終成為數(shù)據(jù)倉庫所需要的數(shù)據(jù)。

數(shù)據(jù)倉庫數(shù)據(jù)庫——負(fù)責(zé)存儲用于分析、決策的數(shù)據(jù)，包含對元數(shù)據(jù)的管理。

數(shù)據(jù)集市／知識挖掘庫——局部數(shù)據(jù)倉庫或部門數(shù)據(jù)倉庫，為指定的應(yīng)用提供數(shù)據(jù)。

管理工具和應(yīng)用工具——包括各種對數(shù)據(jù)倉庫的數(shù)據(jù)分析和數(shù)據(jù)訪問，如利用OLAP進行數(shù)據(jù)分析，數(shù)據(jù)倉庫應(yīng)用程序等。

3.2 OLAP分析技術(shù)

OLAP是獨立于數(shù)據(jù)倉庫的一種技術(shù)概念，其基本思想是使得企業(yè)的管理決策人員能夠靈活地操縱企業(yè)的數(shù)據(jù)，以多維的形式從多方面和多角度觀察企業(yè)的狀態(tài)和變化趨勢。

OLAP最早是由E．F．Codd于1993年提出的，當(dāng)時，Codd認(rèn)為聯(lián)機事務(wù)處理(OLTP)已經(jīng)不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要，SQL對大數(shù)據(jù)庫進行的簡單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進行大量計算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP。它是針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析。通過對多維數(shù)據(jù)的多種可能的觀察形式進行快速、穩(wěn)定、一致和交互性的存取，允許管理決策人員對數(shù)據(jù)進行深入觀察。

OLAP的多維分析是指對多維數(shù)據(jù)集中的數(shù)據(jù)用切片(二維)、切塊(三維)、鉆取(向下鉆取和向上鉆取，鉆取的深度與維所劃分的層次相對應(yīng))、旋轉(zhuǎn)(通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù))等方式分析數(shù)據(jù)，使用戶從多個角度、多個側(cè)面去觀察數(shù)據(jù)倉庫中的數(shù)據(jù)。通過這種方法能夠使分析人員深入的了解數(shù)據(jù)倉庫中數(shù)據(jù)所蘊含的信息，從而挖掘隱藏在數(shù)據(jù)背后的商業(yè)模式。

在BI的建設(shè)過程中，數(shù)據(jù)倉庫和數(shù)據(jù)集市都是數(shù)據(jù)的存儲區(qū)域。都在為數(shù)據(jù)的在線分析和挖掘提供數(shù)據(jù)源。數(shù)據(jù)倉庫和數(shù)據(jù)集市主要是范圍的不同。數(shù)據(jù)倉庫面向企業(yè)的所有部門，所以它的需求是全企業(yè)范圍的，一般情況下，它的數(shù)據(jù)按照第三范式組織。數(shù)據(jù)集市是面向企業(yè)的某一個部門的，需求比較集中，以多維方式的形式管理數(shù)據(jù)。

3.3 數(shù)據(jù)挖掘技術(shù)

W．J．Frawley，G．PiatetskyShapiro等人指出，數(shù)據(jù)挖掘就是從大型數(shù)據(jù)庫的數(shù)據(jù)中提取人們感興趣的知識，這螳知識是隱含的、事先未知的、潛在有用的信息，提取的知識可表示為概念、規(guī)則、規(guī)律、模式等形式。

3.3.1 數(shù)據(jù)挖掘研究的主要內(nèi)容

數(shù)據(jù)挖掘所發(fā)現(xiàn)的知識最常見的有以下四類。

(1)廣義知識

廣義知識指類別特征為概括性描述的知識，是根據(jù)數(shù)據(jù)的微觀特性發(fā)現(xiàn)其表征的、帶有普遍性的、較高層次概念的、中觀和宏觀的知識，反映同類事物共同性質(zhì)，是對數(shù)據(jù)的概括、精煉和抽象。廣義知識的發(fā)現(xiàn)方法和實現(xiàn)技術(shù)有很多，如數(shù)據(jù)立方體、面向?qū)傩缘臍w約等。

(2)關(guān)聯(lián)知識

關(guān)聯(lián)知識是指反映一個事件和其他事件之間信賴或關(guān)聯(lián)的知識。如果兩項或多項屬性之間存在關(guān)聯(lián)，那么其中一項的屬性值就可以依據(jù)其他屬性值進行預(yù)測。最為著名的關(guān)聯(lián)規(guī)則發(fā)現(xiàn)方法是R．Agrawal提出來的Apriori算法。

(3)分類知識

分類知識是反映同類事物共同性質(zhì)的特征型和不同事物之間的差異特征型知識。最為典型的分類方法是基于決策樹的分類方法，還有統(tǒng)計、粗糙集(Rough Set)、神經(jīng)網(wǎng)絡(luò)等方法。

(4)預(yù)測型知識

預(yù)測型知識根據(jù)時間序列型數(shù)據(jù)，由歷史的和當(dāng)前的數(shù)據(jù)去推測未來的數(shù)據(jù)，也可以認(rèn)為它是以時間為關(guān)鍵屬性的關(guān)聯(lián)知識。目前，時問序列預(yù)測方法有經(jīng)典的統(tǒng)計方法、神經(jīng)網(wǎng)絡(luò)和機器學(xué)習(xí)等。

此外，還可以發(fā)現(xiàn)其他類型的知識，如偏差型知識，它是對差異和極端特例的描述，揭示事物偏離常規(guī)的異?，F(xiàn)象，如標(biāo)準(zhǔn)類外的特例，數(shù)據(jù)聚類外的離群值等。所有這些知識都可以在不同的概念層次上被發(fā)現(xiàn)，并隨著概念層次的提升，從微觀到中觀、到宏觀，以滿足不同用戶不同層次決策的需要。

3.3.2 數(shù)據(jù)挖掘的常用技術(shù)

(1)神經(jīng)網(wǎng)絡(luò)：它從結(jié)構(gòu)上模仿生物神經(jīng)元結(jié)構(gòu)，是一種通過訓(xùn)練來學(xué)習(xí)的非線性預(yù)測模型，可以完成分類、聚類、特征采掘等多種挖掘任務(wù)。

(2)決策樹：代表著決策集的樹形結(jié)構(gòu)。

(3)規(guī)則推導(dǎo)：從統(tǒng)計意義上對數(shù)據(jù)中的“如果-那么”規(guī)則進行尋找和推導(dǎo)。

(4)遺傳算法：基于進化理論，并采用遺傳結(jié)合、遺傳變異以及自然選擇等設(shè)計方法的優(yōu)化技術(shù)。

(5)近鄰算法：將數(shù)據(jù)集合中每一記錄進行分類的方法。這種技術(shù)通過K個與之最相近的歷史記錄的組合來辨別新的記錄。

3.4 數(shù)據(jù)倉庫和OLAP與數(shù)據(jù)挖掘的關(guān)系

數(shù)據(jù)挖掘不是必須基于數(shù)據(jù)倉庫的，數(shù)據(jù)挖掘能夠通過數(shù)據(jù)抽取、數(shù)據(jù)預(yù)處理和轉(zhuǎn)換等操作自己完成數(shù)據(jù)挖掘前的準(zhǔn)備工作，繼而進行數(shù)據(jù)挖掘。然而這部分的工作需要耗費大量的時間和精力，而進行數(shù)據(jù)挖掘又無法避開這些操作，因此將數(shù)據(jù)挖掘工作基于數(shù)據(jù)倉庫技術(shù)來進行，能夠省去數(shù)據(jù)的前期準(zhǔn)備等工作，大大提高數(shù)據(jù)挖掘效率。因為數(shù)據(jù)倉庫在建立的時候，已經(jīng)完成了數(shù)據(jù)的抽取、轉(zhuǎn)換和加載等操作。

OLAP作為數(shù)據(jù)倉庫中的關(guān)鍵技術(shù)，其可以在使用多維數(shù)據(jù)模型的數(shù)據(jù)倉庫或數(shù)據(jù)集市上進行，充分發(fā)揮OLAP的聯(lián)機分析的功能和特性。將OLAP與數(shù)據(jù)挖掘進行結(jié)合，能夠為數(shù)據(jù)挖掘提供基礎(chǔ)數(shù)據(jù)支持，提高數(shù)據(jù)挖掘的效率，而且還可以實現(xiàn)聯(lián)機分析數(shù)據(jù)挖掘的功能。用戶常常希望穿越數(shù)據(jù)庫，選擇相關(guān)數(shù)據(jù)，在不同的粒度上進行分析，并以不同的形式顯示結(jié)果。聯(lián)機分析數(shù)據(jù)挖掘提供了在不同的數(shù)據(jù)子集和不同的抽象層上進行數(shù)據(jù)挖掘的工具，在數(shù)據(jù)立方體和挖掘的中間結(jié)果數(shù)據(jù)上進行下鉆、上卷、旋轉(zhuǎn)、切片、切塊等操作，提高數(shù)據(jù)挖掘探測性的數(shù)據(jù)分析的能力和靈活性。

采用數(shù)據(jù)挖掘與數(shù)據(jù)倉庫和OLAP技術(shù)有機結(jié)合的方式，可以使數(shù)據(jù)挖掘具有更高的實用性和高效性。

4．結(jié) 語

隨著市場競爭的日益加劇，國內(nèi)外眾多商務(wù)智能軟件公司開發(fā)了數(shù)據(jù)分析和數(shù)據(jù)挖掘軟件來分析海量數(shù)據(jù)，幫助管理者穿越數(shù)據(jù)迷霧，賦予數(shù)據(jù)第二次生命，相信在不久的將來，人們在面對大量的數(shù)據(jù)時不再感到迷茫，而是能夠以用戶需要的方式重新組織這些數(shù)據(jù)，并通過對這些數(shù)據(jù)的分析，挖掘出潛在的模式，有效地預(yù)測市場的行為，做出正確的決策。（萬方數(shù)據(jù)）