商務(wù)智能系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)管理的技術(shù)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

無(wú)論是商業(yè)企業(yè)、科研機(jī)構(gòu)或者政府部門，在過(guò)去若干年的時(shí)間里都積累了海量的、以不同形式存儲(chǔ)的數(shù)據(jù)資料。但當(dāng)面對(duì)越來(lái)越多迅速膨脹的超級(jí)數(shù)據(jù)庫(kù)時(shí)，人們卻無(wú)從著手去理解數(shù)據(jù)中包含的信息，更難以獲得有價(jià)值的知識(shí)。然而這些信息數(shù)據(jù)記載著企業(yè)的生命軌跡，蘊(yùn)含著企業(yè)的發(fā)展方向，由于采用普通的聯(lián)機(jī)事物處理技術(shù)(OLTP)的信息系統(tǒng)無(wú)法同時(shí)滿足高效作業(yè)和決策支持的兩項(xiàng)需求，造成了海量數(shù)據(jù)與信息“孤島”的并存。好在人們已經(jīng)感受到了危險(xiǎn)的降臨，商務(wù)智能軟件已悄然而生并越來(lái)越受到世人的重視。

1．商務(wù)智能的定義

商務(wù)智能(Business Intelligence)的定義眾說(shuō)紛紜，Gartner Group認(rèn)為“商務(wù)智能是將數(shù)據(jù)轉(zhuǎn)換成信息的過(guò)程，然后通過(guò)發(fā)現(xiàn)將信息轉(zhuǎn)化為知識(shí)”；商務(wù)智能大師利奧托德認(rèn)為“商務(wù)智能是將存儲(chǔ)于各種商業(yè)信息系統(tǒng)中的數(shù)據(jù)轉(zhuǎn)換成有用信息的技術(shù)，它允許用戶查詢和分析數(shù)據(jù)庫(kù)，可以得出影響商業(yè)活動(dòng)的關(guān)鍵因素，最終幫助用戶做出更好更合理的決策”。

筆者在總結(jié)了商務(wù)智能的相關(guān)定義之后，將商務(wù)智能定義為：商務(wù)智能是指利用現(xiàn)代信息技術(shù)收集、管理和分析存儲(chǔ)于各種商業(yè)信息系統(tǒng)中的數(shù)據(jù)，使之轉(zhuǎn)換成有用信息，并以可視化的形式加以表現(xiàn)，使企業(yè)的各級(jí)決策者獲得知識(shí)和洞察力，促使他們做出對(duì)企業(yè)更有利的決策的技術(shù)。

目前，各個(gè)行業(yè)都面對(duì)著激烈的競(jìng)爭(zhēng)，及時(shí)、準(zhǔn)確的決策已成為企業(yè)生存與發(fā)展的生命線。隨著信息技術(shù)在企業(yè)中的普遍應(yīng)用，企業(yè)產(chǎn)生了大量富有價(jià)值的電子數(shù)據(jù)。但這些數(shù)據(jù)大都存儲(chǔ)于不同的系統(tǒng)中，數(shù)據(jù)的定義和格式也不統(tǒng)一，商務(wù)智能系統(tǒng)能從不同的數(shù)據(jù)源搜集的數(shù)據(jù)中提取有用的數(shù)據(jù)，并對(duì)這些數(shù)據(jù)進(jìn)行清洗，以確保數(shù)據(jù)的正確性，在對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換、重構(gòu)等操作后，將其存入數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中；再運(yùn)用適合的查詢分析工具、數(shù)據(jù)挖掘工具、OLAP工具等管理分析工具對(duì)信息進(jìn)行處理，使信息變?yōu)檩o助決策的知識(shí)，并將知識(shí)以適當(dāng)?shù)姆绞秸故驹跊Q策者面前，供決策者運(yùn)籌帷幄。

2．商務(wù)智能系統(tǒng)的基本架構(gòu)

美國(guó)數(shù)據(jù)倉(cāng)庫(kù)研究院把商務(wù)智能比作“數(shù)據(jù)煉油廠”，它將商務(wù)智能的應(yīng)用過(guò)程描述為“數(shù)據(jù)一信息一知識(shí)一計(jì)劃一行動(dòng)”的過(guò)程。

根據(jù)對(duì)商務(wù)智能的理解，借鑒美國(guó)數(shù)據(jù)倉(cāng)庫(kù)研究院的“數(shù)據(jù)煉油廠”，給出商務(wù)智能系統(tǒng)的架構(gòu)，如圖一所示：

圖一 商務(wù)智能系統(tǒng)架構(gòu)

1)數(shù)據(jù)源層——商務(wù)智能系統(tǒng)的數(shù)據(jù)來(lái)源，它存儲(chǔ)著系統(tǒng)所需的最原始的數(shù)據(jù)以及數(shù)據(jù)之間的關(guān)系，保持著歷史的真實(shí)性。

2)數(shù)據(jù)整合層——商務(wù)智能系統(tǒng)的根本要求，它將來(lái)自不同數(shù)據(jù)源的信息合并為相同的信息結(jié)構(gòu)，消除重復(fù)、無(wú)效和界外的數(shù)據(jù)，提取、凈化和傳遞數(shù)據(jù)到為數(shù)據(jù)倉(cāng)庫(kù)設(shè)立的文件中。

3)數(shù)據(jù)倉(cāng)庫(kù)層——商務(wù)智能系統(tǒng)的基礎(chǔ)，是數(shù)據(jù)分析的源數(shù)據(jù)，保存著大量的、面向主題的、集成的數(shù)據(jù)。

4)數(shù)據(jù)分析層——體現(xiàn)系統(tǒng)智能的關(guān)鍵，它一般采用OLAP技術(shù)和數(shù)據(jù)挖掘技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析和處理。

5)數(shù)據(jù)展現(xiàn)層——它向商務(wù)智能環(huán)境的收益者提供實(shí)際的分析結(jié)果，同時(shí)保證系統(tǒng)分析結(jié)果的可視化，形式有報(bào)表、圖表、數(shù)據(jù)表等。

3．商務(wù)智能系統(tǒng)的關(guān)鍵技術(shù)

對(duì)商務(wù)智能系統(tǒng)的架構(gòu)進(jìn)行分析可以看出，商務(wù)智能系統(tǒng)對(duì)數(shù)據(jù)實(shí)行分析管理的關(guān)鍵技術(shù)如下：

3.1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)

數(shù)據(jù)倉(cāng)庫(kù)之父w．H．Inmon博士對(duì)數(shù)據(jù)倉(cāng)庫(kù)的定義得到了大多數(shù)學(xué)者和工程人員的接受：“數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、穩(wěn)定的、隨時(shí)間變化的數(shù)據(jù)集合，它用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程。”由此定義可以看出，數(shù)據(jù)倉(cāng)庫(kù)具有如下特性：

(1)面向主題性

面向主題性是數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)組織的基本原則，數(shù)據(jù)倉(cāng)庫(kù)中的所有數(shù)據(jù)都是圍繞著某一主題組織和展開(kāi)的，每個(gè)主題對(duì)應(yīng)一個(gè)客觀分析領(lǐng)域。

(2)數(shù)據(jù)集成性

數(shù)據(jù)倉(cāng)庫(kù)的集成性是指根據(jù)決策分析的要求，將分散于各處的源數(shù)據(jù)進(jìn)行抽取、篩選、清理、綜合等，使數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)具有集成性。

(3)數(shù)據(jù)的穩(wěn)定性

數(shù)據(jù)的穩(wěn)定性說(shuō)明數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)不會(huì)像業(yè)務(wù)處理系統(tǒng)中的數(shù)據(jù)庫(kù)那樣進(jìn)行日常的添加、修改、刪除等操作，而是很少發(fā)生更新處理，表現(xiàn)出相當(dāng)程度的穩(wěn)定性。

(4)數(shù)據(jù)的時(shí)變性

數(shù)據(jù)倉(cāng)庫(kù)的時(shí)變性，即數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)應(yīng)該隨著時(shí)間的推移而發(fā)生變化。數(shù)據(jù)倉(cāng)庫(kù)要能夠捕捉業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)變化，定期將變化的數(shù)據(jù)追加到數(shù)據(jù)倉(cāng)庫(kù)中來(lái)，還要將達(dá)到一定年限或規(guī)定時(shí)間的歷史數(shù)據(jù)進(jìn)行刪除。

(5)數(shù)據(jù)的集合性

數(shù)據(jù)的集合性是指數(shù)據(jù)倉(cāng)庫(kù)必須以某種數(shù)據(jù)集合的形式存儲(chǔ)起來(lái)，數(shù)據(jù)倉(cāng)庫(kù)采用的數(shù)據(jù)集合方式主要有以多維數(shù)據(jù)庫(kù)方式存儲(chǔ)的多維模式、以關(guān)系數(shù)據(jù)庫(kù)方式存儲(chǔ)的關(guān)系模式，以及多維模式和關(guān)系模式混合的模式。

(6)決策支持作用

決策支持作用是數(shù)據(jù)倉(cāng)庫(kù)一個(gè)核心的應(yīng)用，建立數(shù)據(jù)倉(cāng)庫(kù)的目的是將企業(yè)多年來(lái)收集到的數(shù)據(jù)按照一個(gè)統(tǒng)一的規(guī)則組織存儲(chǔ)，然后通過(guò)對(duì)海量的數(shù)據(jù)進(jìn)行分析提供決策支持，幫助企業(yè)及時(shí)、準(zhǔn)確地把握機(jī)會(huì)，以在激烈的市場(chǎng)競(jìng)爭(zhēng)中取得最大的利潤(rùn)。

數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是信息技術(shù)飛速發(fā)展的結(jié)果，它與傳統(tǒng)的面向操作的數(shù)據(jù)庫(kù)技術(shù)相比有很大的不同，從結(jié)構(gòu)上看，數(shù)據(jù)倉(cāng)庫(kù)主要包括：數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)、數(shù)據(jù)集市／知識(shí)挖掘庫(kù)、管理工具和應(yīng)用工具等部分。如圖二所示：

圖二 數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)結(jié)構(gòu)

數(shù)據(jù)源——數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)來(lái)源。

數(shù)據(jù)準(zhǔn)備區(qū)——數(shù)據(jù)源中的數(shù)據(jù)經(jīng)抽取、轉(zhuǎn)換最終成為數(shù)據(jù)倉(cāng)庫(kù)所需要的數(shù)據(jù)。

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)——負(fù)責(zé)存儲(chǔ)用于分析、決策的數(shù)據(jù)，包含對(duì)元數(shù)據(jù)的管理。

數(shù)據(jù)集市／知識(shí)挖掘庫(kù)——局部數(shù)據(jù)倉(cāng)庫(kù)或部門數(shù)據(jù)倉(cāng)庫(kù)，為指定的應(yīng)用提供數(shù)據(jù)。

管理工具和應(yīng)用工具——包括各種對(duì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)分析和數(shù)據(jù)訪問(wèn)，如利用OLAP進(jìn)行數(shù)據(jù)分析，數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用程序等。

3.2 OLAP分析技術(shù)

OLAP是獨(dú)立于數(shù)據(jù)倉(cāng)庫(kù)的一種技術(shù)概念，其基本思想是使得企業(yè)的管理決策人員能夠靈活地操縱企業(yè)的數(shù)據(jù)，以多維的形式從多方面和多角度觀察企業(yè)的狀態(tài)和變化趨勢(shì)。

OLAP最早是由E．F．Codd于1993年提出的，當(dāng)時(shí)，Codd認(rèn)為聯(lián)機(jī)事務(wù)處理(OLTP)已經(jīng)不能滿足終端用戶對(duì)數(shù)據(jù)庫(kù)查詢分析的需要，SQL對(duì)大數(shù)據(jù)庫(kù)進(jìn)行的簡(jiǎn)單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行大量計(jì)算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此Codd提出了多維數(shù)據(jù)庫(kù)和多維分析的概念，即OLAP。它是針對(duì)特定問(wèn)題的聯(lián)機(jī)數(shù)據(jù)訪問(wèn)和分析。通過(guò)對(duì)多維數(shù)據(jù)的多種可能的觀察形式進(jìn)行快速、穩(wěn)定、一致和交互性的存取，允許管理決策人員對(duì)數(shù)據(jù)進(jìn)行深入觀察。

OLAP的多維分析是指對(duì)多維數(shù)據(jù)集中的數(shù)據(jù)用切片(二維)、切塊(三維)、鉆取(向下鉆取和向上鉆取，鉆取的深度與維所劃分的層次相對(duì)應(yīng))、旋轉(zhuǎn)(通過(guò)旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù))等方式分析數(shù)據(jù)，使用戶從多個(gè)角度、多個(gè)側(cè)面去觀察數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。通過(guò)這種方法能夠使分析人員深入的了解數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)所蘊(yùn)含的信息，從而挖掘隱藏在數(shù)據(jù)背后的商業(yè)模式。

在BI的建設(shè)過(guò)程中，數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市都是數(shù)據(jù)的存儲(chǔ)區(qū)域。都在為數(shù)據(jù)的在線分析和挖掘提供數(shù)據(jù)源。數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市主要是范圍的不同。數(shù)據(jù)倉(cāng)庫(kù)面向企業(yè)的所有部門，所以它的需求是全企業(yè)范圍的，一般情況下，它的數(shù)據(jù)按照第三范式組織。數(shù)據(jù)集市是面向企業(yè)的某一個(gè)部門的，需求比較集中，以多維方式的形式管理數(shù)據(jù)。

3.3 數(shù)據(jù)挖掘技術(shù)

W．J．Frawley，G．PiatetskyShapiro等人指出，數(shù)據(jù)挖掘就是從大型數(shù)據(jù)庫(kù)的數(shù)據(jù)中提取人們感興趣的知識(shí)，這螳知識(shí)是隱含的、事先未知的、潛在有用的信息，提取的知識(shí)可表示為概念、規(guī)則、規(guī)律、模式等形式。

3.3.1 數(shù)據(jù)挖掘研究的主要內(nèi)容

數(shù)據(jù)挖掘所發(fā)現(xiàn)的知識(shí)最常見(jiàn)的有以下四類。

(1)廣義知識(shí)

廣義知識(shí)指類別特征為概括性描述的知識(shí)，是根據(jù)數(shù)據(jù)的微觀特性發(fā)現(xiàn)其表征的、帶有普遍性的、較高層次概念的、中觀和宏觀的知識(shí)，反映同類事物共同性質(zhì)，是對(duì)數(shù)據(jù)的概括、精煉和抽象。廣義知識(shí)的發(fā)現(xiàn)方法和實(shí)現(xiàn)技術(shù)有很多，如數(shù)據(jù)立方體、面向?qū)傩缘臍w約等。

(2)關(guān)聯(lián)知識(shí)

關(guān)聯(lián)知識(shí)是指反映一個(gè)事件和其他事件之間信賴或關(guān)聯(lián)的知識(shí)。如果兩項(xiàng)或多項(xiàng)屬性之間存在關(guān)聯(lián)，那么其中一項(xiàng)的屬性值就可以依據(jù)其他屬性值進(jìn)行預(yù)測(cè)。最為著名的關(guān)聯(lián)規(guī)則發(fā)現(xiàn)方法是R．Agrawal提出來(lái)的Apriori算法。

(3)分類知識(shí)

分類知識(shí)是反映同類事物共同性質(zhì)的特征型和不同事物之間的差異特征型知識(shí)。最為典型的分類方法是基于決策樹(shù)的分類方法，還有統(tǒng)計(jì)、粗糙集(Rough Set)、神經(jīng)網(wǎng)絡(luò)等方法。

(4)預(yù)測(cè)型知識(shí)

預(yù)測(cè)型知識(shí)根據(jù)時(shí)間序列型數(shù)據(jù)，由歷史的和當(dāng)前的數(shù)據(jù)去推測(cè)未來(lái)的數(shù)據(jù)，也可以認(rèn)為它是以時(shí)間為關(guān)鍵屬性的關(guān)聯(lián)知識(shí)。目前，時(shí)問(wèn)序列預(yù)測(cè)方法有經(jīng)典的統(tǒng)計(jì)方法、神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)等。

此外，還可以發(fā)現(xiàn)其他類型的知識(shí)，如偏差型知識(shí)，它是對(duì)差異和極端特例的描述，揭示事物偏離常規(guī)的異?，F(xiàn)象，如標(biāo)準(zhǔn)類外的特例，數(shù)據(jù)聚類外的離群值等。所有這些知識(shí)都可以在不同的概念層次上被發(fā)現(xiàn)，并隨著概念層次的提升，從微觀到中觀、到宏觀，以滿足不同用戶不同層次決策的需要。

3.3.2 數(shù)據(jù)挖掘的常用技術(shù)

(1)神經(jīng)網(wǎng)絡(luò)：它從結(jié)構(gòu)上模仿生物神經(jīng)元結(jié)構(gòu)，是一種通過(guò)訓(xùn)練來(lái)學(xué)習(xí)的非線性預(yù)測(cè)模型，可以完成分類、聚類、特征采掘等多種挖掘任務(wù)。

(2)決策樹(shù)：代表著決策集的樹(shù)形結(jié)構(gòu)。

(3)規(guī)則推導(dǎo)：從統(tǒng)計(jì)意義上對(duì)數(shù)據(jù)中的“如果-那么”規(guī)則進(jìn)行尋找和推導(dǎo)。

(4)遺傳算法：基于進(jìn)化理論，并采用遺傳結(jié)合、遺傳變異以及自然選擇等設(shè)計(jì)方法的優(yōu)化技術(shù)。

(5)近鄰算法：將數(shù)據(jù)集合中每一記錄進(jìn)行分類的方法。這種技術(shù)通過(guò)K個(gè)與之最相近的歷史記錄的組合來(lái)辨別新的記錄。

3.4 數(shù)據(jù)倉(cāng)庫(kù)和OLAP與數(shù)據(jù)挖掘的關(guān)系

數(shù)據(jù)挖掘不是必須基于數(shù)據(jù)倉(cāng)庫(kù)的，數(shù)據(jù)挖掘能夠通過(guò)數(shù)據(jù)抽取、數(shù)據(jù)預(yù)處理和轉(zhuǎn)換等操作自己完成數(shù)據(jù)挖掘前的準(zhǔn)備工作，繼而進(jìn)行數(shù)據(jù)挖掘。然而這部分的工作需要耗費(fèi)大量的時(shí)間和精力，而進(jìn)行數(shù)據(jù)挖掘又無(wú)法避開(kāi)這些操作，因此將數(shù)據(jù)挖掘工作基于數(shù)據(jù)倉(cāng)庫(kù)技術(shù)來(lái)進(jìn)行，能夠省去數(shù)據(jù)的前期準(zhǔn)備等工作，大大提高數(shù)據(jù)挖掘效率。因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)在建立的時(shí)候，已經(jīng)完成了數(shù)據(jù)的抽取、轉(zhuǎn)換和加載等操作。

OLAP作為數(shù)據(jù)倉(cāng)庫(kù)中的關(guān)鍵技術(shù)，其可以在使用多維數(shù)據(jù)模型的數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市上進(jìn)行，充分發(fā)揮OLAP的聯(lián)機(jī)分析的功能和特性。將OLAP與數(shù)據(jù)挖掘進(jìn)行結(jié)合，能夠?yàn)閿?shù)據(jù)挖掘提供基礎(chǔ)數(shù)據(jù)支持，提高數(shù)據(jù)挖掘的效率，而且還可以實(shí)現(xiàn)聯(lián)機(jī)分析數(shù)據(jù)挖掘的功能。用戶常常希望穿越數(shù)據(jù)庫(kù)，選擇相關(guān)數(shù)據(jù)，在不同的粒度上進(jìn)行分析，并以不同的形式顯示結(jié)果。聯(lián)機(jī)分析數(shù)據(jù)挖掘提供了在不同的數(shù)據(jù)子集和不同的抽象層上進(jìn)行數(shù)據(jù)挖掘的工具，在數(shù)據(jù)立方體和挖掘的中間結(jié)果數(shù)據(jù)上進(jìn)行下鉆、上卷、旋轉(zhuǎn)、切片、切塊等操作，提高數(shù)據(jù)挖掘探測(cè)性的數(shù)據(jù)分析的能力和靈活性。

采用數(shù)據(jù)挖掘與數(shù)據(jù)倉(cāng)庫(kù)和OLAP技術(shù)有機(jī)結(jié)合的方式，可以使數(shù)據(jù)挖掘具有更高的實(shí)用性和高效性。

4．結(jié) 語(yǔ)

隨著市場(chǎng)競(jìng)爭(zhēng)的日益加劇，國(guó)內(nèi)外眾多商務(wù)智能軟件公司開(kāi)發(fā)了數(shù)據(jù)分析和數(shù)據(jù)挖掘軟件來(lái)分析海量數(shù)據(jù)，幫助管理者穿越數(shù)據(jù)迷霧，賦予數(shù)據(jù)第二次生命，相信在不久的將來(lái)，人們?cè)诿鎸?duì)大量的數(shù)據(jù)時(shí)不再感到迷茫，而是能夠以用戶需要的方式重新組織這些數(shù)據(jù)，并通過(guò)對(duì)這些數(shù)據(jù)的分析，挖掘出潛在的模式，有效地預(yù)測(cè)市場(chǎng)的行為，做出正確的決策。（萬(wàn)方數(shù)據(jù)）