淺析數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理與數(shù)據(jù)挖掘

申請(qǐng)免費(fèi)試用、咨詢(xún)電話：400-8352-114

1 三種技術(shù)概述

1.1 什么是數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)通常是一個(gè)面向主題的、集成的、隨時(shí)間變化的、但信息本身相對(duì)穩(wěn)定的數(shù)據(jù)集合。其中：

①主題：是指用戶使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)方面，如收入、客戶、銷(xiāo)售渠道等；所謂面向主題，是指數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是按主題進(jìn)行組織的，而不是像業(yè)務(wù)支撐系統(tǒng)那樣是按照業(yè)務(wù)功能進(jìn)行組織的。

②集成：是指數(shù)據(jù)倉(cāng)庫(kù)中的信息不是從各個(gè)業(yè)務(wù)系統(tǒng)中簡(jiǎn)單抽取出來(lái)的，而是經(jīng)過(guò)一系列加工、整理和匯總的過(guò)程，因此數(shù)據(jù)倉(cāng)庫(kù)中的信息是關(guān)于整個(gè)企業(yè)的一致的全局信息。

③隨時(shí)間變化：是指數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息并不只是反映企業(yè)當(dāng)前的狀態(tài)，而是記錄了從過(guò)去某一時(shí)點(diǎn)到當(dāng)前各個(gè)階段的信息，通過(guò)這些信息，可以對(duì)企業(yè)的發(fā)展歷程和未來(lái)趨勢(shì)做出定量分析和預(yù)測(cè)。

④球言息本身相對(duì)穩(wěn)定：是指一旦某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后，一般很少進(jìn)行修改，更多的是對(duì)信息進(jìn)行查詢(xún)操作。

實(shí)際上，數(shù)據(jù)倉(cāng)庫(kù)更像一個(gè)過(guò)程，這個(gè)過(guò)程涉及數(shù)據(jù)的收集、整理和加工，生成決策所需要的信息，并且最終把這些信息提供給需要這些信息的使用者，供他們做出改善業(yè)務(wù)經(jīng)營(yíng)的正確決策。數(shù)據(jù)倉(cāng)庫(kù)的重點(diǎn)與要求就是能夠準(zhǔn)確、安全、可靠地從業(yè)務(wù)系統(tǒng)中取出數(shù)據(jù)，經(jīng)過(guò)加工轉(zhuǎn)換成有規(guī)律信息之后，供管理人員進(jìn)行分析使用。

1.2 什么是聯(lián)機(jī)分析處理

聯(lián)機(jī)分析處理是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來(lái)的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對(duì)數(shù)據(jù)的更深入了解的一類(lèi)軟件技術(shù)，其目標(biāo)是滿足決策支持或多維環(huán)境特定的查詢(xún)和報(bào)表需求。

當(dāng)今的數(shù)據(jù)處理大致可以分成兩大類(lèi)：聯(lián)機(jī)事務(wù)處理OLTP(On-line Transaction Processing)、聯(lián)機(jī)分析處理OLAP(On-Line Analytical Processing)。OLTP就是我們?cè)缫咽煜さ膫鹘y(tǒng)關(guān)系數(shù)據(jù)庫(kù)的主要應(yīng)用，主要是基本的、日常的事務(wù)處理，最典型的例子莫過(guò)于銀行交易系統(tǒng)、圖朽管理系統(tǒng)等。OLAP是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢(xún)結(jié)果。

1.3 什么是數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)巾提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程，簡(jiǎn)單的說(shuō)就是從大量數(shù)據(jù)中提取或挖掘知識(shí)。

數(shù)據(jù)挖掘可以看成是一種數(shù)據(jù)搜尋過(guò)程，它不必預(yù)先假設(shè)或提出問(wèn)題，但是仍能找到那些非預(yù)期的卻令人關(guān)注的信息，這些信息表示了數(shù)據(jù)元素的關(guān)系和模式。數(shù)據(jù)挖掘能挖掘出數(shù)據(jù)間潛在的模式、找出最有價(jià)值的信息和知識(shí)，從而指導(dǎo)商業(yè)行為或輔助科學(xué)研究。

2 數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理與數(shù)據(jù)挖掘間的關(guān)系

2.1 數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析處理的聯(lián)系

數(shù)據(jù)倉(cāng)庫(kù)側(cè)重千存儲(chǔ)和管理面向決策主題的數(shù)據(jù)；而聯(lián)機(jī)分析處理專(zhuān)注于數(shù)據(jù)的匯總，它從數(shù)據(jù)倉(cāng)庫(kù)中的綜合數(shù)據(jù)出發(fā)，提供面向分析的多維模型，并使用多維分析的方法從多個(gè)角度、多個(gè)層次對(duì)多維數(shù)據(jù)進(jìn)行分析，使決策者能夠以更加自然的方式來(lái)分析數(shù)據(jù)。聯(lián)機(jī)分析處理的一個(gè)主要特點(diǎn)是多維數(shù)據(jù)分析，這與數(shù)據(jù)倉(cāng)庫(kù)的多維數(shù)據(jù)組織正好形成相互結(jié)合、相互補(bǔ)充的關(guān)系叫。因此，利用聯(lián)機(jī)分析處理技術(shù)與數(shù)據(jù)倉(cāng)庫(kù)的結(jié)合可以較好地解決傳統(tǒng)決策支持系統(tǒng)既需要處理大量數(shù)據(jù)又需要進(jìn)行大量數(shù)值計(jì)算的問(wèn)題。

2.2 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘的聯(lián)系

數(shù)據(jù)挖掘以數(shù)據(jù)倉(cāng)庫(kù)和多維數(shù)據(jù)庫(kù)的數(shù)據(jù)為基礎(chǔ)，發(fā)現(xiàn)數(shù)據(jù)中的潛在模式和進(jìn)行預(yù)測(cè)，它可以對(duì)數(shù)據(jù)進(jìn)行多種復(fù)雜的處理。大部分情況下，數(shù)據(jù)挖掘都要先把數(shù)據(jù)從數(shù)據(jù)倉(cāng)庫(kù)中拿到數(shù)據(jù)挖掘庫(kù)中。從數(shù)據(jù)倉(cāng)庫(kù)中直接得到進(jìn)行數(shù)據(jù)挖掘的數(shù)據(jù)有許多好處，因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)清理和數(shù)據(jù)挖掘的數(shù)據(jù)清理差不多，如果數(shù)據(jù)在導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)時(shí)己經(jīng)清理過(guò)，那很可能在做數(shù)據(jù)挖掘時(shí)就沒(méi)必要在清理一次了，而且所有的數(shù)據(jù)不一致的問(wèn)題都已經(jīng)被你解決了。構(gòu)造數(shù)據(jù)倉(cāng)庫(kù)可以看作數(shù)據(jù)挖掘的一個(gè)重要預(yù)處理步驟，它能提高數(shù)據(jù)挖掘的效率和能力，確保數(shù)據(jù)挖掘中數(shù)據(jù)來(lái)源的廣泛性和完整性。

綜上所述，數(shù)據(jù)倉(cāng)庫(kù)己經(jīng)成為聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘日趨重要的平臺(tái)。

2.3 聯(lián)機(jī)分析處理與數(shù)據(jù)挖掘的區(qū)別

聯(lián)機(jī)分析處理是決策支持領(lǐng)域的一部分。傳統(tǒng)的查詢(xún)和報(bào)表工具是告訴你數(shù)據(jù)庫(kù)中都有什么，聯(lián)機(jī)分析處理則更進(jìn)一步告訴你下一步會(huì)怎么樣以及如果我采取這樣的措施又會(huì)怎么樣，其分析過(guò)程在本質(zhì)上是一個(gè)演繹推理的過(guò)程。聯(lián)機(jī)分析處理屬于一種驗(yàn)證型的分析，即在某個(gè)假設(shè)的前提下通過(guò)數(shù)據(jù)查詢(xún)和分析來(lái)驗(yàn)證或否定這個(gè)假設(shè)。它側(cè)重子與用戶的交互、快速的響應(yīng)速度及提供數(shù)據(jù)的多維視圖，屬于用戶驅(qū)動(dòng)，因此很大程度上受到用戶水平的限制。

與聯(lián)機(jī)分析處理不同，數(shù)據(jù)挖掘不是用于驗(yàn)證某個(gè)假定的模型的正確性，而是在數(shù)據(jù)庫(kù)中自己尋找模型，注重自動(dòng)發(fā)現(xiàn)隱藏在數(shù)據(jù)中的模式和有用信息，其本質(zhì)是一個(gè)歸納的過(guò)程。數(shù)據(jù)挖掘?qū)儆跀?shù)據(jù)驅(qū)動(dòng)，使用數(shù)據(jù)挖掘工具用戶不必提出確切的要求，系統(tǒng)能夠根據(jù)數(shù)據(jù)本身的規(guī)律性，自動(dòng)地挖掘數(shù)據(jù)潛在的模式。

所以，從數(shù)據(jù)分析深度的角度來(lái)看，聯(lián)機(jī)分析處理位于較淺的層次，而數(shù)據(jù)挖掘則處于較深的層次，二者的主要差別在于是否能自動(dòng)地進(jìn)行數(shù)據(jù)分析。

3 數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理與數(shù)據(jù)挖掘的融合

數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘是作為三種獨(dú)立的信息處理技術(shù)出現(xiàn)的。數(shù)據(jù)倉(cāng)庫(kù)用于數(shù)據(jù)的存儲(chǔ)和組織，聯(lián)機(jī)分析處理集中于數(shù)據(jù)的分析，數(shù)據(jù)挖掘則致力于知識(shí)的自動(dòng)發(fā)現(xiàn)。他們都可以分別應(yīng)用到信息系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)中，以提高相應(yīng)的處理能力。

由于這三種技術(shù)內(nèi)在的聯(lián)系性和互補(bǔ)性，可將三者結(jié)合起來(lái)構(gòu)成一種新的決策支持系統(tǒng)構(gòu)架：以數(shù)據(jù)倉(cāng)庫(kù)為依托，通過(guò)對(duì)企業(yè)歷史數(shù)據(jù)的聯(lián)機(jī)分析與挖掘，為企業(yè)提供全方位的決策支持。其中，底層的數(shù)據(jù)庫(kù)中保存了大量的事務(wù)級(jí)細(xì)節(jié)數(shù)據(jù)，是整個(gè)系統(tǒng)的數(shù)據(jù)源；數(shù)據(jù)倉(cāng)庫(kù)自底層數(shù)據(jù)庫(kù)收集大量事務(wù)級(jí)數(shù)據(jù)的同時(shí)，對(duì)數(shù)據(jù)進(jìn)行集成、轉(zhuǎn)換和綜合，形成面向全局的數(shù)據(jù)視圖。從而解決數(shù)據(jù)不統(tǒng)一的問(wèn)題并形成整個(gè)系統(tǒng)的數(shù)據(jù)基礎(chǔ)；聯(lián)機(jī)分析處理執(zhí)數(shù)據(jù)倉(cāng)庫(kù)中的集成數(shù)據(jù)出發(fā)，構(gòu)建面向分析的多維數(shù)據(jù)模型，利用這竹吲翱爭(zhēng)黼性的數(shù)擄翰澎甜莫型，用戶可以便步環(huán)同的方法，從不同的角度對(duì)數(shù)據(jù)進(jìn)行分析，實(shí)現(xiàn)了分析方法和數(shù)據(jù)結(jié)構(gòu)的分離；數(shù)據(jù)挖掘以數(shù)據(jù)倉(cāng)庫(kù)和多維數(shù)據(jù)庫(kù)中的大量數(shù)據(jù)為基礎(chǔ)，自動(dòng)地發(fā)現(xiàn)數(shù)據(jù)中的潛在模式，并以這些模式為基礎(chǔ)自動(dòng)做出預(yù)測(cè)；同時(shí)，數(shù)據(jù)挖掘反過(guò)來(lái)又可以為聯(lián)機(jī)分析處理提供分析的模式。