數據挖掘與決策支持系統(tǒng)之間的關系

申請免費試用、咨詢電話：400-8352-114

1 決策支持系統(tǒng)

決策支持系統(tǒng)（DSS）中“決策”就是決策者根據所掌握的信息為決策對象選擇行為的思維過程。為決策者提供支持的信息成為決策支持信息，相應的信息系統(tǒng)稱為決策支持系統(tǒng)，我們將決策支持領域分成OLTP、MIS、LDSS及HDSS四個層次：

1.1 OLTP（聯(lián)機事物處理）

最基本的數據庫應用系統(tǒng)，是更高級的MIS系統(tǒng)和DSS系統(tǒng)的基礎，OLTP系統(tǒng)一般具有底層信息采集（數據錄入功能）、一定的信息查詢以及信息庫更新維護功能，OLTP面向的是操作人員和低層管理人員，其主要功能在于對數據庫中的信息進行錄入、存儲、更新、刪除等操作，是最基本的管理細節(jié)信息的數據庫應用系統(tǒng)。

1.2 基于OLTP的MIS系統(tǒng)

這是較高一級的數據庫應用系統(tǒng)，這類系統(tǒng)在OUP的基礎上進一步擴展，包括提高信息訪問功能，報表生成能力等。MIS系統(tǒng)由若干個功能相對獨立的OLTP系統(tǒng)集成而成，當前的信息服務系統(tǒng)基本屬于MIS系統(tǒng)。

1.3 LDSS（低級決策支持系統(tǒng)）

LDSS處于比MIS更高一層的位置，直接為決策者提供決策支持服務，它的關鍵在于信息的有效提取并加以分析而不在于信息的收集與更新（這些操作由基礎層的OLTP系統(tǒng)完成）。目前決策支持系統(tǒng)絕大部分屬于LDSS的層次，它存在著如下功能局限：

（1）隨機性的綜合信息提取功能較弱；

（2）對查詢得到的信息的分析功能較弱；

（3）不是基于海量數據庫。

1.4 HDSS〔高級決策支持系統(tǒng)）

HDSS是決策支持系統(tǒng)的最高形式，能夠真正使用戶利用DSS工具直接從企業(yè)信息池中隨機地提取、分析數據，有效地服務于企業(yè)的全方位決策。它由三個主要部件構成：

1.4.1 數據倉庫技術（DW，Data Warehousing）

進入90年代后，隨著人們對信息需求的迅速增加，信息系統(tǒng)部門工作的重點已不局限于簡單的數據收集，而是讓整個企業(yè)內的人們能夠充分利用這些數據，為此而提出的數據倉庫化概念，越來越成為各行各業(yè)信息系統(tǒng)部門普遍關注的焦點。數據倉庫技術是企業(yè)范圍內數據的處理技術，它將這些分散的數據集中到一個更大的庫中（稱為數據倉庫），最終用戶從數據倉庫中運行查詢、制作報表，進行數據分析。數據倉庫收集存儲了各個不同數據源中的數據，通過數據的組織給決策支持者提供分布在整個企業(yè)內部、跨平臺的數據。

1.4.2 聯(lián)機分析處理技術（OLAP，On-line Analytical Processing）

這種技術能有效地集中分析和深入研究數據，發(fā)現(xiàn)趨勢，看到異常情況，得到重要細節(jié)，大體可分為基于多維數據庫的OLAP實現(xiàn)（MD-OLAP）和基于關系數據庫的OLAP實現(xiàn)（ROLAP）。OLAP允許用戶使用數據導航技術獲取更詳細的信息，可以使用戶在一個數據集內進行“向上挖掘”、“向下挖掘”、“跨越挖掘”以及“切片和旋轉”等功能。

1.4.3 數據挖掘技術（DM，Data Mining）

它能從大型數據中發(fā)現(xiàn)數據模式，預測趨勢和行為，致力于知識的自動發(fā)現(xiàn)。一般認為數據挖掘是OLAP之后進行的步驟，它通過篩選數據獲得未知的關系，而不是尋找已知的關系。它能幫助決策者尋找數據間潛在的關聯(lián)，發(fā)現(xiàn)被忽略的要素，如“在某年某地區(qū)賣了多少機械”這就是OLAP，而“促使人們購買某種產品的原因是什么”，則是數據挖掘。雖然數據倉庫、數據挖掘和OLAP技術最初是作為三種獨立的信息處理技術出現(xiàn)的，但是，由于它們之間內在的聯(lián)系和互補性，使得這三種技術在高級決策支持系統(tǒng)中已經成為一個密不可分的核心。

2 數據挖掘

數據挖掘是從大型數據庫或數據倉庫中發(fā)現(xiàn)并提取隱藏在其中的信息或知識的過程，目的是幫助分析人員尋找數據間潛在的關聯(lián)，發(fā)現(xiàn)忽略的要素，而這些信息對預測趨勢和決策行為是十分有用的，所以它屬于決策支持系統(tǒng)的范疇。

2.1 預處理數據

通過消除噪聲、推導計算缺值數據、消除重復記錄、完成數據類型轉換（如把連續(xù)值數據轉換為離散型的數據，或是把離散型的數據轉換為連續(xù)值數據）等來收集和凈化來自數據源的信息，并加以存儲，一般是將其存放在數據倉庫中。

2.2 模型搜索

利用數據挖掘工具在數據中查找模型，這個搜尋過程可以由系統(tǒng)自動執(zhí)行，自底向上搜尋原始事實以發(fā)現(xiàn)它們之間的某種聯(lián)系，也可以加入用戶交互過程，由分析人員主動發(fā)問，從上到下地找尋以驗證假定的正確性，對于一個問題的搜尋過程可能用到許多工具，例如神經網絡、基于規(guī)則的系統(tǒng)、基于實例的推理、機器學習、統(tǒng)計方法等。

2.3 評價輸出結果

數據挖掘階段發(fā)現(xiàn)出來的模式，經過用戶或機器的評估，可能存在冗余、價值不大的或無關的模式，這時需要將其剔除，把重要的模式形成知識存儲到知識庫中，也有可能模式未能滿足用戶要求，這時則需要整個發(fā)現(xiàn)過程回到發(fā)現(xiàn)階段之前，如重新選取數據、采用新的數據變換方法、設定新的數據挖掘參數值，甚至換一種挖掘算法?？梢姅祿l(fā)掘的搜尋過程一般需要反復多次，因為當分析人員評價輸出結果后，他們可能會形成一些新的問題或要求對某一方面作更精細的查詢。

2.4 生成最后的結果報告

DM由于最終是面向人類用戶的，因此可能要對發(fā)現(xiàn)的模式進行可視化，或者把結果轉換為用戶易懂的另一種表示。

2.5 解釋結果報告

對結果進行解釋，依據此結果采取相應的商業(yè)措施，這是一個人工過程。

數據挖掘的相關技術：為了簡化和加快數據挖掘過程，使數據挖掘真正方便、實用，還需其他的技術支持，如數據凈化、數據倉庫技術、強大的平行處理技術和存儲技術。

（1）數據凈化（Data Scrubbing）。為了使數據挖掘能夠產生合理的結果，數據在進入數據倉庫以前必須清除錯誤，形成統(tǒng)一的格式，如用“1”和“0”代表性別，而不是用“male”、“female”、“man”、“woman”表示，這個過程可能用的很慢。此外，盡管有現(xiàn)成的軟件可以輔助開發(fā)人員凈化數據，將數據搬遷到數據倉庫中，但開發(fā)人員還是要考慮數據如何表示、采用哪種格式等問題。數據凈化過程的步驟，按順序如下：a）檢查拼寫錯誤；b）去掉重復的記錄；c）補上不完全的記錄；d）解決不一致的記錄；e）用測試查詢來驗證數據；f）根據驗證結果反復迭代上述步驟。

（2）數據倉庫技術。一個企業(yè)在沒有建立自己的數據倉庫之前，有許多分散的、未集成的、不精練的信息，采掘這樣的數據，效率是很低的。數據倉庫技術是企業(yè)范圍內數據的處理技術，它將這些分散的數據集中到一個更大的庫中，為數據挖掘提供了有效的結構，有利于數據挖掘。

（3）平行處理技術。毫無疑問，強大的平行處理計算機可以提高數據挖掘的應用，因為平行處理技術可以將一個復雜查詢分解成多個子查詢，每個子查詢交給不同的處理器處理，這一處理過程是并行執(zhí)行的，不像串行處理機，任務只能順序執(zhí)行。因此，并行處理技術可以大大加速數據挖掘的過程；反過來，人們對數據挖掘的興趣也有助于并行系統(tǒng)的銷售。

（4）存儲技術。現(xiàn)在的數據倉庫存儲的數據量是GB到TB級別，隨著時間的推移，在未來五年，可能會達到幾百個TB級，因此，廉價可行的存儲技術對于數據挖掘來說變得非常重要。目前，普遍采用的是二級存儲技術，即磁盤（磁光盤）-主存兩級存儲，由于缺乏快速的訪問和存儲磁盤的技術，隨著存儲容量的增長、數據挖掘查詢越來越復雜以及并行處理器速度的加快，存儲技術可能會成為數據挖掘的新瓶頸。

3 數據挖掘與決策支持系統(tǒng)的聯(lián)系及數據挖掘工具產品

傳統(tǒng)的DSS系統(tǒng)通常是在某個假設的前提下通過數據查詢和分析來驗證或否定這個假設，而數據挖掘技術則能夠自動分析數據，進行歸納整理，從中發(fā)現(xiàn)潛在的模式，或產生聯(lián)想，建立新的業(yè)務模型，幫助決策者調整市場策略，并找出正確的決策。例如在銷售業(yè)數據庫中，數據挖掘工具回答“哪些客戶最可能對促銷作出反應，為什么他會這樣？”、“哪些商品之間具有潛在的聯(lián)系？”、“下一個月，在天津的銷售部門的情況將會如何？為什么？”等。而DSS系統(tǒng)回答“今年銷售總量比去年多多少？從而預測明年銷售總量”、“三月份中，在天津的銷售部門的情況如何？從而推測在北京的銷售部門情況”，所以，數據挖掘的出現(xiàn)使決策支持工具跨人了一個新階段。

數據挖掘技術能夠幫助用戶從歷史性數據中挖掘知識，進而支持決策，極大地吸引用戶，而用戶造就的數十億美元的市場又極大地吸引了數據庫廠商，各大公司紛紛開始了自己的數據挖掘工具產品的研制工作。

目前為數據挖掘所提供的主要工具有：聯(lián)機分析處理（OLAP：On-Line Analytical Processing）工具及包含一些AI技術的工具，如IDIS（InformationD iscovery System）。OLAP描述的是一種多維數據服務（這里的“維”是指人們觀察世界的角度，如時間、地域、業(yè)務等），這種服務的設計目的是保證分析員、經理和決策者針對特定問題，通過快速、一致、交互式的實時數據訪問和分析，獲得有創(chuàng)意的發(fā)現(xiàn)。目前，典型的產品有Pilot公司推出的Lightship產品，Oracle公司新近推出的Orcale Express系列產品，美國BusinessObjects公司于1996年推出的Business Miner產品。Business Miner產品是一個桌面式數據發(fā)掘工具，可在所有Windows平臺（包括Windows95，Windows NT和Windows 3.x）上使用。（萬方數據）