數(shù)據(jù)挖掘技術及其應用現(xiàn)狀

說明：NN=Neural Net（神經(jīng)網(wǎng)絡）; DT=Decision Tree（決策樹）;B=Bayes（貝葉斯方法）; kM=k-Means（動態(tài)聚類）; kNN=k-Nearest Neighbor（最鄰近算法）; S=Traditional Statistical Techniques（傳統(tǒng)統(tǒng)計技術）; P=Prediction（預測）; TS=Time Series（時間序列）; C=Clustering（聚類方法）; A=Association（關聯(lián)方法）; W32=Windows 95/98/NT; U=UNIX; P=Parallel Scalability (in at least one OS)（并行方式）; A-S=API or SDK available（API或SDK方法可用）; SQL=Uses Special SQL Extensions

三、數(shù)據(jù)挖掘的實施步驟

前面我們討論了數(shù)據(jù)挖掘的定義，方法和工具，現(xiàn)在關鍵的問題是如何實施，其一般的步驟如下：

問題理解和提出 —> 數(shù)據(jù)準備 —> 數(shù)據(jù)整理 —> 建立模型 —> 評價和解釋

1．　問題理解和提出：在開始數(shù)據(jù)挖掘之前最基礎的就是理解數(shù)據(jù)和實際的業(yè)務問題，在這個基礎之上提出問題，對目標有明確的定義。

2．　數(shù)據(jù)準備：獲取原始的數(shù)據(jù)，并從中抽取一定數(shù)量的子集，建立數(shù)據(jù)挖掘庫，其中一個問題是如果企業(yè)原來的數(shù)據(jù)倉庫滿足數(shù)據(jù)挖掘的要求，就可以將數(shù)據(jù)倉庫作為數(shù)據(jù)挖掘庫。

3．　數(shù)據(jù)整理：由于數(shù)據(jù)可能是不完全的、有噪聲的、隨機的，有復雜的數(shù)據(jù)結構，就要對數(shù)據(jù)進行初步的整理，清洗不完全的數(shù)據(jù)，做初步的描述分析，選擇與數(shù)據(jù)挖掘有關的變量，或者轉(zhuǎn)變變量。

4．　建立模型：根據(jù)數(shù)據(jù)挖掘的目標和數(shù)據(jù)的特征，選擇合適的模型。

5．　評價和解釋：對數(shù)據(jù)挖掘的結果進行評價，選擇最優(yōu)的模型，作出評價，運用于實際問題，并且要和專業(yè)知識結合對結果進行解釋。

以上的步驟不是一次完成的，可能其中某些步驟或者全部要反復進行。

許多研究結構和公司結合自己的數(shù)據(jù)挖掘軟件，提出數(shù)據(jù)挖掘過程模型，值得借鑒的是SAS研究所和SPSS公司提出的方案。

SAS研究所認為數(shù)據(jù)挖掘是對數(shù)據(jù)進行選擇，探索，調(diào)整和建模來揭示數(shù)據(jù)中未知的模式，開發(fā)了圖形界面的SAS/EM來進行數(shù)據(jù)挖掘：

(1)Sample —— 抽樣：從大量的數(shù)據(jù)中抽取與探索問題有關的數(shù)據(jù)子集，這個樣本應該包含足夠的信息，又易于處理。

(2)Explore —— 探索：對數(shù)據(jù)子集進行探索，尋找出與期望的關系和未知的模式

(3)Modify —— 調(diào)整：對數(shù)據(jù)進行探索后，有了初步的了解，就必須對數(shù)據(jù)進行增減，選擇，轉(zhuǎn)化，量化，保證有效進行

(4)Model —— 建模：應用分析工具，建立模型，進行預測

(5)Assess —— 評價：評價數(shù)據(jù)挖掘結果的有效性和可靠性

SPSS公司提出了5A的模型，進行數(shù)據(jù)挖掘，認為任何數(shù)據(jù)挖掘方法學都由5個基本元素組成：

(1)Assess —— 正確、徹底的了解業(yè)務需求及數(shù)據(jù)

(2)Access —— 獲取數(shù)據(jù)，做適當?shù)恼{(diào)整

(3)Analyze —— 選擇適當?shù)姆治?、驗證方法和工具

(4)Act —— 推薦性、有說服力的原型演示

(5)Automate —— 提供優(yōu)秀的自動化軟件。

四、數(shù)據(jù)挖掘應用現(xiàn)狀

數(shù)據(jù)挖掘所要處理的問題，就是在龐大的數(shù)據(jù)庫中找出有價值的隱藏事件，并且加以分析，獲取有意義的信息，歸納出有用的結構，作為企業(yè)進行決策的依據(jù)。其應用非常廣泛，只要該產(chǎn)業(yè)有分析價值與需求的數(shù)據(jù)庫，皆可利用Mining工具進行有目的的發(fā)掘分析。常見的應用案例多發(fā)生在零售業(yè)、制造業(yè)、財務金融保險、通訊及醫(yī)療服務：

(1)商從顧客購買商品中發(fā)現(xiàn)一定的關系，提供打折購物券等，提高銷售額

(2)保險公司通過數(shù)據(jù)挖掘建立預測模型，辨別出可能的欺詐行為，避免道德風險，減少成本，提高利潤

(3)在制造業(yè)中，半導體的生產(chǎn)和測試中都產(chǎn)生大量的數(shù)據(jù)，就必須對這些數(shù)據(jù)進行分析，找出存在的問題，提高質(zhì)量

(4)電子商務的作用越來越大，可以用數(shù)據(jù)挖掘?qū)W(wǎng)站進行分析，識別用戶的行為模式，保留客戶，提供個性化服務，優(yōu)化網(wǎng)站設計

一些公司運用數(shù)據(jù)挖掘的成功案例，顯示了數(shù)據(jù)挖掘的強大生命力：

美國AutoTrader.com是世界上對大的汽車銷售站點，每天都會有大量的用戶對網(wǎng)站上的信息點擊，尋求信息，其運用了SAS軟件進行數(shù)據(jù)挖掘，每天對數(shù)據(jù)進行分析，找出用戶的訪問模式，對產(chǎn)品的喜歡程度進行判斷，并設特定服務娶，取得了成功。

Reuteres是世界著名的金融信息服務公司，其利用的數(shù)據(jù)大都是外部的數(shù)據(jù)，這樣數(shù)據(jù)的質(zhì)量就是公司生存的關鍵所在，必須從數(shù)據(jù)中檢測出錯誤的成分。Reuteres用SPSS的數(shù)據(jù)挖掘工具SPSS/Clementine，建立數(shù)據(jù)挖掘模型，極大地提高了錯誤的檢測，保證了信息的正確和權威性。

Bass Export是世界最大的啤酒進出口商之一，在海外80多個市場從事交易，每個星期傳送23000份定單，這就需要了解每個客戶的習慣，如品牌的喜好等，Bass Export用IBM的Ineelligent Miner很好的解決了上述問題。

五、數(shù)據(jù)挖掘中存在的問題

盡管數(shù)據(jù)挖掘有如此多的優(yōu)點，但數(shù)據(jù)挖掘也面臨著許多的問題，這也為數(shù)據(jù)挖掘的未來的發(fā)展提供了更大的空間。

1．　數(shù)據(jù)挖掘的基本問題就在于數(shù)據(jù)的數(shù)量和維數(shù)，數(shù)據(jù)結構也因此顯的非常復雜，如何進行探索，選擇分析變量，也就成為首先要解決的問題。

2．　面對如此大的數(shù)據(jù)，現(xiàn)有的統(tǒng)計方法等都遇到了問題，我們直接的想法就是對數(shù)據(jù)進行抽樣，那么怎么抽樣，抽取多大的樣本，又怎樣評價抽樣的效果，這些都是值得研究的難題。

3．　既然數(shù)據(jù)是海量的，那么數(shù)據(jù)中就會隱含一定的變化趨勢，在數(shù)據(jù)挖掘中也要對這個趨勢做應有的考慮和評價。

4．　各種不同的模型如何應用，其效果如何評價。不同的人對同樣的數(shù)據(jù)進行挖掘，可能產(chǎn)生不同的結果，甚至差異很大，這就涉及到可靠性的問題。

5．　當前互聯(lián)網(wǎng)的發(fā)展迅速，如何進行互聯(lián)網(wǎng)的的數(shù)據(jù)挖掘，還有文本等非標準數(shù)據(jù)的挖掘，都引起了極大的興趣。

6．　數(shù)據(jù)挖掘涉及到數(shù)據(jù)也就碰到了數(shù)據(jù)的私有性和安全性。

7．　數(shù)據(jù)挖掘的結果是不確定的，要和專業(yè)知識相結合才能對其做出判斷。

總之，數(shù)據(jù)挖掘只是一個工具，不是萬能的，它可以發(fā)現(xiàn)一些潛在的用戶，但是不會告訴你為什么，也不能保證這些潛在的用戶成為現(xiàn)實。數(shù)據(jù)挖掘的成功要求對期望解決問題的領域有深刻的了解，理解數(shù)據(jù)，了解其過程，才能對數(shù)據(jù)挖掘的結果找出合理的解釋。例如曾經(jīng)用數(shù)據(jù)挖掘找出的啤酒和尿布的例子，如何去解釋這種現(xiàn)象，是應該將兩者放在一起還是分開銷售，這還需要對消費心理學有所研究才能做出決定，而不是數(shù)據(jù)挖掘能力所及的了。

來源：情報官世界