當前位置:工程項目OA系統(tǒng) > 泛普各地 > 陜西OA系統(tǒng) > 西安OA系統(tǒng) > 西安OA快博
如何評估和應用監(jiān)督模型
在生產系統(tǒng)中使用監(jiān)督模型進行預測之前,評估監(jiān)督模型的質量很重要。用戶可以選擇針對問題的最佳模型,并用它來預測應用數(shù)據集的目標值。
為了測試監(jiān)督模型,將歷史數(shù)據分成兩個數(shù)據集,一個用于構造模型,另一個用于測試模型。測試數(shù)據集實例通常不用于構造模型,目的是為了真正評估模型的預測正確性。JDM為分類模型支持四種流行的測試度量: 預測準確率、模糊矩陣、受試者工作特征(ROC)和提升率。這些度量的計算方式是通過比較預測目標值和實際目標值。這里探討在ABCBank客戶流失問題這一環(huán)境下的這些測試度量。
評估分類模型的質量
在客戶流失問題中,假定測試數(shù)據集有1000個實例,分類模型正確預測了910個實例、錯誤預測了90個實例。那么模型預測該數(shù)據集的準確率為910/1000 = 0.91,即91%。
假設在910個正確的預測中,750個客戶是非流失客戶,剩余160個是流失客戶。在90個錯誤的預測中,60個被預測為流失客戶,而實際上是非流失客戶;30個被預測為非流失客戶,而實際上是流失客戶。為此,我們使用名為模糊矩陣的方法。模糊矩陣是一張二維的N×N表,表明了分類模型對特定測試數(shù)據進行的正確預測和不正確預測的數(shù)量,其中N代表目標屬性值的數(shù)量。之所以被稱為模糊矩陣,因為它指出了模型在何處變得模糊,即做出不正確的預測。
雖然在本例中模糊矩陣度量的是目標值的錯誤分類,但錯誤否定的成本是錯誤肯定的三倍。為了從業(yè)務角度評估模型質量,除了準確率外,我們還需要度量成本。如果指定了成本矩陣,考慮成本值來度量性能、選擇成本值最小的模型很重要。
受試者工作特征(ROC)是比較分類模型質量的另一個方法。ROC圖把錯誤肯定率放在X軸上、把真肯定率放在Y軸上,如圖1所示。其中,錯誤肯定率是錯誤肯定數(shù)量與實際否定總數(shù)之比。同樣,真肯定率是真肯定數(shù)量與實際肯定總數(shù)之比。
想繪制ROC圖,測試任務就要確定在不同概率閾值下,錯誤肯定和真肯定的比率。超過概率閾值預測的肯定目標值的概率就被認為是肯定預測。不同的概率閾值導致出現(xiàn)不同的錯誤肯定率和真肯定率。如圖1(a)所示。
圖1(b)顯示了兩個分類模型在不同概率閾值下繪制的ROC曲線。如果錯誤肯定率不同,這些模型的性能也不同。ROC曲線下方面積越大,模型性能一般越高。
提升率和累積增益也是評估分類模型效果的常用度量。提升率是使用分類模型獲得的結果與使用隨機選擇獲得的結果之比。累積增益是由模型通過數(shù)據分位數(shù)(quantile)決定的肯定響應比例。實例通常分成10個或者100個分位數(shù),可以根據這些分位數(shù)得出提升率和累積增益,如表1所示。提升圖和累積增益圖往往用做評估性能模型的直觀教具。了解累積提升和累積增益的計算方式有助于了解累積提升和累積增益圖,如圖2所示。
獲得預測結果
使用測試數(shù)據評估了模型性能后,用戶可以選擇針對問題的最佳模型,并用它來預測應用數(shù)據集的目標值。有些算法可能在最終模型中使用輸入屬性的一個子集。這個屬性子集稱為模型特征(model signature),它可以從模型中獲取,確定應用模型需要哪些屬性。
本文利用簡單的決策樹模型來演示模型應用操作。該模型有三個輸入屬性:年齡、資本收益和平均儲蓄余額,如上文B23版表2所示。模型只用了其中的兩個屬性:年齡和平均儲蓄余額,如圖3所示。這兩個屬性構成了模型特征。因而,要使用這個模型,該模型的應用數(shù)據集只需要包含有年齡和平均儲蓄余額兩個屬性值的實例。要了解應用過程,不妨考慮有兩個客戶實例:客戶Jones和Smith的應用數(shù)據集,如表2所示。
分類應用操作可以使用各種內容來生成預測結果,譬如預測類別、概率、成本。在JDM中,可通過各種形式顯示應用預測結果,譬如頂層預測細節(jié)、頂節(jié)點或底節(jié)點預測等。預測結果的選擇取決于問題需求以及用戶想看到的信息類型。在本例中,我們生成了頂層預測值及對應的概率和成本,以確認流失客戶。
即使將模型應用到數(shù)據集上很常見,但如果客戶屬性發(fā)生變化,預測和概率可能會隨之變化。譬如說,如果客戶打電話給銀行要求把大筆資金從儲蓄賬戶轉到另一家銀行,呼叫中心的應用系統(tǒng)就會顯示預先計算的預測,表明該客戶可能會流失。這基于客戶的前一個賬戶余額。如果轉賬,這可能會改變模型對該客戶的預測。因此,根據最新數(shù)據實時重新評估客戶很有用。這可以使用JDM的單記錄應用功能就可以實現(xiàn),旨在提供實時響應機制。 (ccw)
- 1JMP和Minitab的比較
- 2Windows Vista服務安全強化的十大策略
- 3解讀版本控制工具
- 4靜態(tài)數(shù)據加密有效地防止信息泄漏
- 5十大戰(zhàn)略性技術問鼎2008
- 6加密電子郵件
- 7泛普OA軟件中資產送修的操作頁面是怎樣的?
- 8新光增持中百集團成第一大單一股東
- 9兩大用戶的VPN部署經驗
- 10怎樣用iReport制作Web報表
- 11中國進入汽車新召回時代 或是三包出臺前奏
- 122013年南京家裝市場剛需裝修仍占主導地位
- 13ITIL與6sigma的關聯(lián)與應用分析
- 14網友實踐:一個木馬病毒的查殺過程
- 15實現(xiàn)網絡接入與內外用戶安全的均衡
- 16國務院辦公廳關于2013年部分節(jié)假日安排的通知
- 17專家指導 深入剖析服務器虛擬化成本
- 18安倍稱擔憂其任首相后中日爆發(fā)戰(zhàn)爭不現(xiàn)實
- 19客戶做自己OA系統(tǒng)的主人始終是泛普軟件的最終目標
- 20歷數(shù)云計算為安全所帶來的七大利好
- 21韓美暫時評價認為朝鮮火箭發(fā)射成功
- 22掌握家裝洽談五大技巧-2
- 23軟件開發(fā)技術的突破性進展
- 24王岐山要求美國停止對中國企業(yè)政治背景審查
- 252008年中國.NET技術應用趨勢分析
- 26安倍外交開場混亂 訪美計劃被迫推遲首訪改東南亞三國
- 27SOA的十大技術理論體系
- 28企業(yè)信息化大講堂之路由器基礎知識
- 29HTTP過濾將對安全市場產生深遠影響
- 30多種數(shù)據復制技術簡析
成都公司:成都市成華區(qū)建設南路160號1層9號
重慶公司:重慶市江北區(qū)紅旗河溝華創(chuàng)商務大廈18樓