數(shù)據(jù)挖掘的“無底洞”

申請免費(fèi)試用、咨詢電話：400-8352-114

由于缺失商業(yè)分析和監(jiān)督程序，數(shù)據(jù)挖掘工具在美國反恐中的應(yīng)用陷于困頓。

2001 年9 月27 日晚，紐約城市大學(xué)計(jì)算機(jī)科學(xué)教授Howard Rubin 正在家進(jìn)行贖罪日禱告，這一天是希伯來歷中最神圣的節(jié)日。此時(shí)，他家中的電話鈴聲響起，電話那頭是前美國政府信息機(jī)構(gòu)的一位最重要的官員。他問Rubin是否了解政府可以用來抓捕恐怖分子的IT技術(shù)。在克林頓執(zhí)政期間，Rubin 曾就一些技術(shù)課題向美國政府當(dāng)局提供過建議。但由于缺乏商業(yè)分析和足夠的監(jiān)督，Rubin 的答案——數(shù)據(jù)挖掘如今成為旋繞在這個(gè)智囊團(tuán)大部分成員頭上的技術(shù)咒語。

就監(jiān)督程序來說，美國政府為防止恐怖主義而開展的數(shù)據(jù)挖掘工作是一場災(zāi)難

“無底洞”

在IT 領(lǐng)域，數(shù)據(jù)挖掘是一個(gè)相對較新的應(yīng)用領(lǐng)域，它把統(tǒng)計(jì)模型、高性能處理器和人工智能結(jié)合在一起，以發(fā)現(xiàn)并恢復(fù)有價(jià)值的信息，否則這些信息可能會(huì)一直被埋藏在海量數(shù)據(jù)中。零售商可以利用數(shù)據(jù)挖掘技術(shù)預(yù)測消費(fèi)者的購物模式，信用卡公司可以用它查明信用卡欺詐。911 恐怖襲擊之后，美國政府開始利用數(shù)據(jù)挖掘技術(shù)，幫助安全部門預(yù)防未來的恐怖襲擊。

現(xiàn)在，美國政府已經(jīng)非常依賴數(shù)據(jù)挖掘技術(shù)，特別是在情報(bào)界?！?004 美國聯(lián)邦政府會(huì)計(jì)總署報(bào)告》顯示，美國政府部門積極參與或正在籌劃的數(shù)據(jù)挖掘項(xiàng)目為199個(gè)，其中14個(gè)項(xiàng)目明確用于抓捕恐怖分子和預(yù)防恐怖襲擊。這些項(xiàng)目還不包括美國中情局和國土安全部等7個(gè)部門的自有項(xiàng)目。在過去1年中，美國媒體披露，這幾個(gè)部門都有一些高度機(jī)密的計(jì)劃，涉及收集和搜尋電話記錄、電子郵件和其他個(gè)人信息中的數(shù)據(jù)模型樣本。當(dāng)這項(xiàng)計(jì)劃披露后，布什總統(tǒng)和其他政府高官都竭力為此辯解，理由是它對反恐很重要。

有關(guān)專家指出，由于政府對這些數(shù)據(jù)挖掘工具的大力投入，以及情報(bào)安全部門所面臨的巨大壓力，所以相關(guān)官員批準(zhǔn)這些項(xiàng)目的速度之快，大大超乎人們的想像?！叭绻@些項(xiàng)目有價(jià)值，人們就不會(huì)站到反對數(shù)據(jù)挖掘的陣營一邊，不接受政府的這種做法?！盧obertPopp說，他是美國國防先進(jìn)技術(shù)研究計(jì)劃下屬的信息識別辦公室主任。當(dāng)然，政府官員對實(shí)施數(shù)據(jù)挖掘項(xiàng)目都有著直白的理由——“我們想保衛(wèi)我
們的國家和我們的生活方式?！盧obert Gourley說，他是美國國防情報(bào)局（Defense Intelligence
Agency）的首席技術(shù)官。

然而一些專家開始對此進(jìn)行置疑——這些沒有樣本對象范圍限制、沒有預(yù)算限制和時(shí)間表限制的IT戰(zhàn)略能否最佳地實(shí)現(xiàn)預(yù)期目標(biāo)。這是美國情報(bào)機(jī)構(gòu)CIO們每天都要面對的難題。無論這些項(xiàng)目的意義如何重大，不加以控制，往往都會(huì)流于失敗。據(jù)Sandish Group（一家跟蹤IT成功率的分析公司）的觀點(diǎn)，缺乏監(jiān)督是IT 項(xiàng)目失敗的主要原因?！罢疀]有人從IT價(jià)值角度看待數(shù)據(jù)挖掘工具，我也描述不出數(shù)據(jù)挖掘的價(jià)值，但我不會(huì)停止對它的使用?！盨teve Cooper說，他是美國國土安全部（United States Department of Homeland Security, DHS）的CIO。

根據(jù)他的說法，沒有人會(huì)為政府的IT 項(xiàng)目做商業(yè)分析，以確定政府真的從IT 投資中獲得了回報(bào)。政府為自己提供的有關(guān)項(xiàng)目是否合乎經(jīng)濟(jì)原則的解釋似乎很充分——如果某個(gè)項(xiàng)目有可能抓住哪怕一名恐怖分子，那么它就是值得的。不過，假設(shè)美國政府管理IT 項(xiàng)目的歷史記錄特別糟糕，那么強(qiáng)制要求其對項(xiàng)目進(jìn)行優(yōu)先級劃分和管理控制，結(jié)果反而適得其反。專家擔(dān)心某些IT 項(xiàng)目會(huì)拖延幾年，而有些好項(xiàng)目會(huì)因?yàn)樯婕半[私和公民自由等被束之高閣。實(shí)際上，美國國會(huì)已經(jīng)中止了大量數(shù)據(jù)挖掘項(xiàng)目，包括國防部的“全面信息識別計(jì)劃”（Total Information Awareness project）。這項(xiàng)計(jì)劃于2003 年野心勃勃地啟動(dòng)，它試圖建立一個(gè)巨型數(shù)據(jù)庫，收集、分析可能的恐怖分子的任何數(shù)據(jù)。

因此，數(shù)據(jù)挖掘?qū)＜抑赋?，企業(yè)的CIO 運(yùn)用IT 戰(zhàn)略，可以保證項(xiàng)目不脫離自己的控制，政府也需要對反恐的IT 戰(zhàn)略進(jìn)行類似的商業(yè)分析。“這些項(xiàng)目有著極為合理的目標(biāo)，但沒有監(jiān)控程序?！盕red Cate 說，他是印第安納大學(xué)應(yīng)用虛擬安全研究中心主任。

監(jiān)控缺失

目前，美國政府的數(shù)據(jù)挖掘項(xiàng)目分為兩大類：一類是基于監(jiān)控對象的系統(tǒng)。它能夠幫助分析專家跟蹤某個(gè)恐怖頭目；另一類是基于行為模式的系統(tǒng)，它可以在多種活動(dòng)方式中搜尋可疑行為。基于監(jiān)控對象的數(shù)據(jù)挖掘技術(shù)吸引了諸多工作人員和學(xué)者，被稱作關(guān)聯(lián)分析法（link analysis）。它利用數(shù)據(jù)，在表面上沒有關(guān)系的人或事件之間建立關(guān)聯(lián)。如果你知道某人是恐怖分子，那么就可以使用關(guān)聯(lián)軟件發(fā)現(xiàn)嫌疑犯可能正在影響的其他人。很多專家都認(rèn)為，美國國土安全部可以分析上百萬條國內(nèi)電話記錄的系統(tǒng)就屬于關(guān)聯(lián)分析系統(tǒng)。

“關(guān)聯(lián)分析項(xiàng)目只有在較窄的樣本對象范圍內(nèi)才有用。”Valdis Krebs說，他是一位IT 咨詢顧問。在911 慘案之后，他畫出了著名的顯示劫機(jī)涉案關(guān)系人的關(guān)聯(lián)圖。成功的關(guān)聯(lián)分析需要一個(gè)可靠的關(guān)系起始點(diǎn)，但是當(dāng)分析不規(guī)律行為的時(shí)候，這種方法就變得不那么有效?！爱?dāng)你觀察大量樣本對象時(shí)，你就很難區(qū)分他們是恐怖分子還是你不認(rèn)識的其他人。”Krebs說。如果美國政府把網(wǎng)撒得太大，項(xiàng)目成本就會(huì)更高、耗費(fèi)時(shí)間就會(huì)更長，且會(huì)增加“誤報(bào)”風(fēng)險(xiǎn)。

用于反恐的數(shù)據(jù)挖掘技術(shù)想得到提高，那么需要改變的不只是業(yè)務(wù)規(guī)則，一個(gè)數(shù)據(jù)挖掘系統(tǒng)如果沒有優(yōu)質(zhì)數(shù)據(jù)的支持，就什么也不是。“單獨(dú)使用名字來監(jiān)測嫌疑對象，不是一種有希望的方法。”Jeff Jonas 說，他是數(shù)據(jù)挖掘知識領(lǐng)域內(nèi)的超級明星，他曾經(jīng)讓拉斯維加斯的賭場免遭詐騙。

企業(yè)的CIO運(yùn)用IT戰(zhàn)略，可以保證項(xiàng)目不脫離自己的控制，政府也需要對IT戰(zhàn)略進(jìn)行類似的商業(yè)分析

911 之后，美國政府開始用Capps 二代系統(tǒng)替換老系統(tǒng)（CappsII，即電腦輔助乘客預(yù)檢系統(tǒng)II ，Computer AssistedPassenger Pre-Screening system II，用于對每位乘機(jī)者的背景進(jìn)行更深入調(diào)查，將個(gè)人信息和美國政府掌握的犯罪紀(jì)錄、情報(bào)資料進(jìn)行對比）。老系統(tǒng)只能跟蹤從航空公司收集來的乘客信息，包括姓名、信用卡號碼、地址等，而CappsII 系統(tǒng)增加了從數(shù)據(jù)處理公司那里精選來的數(shù)據(jù)。2003 年，CappsII 剛開始實(shí)施時(shí)，就聲名狼藉。當(dāng)時(shí)，有媒體揭露，美國西北航空公司和JetBlue 航空公司把乘客記錄交給了美國交通安全管理局（Transportation Security Administration，TSA），從而用這些數(shù)據(jù)來檢驗(yàn)新系統(tǒng)。

2004 年8 月1日，交通安全管理局取消了對CappsII系統(tǒng)超過1億美元的投資，轉(zhuǎn)而推動(dòng)“安全飛”（Secure Flight）的新系統(tǒng)。Secure Flight 系統(tǒng)和它的“前輩”有很多共通的特點(diǎn)，最明顯的就是把乘客記錄和從商業(yè)數(shù)據(jù)庫購買來的數(shù)據(jù)結(jié)合在一起。2005 年9 月，Secure Flight 系統(tǒng)工作組——一個(gè)由數(shù)據(jù)挖掘和隱私專家組成的團(tuán)隊(duì)，被交通安全管理局請來審查這個(gè)項(xiàng)目，他們用9個(gè)月時(shí)間對系統(tǒng)進(jìn)行分析，最終提交了一份對該系統(tǒng)存亡極為關(guān)鍵的機(jī)密報(bào)告文獻(xiàn)。1周之內(nèi)，這個(gè)報(bào)告被掛到了互聯(lián)網(wǎng)上。安全專家Bruce Schneier曾是這個(gè)工作組的成員。他認(rèn)為，如果缺乏恰當(dāng)?shù)臉颖緦ο?，?shù)據(jù)挖掘反而會(huì)破壞反恐IT工作的努力。他把CappsII和Secure Flight看做這一觀點(diǎn)的兩個(gè)佐證。Schneier說：“即便努力設(shè)計(jì)的數(shù)據(jù)挖掘系統(tǒng)能夠過濾電話記錄或信用卡交易，且能夠以99％的成功率定位恐怖分子，它依然不能算做可以放心的好調(diào)查工具。如果近3億美國人每天打10次電話，那么1年就會(huì)制造出1萬億條要由政府挖掘的數(shù)據(jù)。此時(shí)，即便有99％的精度，每年也會(huì)產(chǎn)生100億條的漏報(bào)。99%的準(zhǔn)確度依然意味著會(huì)漏掉一些真正的恐怖分子，數(shù)據(jù)挖掘是一種浪費(fèi)錢的徒勞行為?！?/FONT>

Schneier指出，相比反恐應(yīng)用，數(shù)據(jù)挖掘更能在預(yù)防信用卡欺詐等領(lǐng)域發(fā)揮作用。這是由于詐騙高手們的行動(dòng)方式是可以預(yù)測的，并且信用卡數(shù)據(jù)挖掘系統(tǒng)的操作人員已經(jīng)畫出了一條清晰的ROI（投資匯報(bào)率）曲線——這條曲線處在一個(gè)可以接受的漏報(bào)或誤報(bào)水平上，且操作人員據(jù)此相應(yīng)調(diào)整了整個(gè)系統(tǒng)的參數(shù)設(shè)置。例如大多數(shù)信用卡發(fā)卡機(jī)構(gòu)都愿意接受幾千美元的損失，以防止消費(fèi)者每次透支過限走出結(jié)賬柜臺時(shí)警鈴大作。如果誤報(bào)情況不經(jīng)常發(fā)生，消費(fèi)者不會(huì)介意偶爾的警報(bào)打擾，他們甚至有可能看作這是發(fā)卡機(jī)構(gòu)正在努力保護(hù)自己的一種信號。

Capps II 和Secure Flight 卻沒有這樣的投資回報(bào)率分析機(jī)制。美國政府并沒有重新考量這兩個(gè)項(xiàng)目的目標(biāo)和應(yīng)用范圍，只是把它們擴(kuò)展到了包括描繪嫌疑人外形輪廓、追捕普通罪犯等應(yīng)用上。由于對這兩個(gè)IT項(xiàng)目的目標(biāo)定義過于寬泛，導(dǎo)致它們到如今依然不能發(fā)揮作用?！敖煌ò踩芾砭謴膩聿辉敢庵匦略u估項(xiàng)目的樣本覆蓋范圍，所以現(xiàn)在我們依然不能擁有一個(gè)自動(dòng)化系統(tǒng)，能把乘客姓名和恐怖分子觀察名單上的姓名相匹配。”

盡管像CappsII 這樣的項(xiàng)目已經(jīng)成為明顯的失敗案例，但數(shù)據(jù)挖掘?qū)＜乙廊辉诠拇禂?shù)據(jù)挖掘會(huì)成為反恐的有效工具，且由于這項(xiàng)技術(shù)非常新，隨著時(shí)間的推移，它會(huì)堅(jiān)持到對事情更有幫助的那一天，前提是如果它能得到正確管理。但是美國政府的大多數(shù)數(shù)據(jù)挖掘項(xiàng)目并沒有經(jīng)過嚴(yán)格的商業(yè)分析?，F(xiàn)在，美國情報(bào)部門CIO都認(rèn)為這是困擾他們很久的問題。最近，美國國家科學(xué)院（National Academy of Sciences，NAS）任命了一個(gè)委員會(huì)，開發(fā)出了一套美國政府能用來評估反恐?jǐn)?shù)據(jù)挖掘項(xiàng)目效率的方法，但是它的報(bào)告目標(biāo)截止期限已經(jīng)在1 年之后了?！熬捅O(jiān)督程序來說，美國政府為防止恐怖主義而開展的數(shù)據(jù)挖掘工作是一場災(zāi)難?！保╟eocio-CCW）