證券行業(yè)從數(shù)據(jù)倉庫＂挖＂到財務(wù)預(yù)警

申請免費(fèi)試用、咨詢電話：400-8352-114

從數(shù)據(jù)倉庫"挖"到財務(wù)預(yù)警 預(yù)警前期兩項準(zhǔn)備工作 確立預(yù)警系統(tǒng)關(guān)鍵指標(biāo) 分享四點(diǎn)成功經(jīng)驗(yàn) 

年終歲末，國內(nèi)的股市一反疲態(tài)牛氣沖天，上海證券交易所（以下簡稱上交所）日均交易量飆升，已高達(dá)500多億元。在這片數(shù)字浪潮中，上交所的數(shù)據(jù)倉庫系統(tǒng)大放異彩。按照每筆交易平均12000元計算，500億元需要處理400多萬筆交易，交易筆數(shù)之高讓倫敦證券交易所相形見絀。而如此多的交易數(shù)據(jù)，僅需半個小時就可存入數(shù)據(jù)倉庫。

上海證券交易所交易大廳

從數(shù)據(jù)倉庫"挖"到財務(wù)預(yù)警

1990年11月底成立的上交所，16年來積累了大量的交易歷史數(shù)據(jù)，為有效提高決策支持水平、市場監(jiān)管水平和服務(wù)水平，于2002年啟動了數(shù)據(jù)倉庫兩期項目。在上交所工程師鄭斌祥看來，數(shù)據(jù)倉庫的最大優(yōu)勢在于，它可通過單一視圖提供深入細(xì)致的信息，幫助上交所從數(shù)據(jù)分析中發(fā)現(xiàn)風(fēng)險的苗頭，進(jìn)而采取主動的防范措施。

從2002 年到2005年，上交所完成了兩期數(shù)據(jù)倉庫的規(guī)劃、設(shè)計、實(shí)施與運(yùn)行，僅2002年完成的第一期項目就為15個業(yè)務(wù)部門提供了200多項應(yīng)用。

眾所周知，證券監(jiān)管、防范交易欺詐是上交所的重要職能，相關(guān)的分析工作涉及許多紙質(zhì)文件。但很少有人知道，這些紙面文件必須保留20年，時間長了，紙質(zhì)文件容易破損，降低乃至喪失法律效力。因此，對非結(jié)構(gòu)化數(shù)據(jù)的處理成為數(shù)據(jù)倉庫的要務(wù)之一。如今，上交所已經(jīng)完成了包括600萬頁紙質(zhì)非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的十幾個TB數(shù)據(jù)的清理工作。
 
股民也許并不清楚也不關(guān)心這些數(shù)據(jù)的意義，他們更關(guān)注的是如何找到股市黑馬，從而撈上一票。但對證券公司而言，如何通過這些數(shù)據(jù)尤其是上市企業(yè)的財務(wù)報表，判斷上市企業(yè)的財務(wù)風(fēng)險，從而保護(hù)股民利益卻至關(guān)重要。

財務(wù)風(fēng)險的終極表現(xiàn)就是公司破產(chǎn)，無能力履行債務(wù)償還責(zé)任。從企業(yè)財報數(shù)據(jù)入手，運(yùn)用數(shù)據(jù)挖掘方法，構(gòu)建上市公司財務(wù)風(fēng)險預(yù)警模型，預(yù)測可能出現(xiàn)財務(wù)風(fēng)險的上市公司，對于投資者及時調(diào)整投資決策、監(jiān)管層準(zhǔn)確識別盲目融資公司、投資銀行有效發(fā)掘潛在客戶都具有重要意義。這也是數(shù)據(jù)挖掘的價值所在。

于是，在建設(shè)數(shù)據(jù)倉庫的同時，上交所找到了原IBM全球銀行數(shù)據(jù)挖掘咨詢組組長劉世平，委托他新成立的公司--吉貝克信息技術(shù)有限公司，負(fù)責(zé)該項目設(shè)計階段的數(shù)據(jù)挖掘咨詢工作。

吉貝克信息技術(shù)有限公司董事長劉世平

吉貝克于2002年12月進(jìn)入項目組，由劉世平親自帶隊。憑著豐富的數(shù)據(jù)挖掘項目實(shí)施經(jīng)驗(yàn)，咨詢團(tuán)隊僅花了一個月的時間，就完成了數(shù)據(jù)挖掘戰(zhàn)略文檔的撰寫工作，并向上交所提交了18個數(shù)據(jù)挖掘主題及其解決策略的分析。吉貝克的效率與能力給上交所留下了深刻印象，它隨即又獲得了上交所的下一個項目--建立上市公司財務(wù)指標(biāo)預(yù)警系統(tǒng)。

預(yù)警前期兩項準(zhǔn)備工作

劉世平明白肩上的擔(dān)子不輕，他知道上交所的職能不僅是提供一個交易平臺，還要對上市公司進(jìn)行監(jiān)管，保證上市公司信息披露的及時性、完整性和準(zhǔn)確性。而上市公司的財務(wù)報表是其綜合實(shí)力的集中反映，上交所通過對上市公司財務(wù)報表的分析來建立一種基本判斷，實(shí)質(zhì)上，就是建立針對上市公司的風(fēng)險分析系統(tǒng)及其財務(wù)報表的誠信分析系統(tǒng)。

這樣就產(chǎn)生了兩個問題：一是如何通過財務(wù)報表的基本內(nèi)容，準(zhǔn)確判斷一家上市公司是否存在問題。換句話說，就是如何將財務(wù)報表指標(biāo)化，通過一些關(guān)鍵指標(biāo)了解上市公司是否誠信，其經(jīng)營是否處于健康狀態(tài)。二是上交所當(dāng)時已有837家上市公司，一個工作人員要負(fù)責(zé)幾十家上市公司的監(jiān)管，工作量非常大；而且隨著時間的推移，上市公司的數(shù)量還會不斷增加。

站在劉世平的角度看，兩個問題合成了一個問題，即如何幫助上交所提高監(jiān)管效率，并在控制人員規(guī)模的前提下，保證監(jiān)管質(zhì)量，這也是上交所的基本需求所在。從上交所的需求出發(fā)，劉世平率隊完成了兩項前期準(zhǔn)備工作：一是對上交所從事上市公司監(jiān)管的專家進(jìn)行訪談；二是對當(dāng)前的行業(yè)分類標(biāo)準(zhǔn)進(jìn)行分析和完善。

上交所有70多名財務(wù)專家，長期從事分析上市公司財務(wù)報表的工作，具有扎實(shí)的理論功底和豐富的實(shí)踐經(jīng)驗(yàn)。吉貝克仔細(xì)摸底之后，跟其中的18位專家進(jìn)行了深入的交流，從他們身上學(xué)到了很多實(shí)用的方法，例如怎么分析財務(wù)報表中的數(shù)據(jù)是否真實(shí)，從哪些角度判斷上市企業(yè)是否存在問題等等。

由于技術(shù)偏好和實(shí)踐經(jīng)驗(yàn)不同，專家的觀點(diǎn)和方法顯得差異很大，吉貝克并沒有對這些觀點(diǎn)和方法只作簡單的再展示，而是利用數(shù)據(jù)挖掘工具把專家們的認(rèn)識成果綜合起來，固化到系統(tǒng)中。
 
不過，接受訪談的專家也達(dá)成了一個共識：如果想對一家上市公司的財務(wù)報表進(jìn)行準(zhǔn)確分析和判斷，僅僅依靠從該企業(yè)的財務(wù)報表中發(fā)現(xiàn)問題是不夠的。要判斷一個企業(yè)的財務(wù)報表是不是真實(shí)，還必須與同行業(yè)的其他企業(yè)進(jìn)行比較。

于是劉世平又抽出大量時間，廣泛收集和深入分析了國際上應(yīng)用較廣的行業(yè)分類標(biāo)準(zhǔn)，最終確定了以我國國家標(biāo)準(zhǔn)和證監(jiān)會標(biāo)準(zhǔn)為基礎(chǔ)，參考、借鑒國際標(biāo)準(zhǔn)對上市公司進(jìn)行分類的指導(dǎo)思路。

確立預(yù)警系統(tǒng)關(guān)鍵指標(biāo)

在訪談過程中，劉世平掌握了上交所專家們在分析財務(wù)報告、判斷企業(yè)狀況時重點(diǎn)關(guān)注的指標(biāo)，隨后利用統(tǒng)計學(xué)的方法，建立了上市公司財務(wù)指標(biāo)預(yù)警系統(tǒng)。

預(yù)警系統(tǒng)主要包括五個模塊。第一個模塊是上市公司財務(wù)指標(biāo)展示，通過這個模塊可以清晰看到上市公司的基本財務(wù)指標(biāo)，以及指標(biāo)的整體變化情況和變化趨勢。

第二個模塊是上市公司單指標(biāo)預(yù)警。當(dāng)一家上市公司的某項財務(wù)指標(biāo)超出一定范圍時，模塊會以非常直觀的方式給出警告標(biāo)志，例如通過設(shè)置財務(wù)風(fēng)險預(yù)警條件，系統(tǒng)可自動確定需要重點(diǎn)關(guān)注的上市公司，提出預(yù)警信號；同時還設(shè)置了財務(wù)風(fēng)險預(yù)警的級別，"一面紅旗"代表需要重點(diǎn)關(guān)注，"兩面紅旗"代表嚴(yán)重偏離，紅旗越多，說明財務(wù)指標(biāo)偏離正常的程度越大，足以引起監(jiān)管人員的重視，大大減輕了監(jiān)管人員的工作強(qiáng)度。

如果只對一個企業(yè)的關(guān)鍵指標(biāo)做縱向比較，難以得出準(zhǔn)確的結(jié)論。因此，預(yù)警系統(tǒng)的第三個模塊就是建立杜邦模型，對上市公司的關(guān)鍵指標(biāo)進(jìn)行橫縱兩個方面的綜合比較。首先，對于同一個企業(yè)，抓住一條主線，把某項指標(biāo)全部肢解出來，對不同年份的情況進(jìn)行縱向比較；其次，以同類企業(yè)中的一家為基礎(chǔ)參照系進(jìn)行比較，可以很快發(fā)現(xiàn)企業(yè)狀態(tài)是否良好。

關(guān)鍵業(yè)績指標(biāo)是第四個模塊。每家上市公司都含有盈利率、負(fù)債率等十幾個關(guān)鍵指標(biāo)，吉貝克采用了儀表盤的方式，直觀展示這些業(yè)績指標(biāo)。根據(jù)儀表盤所示區(qū)間，可以輕易發(fā)現(xiàn)企業(yè)當(dāng)前的業(yè)績情況，用戶即使在萬里之外，也像坐在監(jiān)控企業(yè)的駕駛艙中，沒有距離感；。

第五個模塊是企業(yè)財務(wù)報表診斷書。診斷書共分十二項指標(biāo)，從盈利性、成長性等方面來幫助監(jiān)管人員做出準(zhǔn)確判斷，就像醫(yī)生開出的診斷書一樣，不僅有每家上市公司關(guān)鍵指標(biāo)的當(dāng)前值、歷史值及取值區(qū)間，還有該企業(yè)所在行業(yè)的區(qū)間值等。

對于上市公司而言，除了專家訪談得出的關(guān)鍵財務(wù)指標(biāo)外，還存在許多非財務(wù)的指標(biāo)，比如公司治理結(jié)構(gòu)、獨(dú)立董事發(fā)言、會計師事務(wù)所變更頻率與次數(shù)等，都不容忽視。為把財務(wù)與非財務(wù)指標(biāo)囊括其中，吉貝克擬定了100多個指標(biāo)和2000多個變量。

取得這些變量后，吉貝克運(yùn)用數(shù)據(jù)挖掘和人工干預(yù)法，建立起上市公司誠信指標(biāo)體系。而后對指標(biāo)體系進(jìn)行分類，測算出不誠信情況的概率，再把它轉(zhuǎn)換為直觀的分?jǐn)?shù)并立檔，分別以五星、四星、三星……作為標(biāo)志，星級越高代表誠信度越差。監(jiān)管人員不僅可以直觀看到上市公司目前的誠信狀況，還能了解到哪些指標(biāo)和哪些原因?qū)е铝诉@種狀況的發(fā)生。

分享四點(diǎn)成功經(jīng)驗(yàn)

上市公司財務(wù)指標(biāo)預(yù)警系統(tǒng)于2005年4月26日上線，成功運(yùn)行至今。劉世平認(rèn)為，上交所這個項目的成功，有四點(diǎn)經(jīng)驗(yàn)可以供所有的數(shù)據(jù)挖掘項目參考和借鑒。

首先，在數(shù)據(jù)挖掘項目的建設(shè)中，客戶需求是最重要的?？蛻魹槭裁匆ㄔO(shè)這個項目，要用它來解決什么問題，其基本目的一定要把握住。上交所這個項目的目的就非常明確，即提高監(jiān)管效率，建立合理化的指標(biāo)體系。

在這個過程中，業(yè)務(wù)專家的參與非常重要，要把業(yè)務(wù)專家和技術(shù)專家結(jié)合在一起，在把握技術(shù)的基礎(chǔ)上，對業(yè)務(wù)人員的需求進(jìn)行提煉、升華，而不是簡單的重復(fù)。

其次，目的確定以后，要搞清楚達(dá)到這個目的需要解決哪些問題；要解決這些問題，需要哪些數(shù)據(jù)的支持，需要對哪些數(shù)據(jù)進(jìn)行分析，是否擁有所需的數(shù)據(jù)。

第三，前期準(zhǔn)備的過程至關(guān)重要。在上交所這個項目中，吉貝克真正利用數(shù)據(jù)挖掘模型進(jìn)行運(yùn)算的時間不到一個月，而前期的準(zhǔn)備工作卻花了近半年，技術(shù)人員廣泛向業(yè)務(wù)專家請教，充分消化專家智能，把專家的理念、動機(jī)、方法及相關(guān)信息的特征、特性等全部理順。正是這個看似與數(shù)據(jù)挖掘無關(guān)的過程，成為該項目成功的基石。

第四，需要端正對數(shù)據(jù)挖掘本身的認(rèn)識和理念。數(shù)據(jù)挖掘是一個過程，絕不是數(shù)據(jù)加軟件這么簡單，遵循這一理念的項目才能取得成功。成功的數(shù)據(jù)倉庫項目必須具備實(shí)用性、前瞻性、擴(kuò)展性和安全性，而實(shí)用性和前瞻性是重中之重。(it168)