開發(fā)背景
隨著國(guó)內(nèi)信息化建設(shè)的日益提高。各類客戶的業(yè)務(wù)系統(tǒng)所積累的業(yè)務(wù)數(shù)據(jù)日趨膨大。企業(yè)的領(lǐng)導(dǎo)者隨著市場(chǎng)競(jìng)爭(zhēng)的加劇,非常希望能從紛繁的業(yè)務(wù)數(shù)據(jù)中提取綜合反映企業(yè)、單位綜合經(jīng)營(yíng)狀況的信息,從而幫助決策。但企業(yè)業(yè)務(wù)系統(tǒng)的不規(guī)范,數(shù)據(jù)的不統(tǒng)一,歷史數(shù)據(jù)的過(guò)于巨大以及反映信息的界面不夠友好,都阻礙了決策支持系統(tǒng)的建設(shè)。
數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的日趨成熟,正好可以有效的解決上面的問(wèn)題。但現(xiàn)在多數(shù)廠商提供的數(shù)據(jù)倉(cāng)庫(kù)解決方案已高昂的價(jià)格把大多都用戶拒之門外,而且也給采購(gòu)他們系統(tǒng)的客戶帶來(lái)更大的風(fēng)險(xiǎn)。微軟MS SQLSERVER 是全球性價(jià)比最好的數(shù)據(jù)倉(cāng)庫(kù)解決方案,同時(shí)也是全球布置最多的數(shù)據(jù)倉(cāng)庫(kù)解決方案。
基于以上原因,青大海威公司基于微軟SQL SERVER所提供的數(shù)據(jù)倉(cāng)庫(kù)框架結(jié)構(gòu),開發(fā)了更適合國(guó)內(nèi)客戶應(yīng)用習(xí)慣的前端多維分析報(bào)表工具:HDC iAnlyzer 和HDC iReport。2001年海威公司在MS SQL2000提供數(shù)據(jù)挖掘規(guī)范的基礎(chǔ)上又開發(fā)了通用的數(shù)據(jù)挖掘平臺(tái)軟件:HDC MINing。該系統(tǒng)不僅集成了微軟提供的兩種算法,而且可以根據(jù)客戶的實(shí)際情況選擇其他算法插件。
海威公司研發(fā)的全面的數(shù)據(jù)倉(cāng)庫(kù)解決方案,是一套統(tǒng)用的決策支持解決方案,可廣泛的應(yīng)用于政府、企業(yè)、交通、電信、金融等領(lǐng)域。
方案詳細(xì)介紹:
青大海威公司的業(yè)務(wù)智能解決方案面向政府、制造、通信、金融等個(gè)行業(yè)提供解決方案。
整個(gè)系統(tǒng)由三部分組成:第一部分是由用戶數(shù)據(jù)源到業(yè)務(wù)智能中央數(shù)據(jù)庫(kù)的ETL過(guò)程;第二部分是根據(jù)用戶業(yè)務(wù)模型建立業(yè)務(wù)智能分析模型;第三部分是面向終端用戶進(jìn)行數(shù)據(jù)的發(fā)布和多維分析工作。
整個(gè)業(yè)務(wù)智能解決方案除前端數(shù)據(jù)發(fā)布和多維分析工具采用青大海威公司自己開發(fā)的HDC3數(shù)據(jù)展示套件外,其他各部分均基于微軟平臺(tái)構(gòu)建。主要使用的微軟產(chǎn)品有:WINDOWS 2000 ADVANCED SERVER ,SQL SERVER2000,IIS等。如下頁(yè)圖所示:
方案中,數(shù)據(jù)的ETL過(guò)程采用微軟的DTS通過(guò)標(biāo)準(zhǔn)接口OLE DB或ODBC(針對(duì)不支持OLE DB的數(shù)據(jù)源,如:Sybase)定義ETL過(guò)程的數(shù)據(jù)源連接,通過(guò)DTS自帶的抽取規(guī)則或使用T-SQL腳本語(yǔ)言定義數(shù)據(jù)抽取、清洗和轉(zhuǎn)換方法,使用DTS提供的PACKAGE及工作流功能定義各PACKAGE的執(zhí)行順序,使用SQL SERVER中設(shè)置的定時(shí)任務(wù)對(duì)由DTS定義的任務(wù)包進(jìn)行統(tǒng)一的管理和調(diào)度。
業(yè)務(wù)智能系統(tǒng)中央數(shù)據(jù)庫(kù)選用SQL SERVER 2000,其具體產(chǎn)品的選擇將視用戶的現(xiàn)有數(shù)據(jù)量及數(shù)據(jù)增量情況確定,一般推薦用戶使用SQL SERVER ENT計(jì)量管理軟件RISE EDITION(25 USERS)。在中央數(shù)據(jù)庫(kù)的實(shí)施過(guò)程中需要考慮數(shù)據(jù)量與效率、系統(tǒng)安全性與數(shù)據(jù)安全性、備份與還原策略等問(wèn)題。這些問(wèn)題的解決需要考慮使用SQL SERVER2000的分布式處理,WINDOWS2000的集群策略以及SQL SERVER2000的數(shù)據(jù)同步、數(shù)據(jù)定時(shí)備份和還原設(shè)置。
業(yè)務(wù)智能解決方案的核心部分是分析模型的構(gòu)建和管理,這部份我們采用的是SQL SERVER2000自帶的OLAP服務(wù)器并使用Analysis Manager完成整個(gè)模型的構(gòu)建,指標(biāo)的設(shè)置、維度的設(shè)計(jì)、計(jì)算指標(biāo)的定義(應(yīng)用MDX)、模型分區(qū)設(shè)計(jì)、通過(guò)ADO MD和DSO進(jìn)行模型操作應(yīng)用設(shè)計(jì),設(shè)置多維數(shù)據(jù)集存儲(chǔ)模式、定義多維數(shù)據(jù)集的聚合策略以及多維數(shù)據(jù)集的處理、多維數(shù)據(jù)集的備份及還原等操作。
業(yè)務(wù)智能系統(tǒng)的前端數(shù)據(jù)分析工具是整個(gè)系統(tǒng)的重要部分,通過(guò)這些工具用戶可以輕松訪問(wèn)多維模型中的數(shù)據(jù)。這部分我們采用青大海威公司自己開發(fā)的HDC3數(shù)據(jù)展示套件。HDC3由三種產(chǎn)品組成:多維數(shù)據(jù)分析工具(iAnalyze)、報(bào)表工具(iReport)和挖掘工具(iDMine)組成。HDC3采用B/S結(jié)構(gòu),通過(guò)IIS和應(yīng)用程序服務(wù)器(HDC APPLICATION SERVER)對(duì)遠(yuǎn)程數(shù)據(jù)集進(jìn)行存取,而網(wǎng)絡(luò)傳輸,則基于COM+技術(shù)(下一步將使用XML+WEB SERVICE)。多維數(shù)據(jù)分析工具和報(bào)表工具使用ADO MD接口對(duì)多維數(shù)據(jù)集(CUBE)進(jìn)行數(shù)據(jù)訪問(wèn),使用MDX語(yǔ)句向OLAP SERVER提交查詢請(qǐng)求并獲得結(jié)果集。挖掘工具則使用OLE DB FOR Datamining接口與遠(yuǎn)程的挖掘服務(wù)器進(jìn)行數(shù)據(jù)交換,采用XML進(jìn)行數(shù)據(jù)傳輸并使用PMML對(duì)挖掘結(jié)果進(jìn)行描述。
系統(tǒng)主界面如下圖所示:
解決方案成功案例
用戶單位名稱:青島地稅
1. 稅收業(yè)務(wù)智能系統(tǒng)(開發(fā)時(shí)間2001年7月)
·功能:稅源分析、申報(bào)分析、繳納分析、發(fā)票分析、內(nèi)部考核分析等
·硬件環(huán)境:
o 業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù):Sybase13.5 for UNIX
o 中央數(shù)據(jù)庫(kù)服務(wù)器:4*PIII700Mhz,1G,4*40GSCSI
o OLAP 服務(wù)器:2*PIII,1G,2*20GSCSI
·開發(fā)環(huán)境:SQL SERVER 2000,VISUAL BASIC
2. 海爾商流業(yè)務(wù)智能系統(tǒng)(開發(fā)時(shí)間2002年6月)
· 功能:
進(jìn)銷存分析、閉環(huán)控制分析、工貿(mào)分析等
· 硬件環(huán)境:
o 業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù):DB2 for Windows,SQL SERVER2000,ORACLE8I
o 中央數(shù)據(jù)庫(kù)服務(wù)器:4*EXON,2G,4*80GSCSI
o OLAP 服務(wù)器:2*PIV1GHZ,2G,2*40GSCSI
· 開發(fā)環(huán)境:VISUAL BASIC,ASP,SQL SERVER 2000
效果與反饋
本方案在客戶原有業(yè)務(wù)系統(tǒng)的基礎(chǔ)上為客戶,特別是決策層提供了綜合分析運(yùn)營(yíng)狀況的信息。對(duì)決策者具有很大的幫助。
青島海關(guān)在計(jì)算機(jī)報(bào)上介紹經(jīng)驗(yàn)時(shí)寫道:
今年5月,加工貿(mào)易多維分析模塊和通關(guān)效率多維分析模塊先后開發(fā)完成,圍繞企業(yè)、商品和監(jiān)管過(guò)程這三個(gè)重點(diǎn),形成交互信息作業(yè)平臺(tái),在實(shí)現(xiàn)風(fēng)險(xiǎn)管理信息共享的基礎(chǔ)上,為風(fēng)險(xiǎn)識(shí)別、評(píng)估和分類控制作業(yè)提供了信息支持。
加工貿(mào)易多維分析應(yīng)用于加工貿(mào)易趨勢(shì)分析、加工貿(mào)易企業(yè)風(fēng)險(xiǎn)分析、加工貿(mào)易商品風(fēng)險(xiǎn)分析以及通關(guān)效率分析等,主要是從企業(yè)方面、商品方面、加工單耗方面以及海關(guān)監(jiān)管等方面,對(duì)加工貿(mào)易企業(yè)及商品進(jìn)行綜合分析,其中涉及到備案數(shù)量、進(jìn)口數(shù)量、出口數(shù)量、備案價(jià)值、進(jìn)口價(jià)值、出口價(jià)值、單耗、合同數(shù)、補(bǔ)稅額等二十幾個(gè)分析指標(biāo)。通過(guò)鉆取和分析,確定重點(diǎn)商品、重點(diǎn)企業(yè),為加強(qiáng)海關(guān)監(jiān)管、控制通關(guān)以及制定各種業(yè)務(wù)規(guī)范提供了有力依據(jù)。
完成通關(guān)效率多維分析模塊,為各級(jí)決策者、通關(guān)效率監(jiān)控分析人員提供了強(qiáng)大的在線分析功能,實(shí)現(xiàn)對(duì)總體效率及各業(yè)務(wù)環(huán)節(jié)效率的隨時(shí)查詢了解; 能根據(jù)用戶的需要形成各種報(bào)表、圖形;可對(duì)報(bào)表進(jìn)行任意排序;可將結(jié)果離線下載到本地?cái)?shù)據(jù)庫(kù)(如ACCESS)中供用戶進(jìn)一步分析使用。通過(guò)通關(guān)效率多維分析模塊,可以將海關(guān)平均通關(guān)時(shí)間計(jì)算時(shí)由天縮小到秒,使進(jìn)口計(jì)算誤差縮小了30%,出口計(jì)算誤差縮小了60%,從而大大消除了過(guò)大的誤差