直擊企業(yè)數(shù)據(jù)集成技術(shù)

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

    與我們熟知的“信息孤島”相比，“數(shù)據(jù)孤島”形容的是IT環(huán)境中最基本元素—數(shù)據(jù)的離散狀態(tài)。毋庸置疑，數(shù)據(jù)是企業(yè)最重要的信息資產(chǎn)，但是在現(xiàn)實(shí)環(huán)境中，企業(yè)數(shù)據(jù)往往會(huì)因天然的業(yè)務(wù)分隔或行政分劃，或者是IT應(yīng)用復(fù)雜性的增加而駐留在不同的應(yīng)用程序、數(shù)據(jù)庫(kù)和遺留系統(tǒng)中。如何把不同來源、格式和質(zhì)量的數(shù)據(jù)通過邏輯或物理的方法集中起來，實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)的全面共享，進(jìn)而為企業(yè)決策等高級(jí)應(yīng)用提供支持，提升數(shù)據(jù)資產(chǎn)的價(jià)值，是數(shù)據(jù)集成技術(shù)肩負(fù)的使命所在。

     除了集中企業(yè)內(nèi)部分散的業(yè)務(wù)數(shù)據(jù)之外，數(shù)據(jù)集成還能夠在并購(gòu)、分拆等商業(yè)行為發(fā)生時(shí)充當(dāng)IT邊界變更后企業(yè)數(shù)據(jù)的“黏合劑”。對(duì)于現(xiàn)階段頻繁發(fā)生的企業(yè)并購(gòu)行為而言，數(shù)據(jù)集成能夠幫助這些企業(yè)在短期內(nèi)實(shí)現(xiàn)應(yīng)用整合。

     以蘇格蘭的哈利法克銀行和蘇格蘭銀行合并為例，由于專注的金融服務(wù)領(lǐng)域具有明確的互補(bǔ)性，兩家銀行的結(jié)合被業(yè)界廣為稱道。但是要合并兩家銀行信用卡業(yè)務(wù)系統(tǒng)中的6億份數(shù)據(jù)記錄卻是件異常艱苦的工作。為了實(shí)現(xiàn)信用卡業(yè)務(wù)數(shù)據(jù)合并的目標(biāo)，兩家銀行啟動(dòng)了持續(xù)性的集成操作。首先，哈利法克銀行將其核心信用卡應(yīng)用軟件從First Data Resources平臺(tái)遷移到EDS平臺(tái)；然后，利用甲骨文和Business Objects建立一個(gè)簡(jiǎn)單的報(bào)表數(shù)據(jù)庫(kù)，并對(duì)3億份記錄進(jìn)行了數(shù)據(jù)更新；最后，運(yùn)用Informatica PowerMart套件所提供的ETL（抽取、轉(zhuǎn)換和裝載）功能建立新的數(shù)據(jù)庫(kù)，并將剩余的3億份記錄添加其中。整個(gè)過程僅歷時(shí)四個(gè)月，數(shù)據(jù)集成工具所提供的自動(dòng)化建模、多數(shù)據(jù)源導(dǎo)入特性使合并工程的效率大幅提升。

多維度技術(shù)視角

    數(shù)據(jù)集成與BI（商業(yè)智能）、數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)技術(shù)存在緊密的聯(lián)動(dòng)關(guān)系，同時(shí)它也被認(rèn)為是能夠提升企業(yè)業(yè)務(wù)響應(yīng)能力的關(guān)鍵技術(shù)之一。由于數(shù)據(jù)集成對(duì)業(yè)務(wù)敏捷化的關(guān)鍵支持能力，使其正在成為促進(jìn)不同應(yīng)用間協(xié)同的基本保證。要給“數(shù)據(jù)集成”下一個(gè)定義并不容易，對(duì)于具有不同技術(shù)背景、不同知識(shí)體系的人而言，其概念的差異性明顯。

    對(duì)開發(fā)人員而言，數(shù)據(jù)集成往往等同于數(shù)據(jù)聯(lián)合，即把分散在不同位置的數(shù)據(jù)集中起來；對(duì)架構(gòu)師來說，數(shù)據(jù)集成通常意味著應(yīng)用消息的互聯(lián)；對(duì)BI分析人員而言，它意味著數(shù)據(jù)的匯聚，以及數(shù)據(jù)清洗、規(guī)范化的過程；而對(duì)IT系統(tǒng)的使用者業(yè)務(wù)人員來說，他們希望數(shù)據(jù)集成并不是“服務(wù)”、“數(shù)據(jù)庫(kù)”、“數(shù)據(jù)倉(cāng)庫(kù)”等概念的堆砌，而是真正數(shù)據(jù)語義的集中。

    而從項(xiàng)目實(shí)施的流程與結(jié)果上看，數(shù)據(jù)集成需要擁有一個(gè)狹義的定義。SAS中國(guó)華東區(qū)解決方案經(jīng)理張?zhí)旆逭J(rèn)為，從嚴(yán)格意義上說，數(shù)據(jù)集成代表著不同系統(tǒng)、不同存儲(chǔ)介質(zhì)中的數(shù)據(jù)被集成到同質(zhì)數(shù)據(jù)環(huán)境中，并以統(tǒng)一數(shù)據(jù)視圖的形式予以展現(xiàn)。他還強(qiáng)調(diào)，數(shù)據(jù)集成并不是一項(xiàng)新技術(shù)，從有數(shù)據(jù)庫(kù)開始就一直存在發(fā)展?！皵?shù)據(jù)集成之所以在近期被中國(guó)用戶廣泛關(guān)注，主要是由于中國(guó)企業(yè)的數(shù)據(jù)積累已經(jīng)達(dá)到一定規(guī)模，數(shù)據(jù)集成需求逐漸暴露所引發(fā)的?！彼f。

    Informatica中國(guó)區(qū)副總經(jīng)理林楊則表示，無論立足于哪種視角，項(xiàng)目實(shí)施的范圍如何，數(shù)據(jù)集成項(xiàng)目的進(jìn)程都是要由業(yè)務(wù)來驅(qū)動(dòng)的。數(shù)據(jù)集成項(xiàng)目實(shí)施的過程往往要經(jīng)歷業(yè)務(wù)流程的變更、業(yè)務(wù)邏輯的修改和應(yīng)用規(guī)模的擴(kuò)充，這決定了數(shù)據(jù)集成持續(xù)性部署的特性。在項(xiàng)目推進(jìn)的各個(gè)階段，其對(duì)業(yè)務(wù)運(yùn)營(yíng)的貢獻(xiàn)是衡量數(shù)據(jù)集成的效果與價(jià)值的關(guān)鍵準(zhǔn)則。

多元化技術(shù)路徑

數(shù)據(jù)集成是企業(yè)數(shù)據(jù)戰(zhàn)略的重要組成部分，其實(shí)現(xiàn)框架由不同層次和種類的技術(shù)所構(gòu)成。其中，數(shù)據(jù)倉(cāng)庫(kù)ETL是一個(gè)重要分支。針對(duì)不同來源、不同格式的數(shù)據(jù)一致化和集成問題，ETL能夠通過數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)裝載的連續(xù)操作，實(shí)現(xiàn)對(duì)跨平臺(tái)、多系統(tǒng)數(shù)據(jù)的高效集成。基于ETL的數(shù)據(jù)集成在企業(yè)中的應(yīng)用非常普遍，但傳統(tǒng)ETL工具基本上不具備實(shí)時(shí)處理能力，其數(shù)據(jù)抽取操作以定時(shí)從業(yè)務(wù)系統(tǒng)中抽取的方式進(jìn)行。不過，隨著實(shí)時(shí)分析與處理功能成為應(yīng)用主流，具備實(shí)時(shí)消息處理、數(shù)據(jù)流功能的新一代ETL工具已經(jīng)出現(xiàn)。

在實(shí)時(shí)能力方面，以XML為基礎(chǔ)的實(shí)時(shí)數(shù)據(jù)整合技術(shù)更為擅長(zhǎng)。這種消息隊(duì)列技術(shù)最早應(yīng)用在銀行的票據(jù)交換系統(tǒng)中。實(shí)時(shí)數(shù)據(jù)整合與ETL的數(shù)據(jù)轉(zhuǎn)換操作有所差別，前者只進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，不做內(nèi)容轉(zhuǎn)換。

據(jù)SAS的張?zhí)旆褰榻B，數(shù)據(jù)集成還包含一些基礎(chǔ)層面的技術(shù)。例如，數(shù)據(jù)同步/遷移技術(shù)。以銀行應(yīng)用居多，該技術(shù)僅支持?jǐn)?shù)據(jù)復(fù)制，應(yīng)用的范圍限于同質(zhì)數(shù)據(jù)系統(tǒng)以內(nèi)。另外，映像/同步技術(shù)支持以磁盤映像的方式實(shí)現(xiàn)數(shù)據(jù)的物理同步，同時(shí)支持實(shí)時(shí)和非實(shí)時(shí)操作，但不支持?jǐn)?shù)據(jù)清洗和轉(zhuǎn)換的功能?！癊TL還有一個(gè)衍生的技術(shù)分支ELT（抽取、裝載和轉(zhuǎn)換），ELT宣稱對(duì)傳統(tǒng)ETL技術(shù)進(jìn)行了改進(jìn)，但兩者沒有本質(zhì)上的區(qū)別。”他說。除此之外，從數(shù)據(jù)集市衍生出來的主數(shù)據(jù)管理也是數(shù)據(jù)集成應(yīng)用的重要支持技術(shù)之一。

張?zhí)旆逭J(rèn)為，在現(xiàn)階段，ETL和消息隊(duì)列是數(shù)據(jù)集成領(lǐng)域相對(duì)成熟的規(guī)范化技術(shù)，但技術(shù)產(chǎn)品化的程度仍有待提升。

依托平臺(tái)跨越式集成

多元化的技術(shù)路徑?jīng)Q定了數(shù)據(jù)集成部署方法的多樣性。作為BI應(yīng)用的基礎(chǔ)工程，不同種類的數(shù)據(jù)集成技術(shù)會(huì)分階段地在企業(yè)中進(jìn)行實(shí)施，從而加劇了IT基礎(chǔ)架構(gòu)的復(fù)雜程度。

據(jù)Informatica的林楊介紹，目前數(shù)據(jù)集成項(xiàng)目有三個(gè)主要的實(shí)施角度：一是數(shù)據(jù)集成平臺(tái)，由獨(dú)立于數(shù)據(jù)庫(kù)平臺(tái)的軟件供應(yīng)商提供，能夠?qū)崿F(xiàn)跨數(shù)據(jù)庫(kù)平臺(tái)、多種應(yīng)用系統(tǒng)的數(shù)據(jù)集成，其過程中用戶不會(huì)受到數(shù)據(jù)庫(kù)類別的限制，集成操作最為靈活和自由；二是ERP或數(shù)據(jù)庫(kù)廠商提供的數(shù)據(jù)集成技術(shù)，主要是從數(shù)據(jù)庫(kù)集成的角度出發(fā)，包含報(bào)表、查詢等功能。其優(yōu)點(diǎn)是在同品牌的應(yīng)用系統(tǒng)（例如SAP、甲骨文）中具有一定的整合優(yōu)勢(shì)，但弱點(diǎn)是外部集成能力不強(qiáng)，兼容性差；三是基于手工編程的數(shù)據(jù)集成。也被稱為“非企業(yè)級(jí)集成”，這種集成操作往往以項(xiàng)目為單位進(jìn)行，標(biāo)準(zhǔn)化和規(guī)范性均較差。

林楊指出，目前手工編程方式在我國(guó)仍有80%左右的市場(chǎng)占有率，基本上等同于北美市場(chǎng)5～6年前的情況。“這種方式最大的弱點(diǎn)是，項(xiàng)目實(shí)施成果不能復(fù)用，只是單個(gè)項(xiàng)目受益，不具可擴(kuò)展性”他說。

對(duì)于具有持續(xù)性、充足數(shù)據(jù)集成需求、同時(shí)渴望借助其發(fā)掘企業(yè)數(shù)據(jù)商業(yè)價(jià)值的用戶而言，數(shù)據(jù)集成平臺(tái)是一個(gè)明確的著眼點(diǎn)。林楊表示，企業(yè)的IT部門在數(shù)據(jù)遷移、數(shù)據(jù)整合、數(shù)據(jù)同步、數(shù)據(jù)倉(cāng)庫(kù)等不同的業(yè)務(wù)領(lǐng)域都會(huì)使用到各式各樣的數(shù)據(jù)集成技術(shù)，但是要解決企業(yè)數(shù)據(jù)碎片的問題還是要借助統(tǒng)一的數(shù)據(jù)集成平臺(tái)。

過去，IT部門通?；趩蝹€(gè)項(xiàng)目實(shí)施數(shù)據(jù)集成，但針對(duì)不同的集成內(nèi)容卻采用不同的方法。例如一個(gè)團(tuán)隊(duì)采用ETL工具，另一個(gè)團(tuán)隊(duì)手工編寫腳本和EAI（企業(yè)應(yīng)用集成）代碼，還有其他團(tuán)隊(duì)使用軟件供應(yīng)商的專用工具。如此一來，便導(dǎo)致了IT環(huán)境中一次性數(shù)據(jù)集成技術(shù)的劇增。數(shù)據(jù)集成技術(shù)的疊加讓IT基礎(chǔ)架構(gòu)變得更加復(fù)雜和脆弱，同時(shí)也造成了其管理成本的大幅增加，一旦企業(yè)引入外包、SaaS等新的服務(wù)或應(yīng)用，架構(gòu)的復(fù)雜性會(huì)繼續(xù)上升。

林楊指出，建立在統(tǒng)一平臺(tái)和服務(wù)共享基礎(chǔ)上的數(shù)據(jù)集成是許多大型企業(yè)的通用做法，同時(shí)也正在成為客戶的主流選擇?！皵?shù)據(jù)集成平臺(tái)賦予了IT部門對(duì)數(shù)據(jù)集成技術(shù)靈活調(diào)用和分配的能力，使集成操作的協(xié)調(diào)性大大增加。從長(zhǎng)期看，降低了數(shù)據(jù)集成的成本，同時(shí)還能夠滿足企業(yè)在IT審計(jì)、法規(guī)遵從等方面對(duì)數(shù)據(jù)管理的需要。”林楊說。

平臺(tái)級(jí)軟件乘風(fēng)起舞

在數(shù)據(jù)集成平臺(tái)統(tǒng)一數(shù)據(jù)集成方法、實(shí)現(xiàn)技術(shù)重用性、提升整體數(shù)據(jù)管理能力的作用被肯定之后，引發(fā)了眾多軟件廠商的技術(shù)追捧。目前，市場(chǎng)上有多種可供用戶選擇的統(tǒng)一數(shù)據(jù)集成解決方案。與基于點(diǎn)需求和系統(tǒng)內(nèi)部集成的工具軟件相比，這些平臺(tái)級(jí)軟件共同的特點(diǎn)表現(xiàn)在，它們能夠支持多種類型、結(jié)構(gòu)和來源的企業(yè)數(shù)據(jù)集成，并且具備面向企業(yè)異構(gòu)IT環(huán)境變化的應(yīng)變能力。在確保系統(tǒng)整體安全性和高可用性的同時(shí)，采用基于元數(shù)據(jù)和開放標(biāo)準(zhǔn)的共享服務(wù)方法。

在企業(yè)從數(shù)據(jù)中挖掘更多業(yè)務(wù)價(jià)值的過程中，數(shù)據(jù)集成受關(guān)注的程度不斷升溫。而應(yīng)用的推進(jìn)也催生出了許多的技術(shù)交易與創(chuàng)新。作為信息管理領(lǐng)域的領(lǐng)先者之一，IBM面向數(shù)據(jù)集成進(jìn)行了多次收購(gòu)。例如，其在2005年收購(gòu)Ascential，強(qiáng)化自身在數(shù)據(jù)交換、數(shù)據(jù)遷移、數(shù)據(jù)清洗等領(lǐng)域的能力。此外，IBM還收購(gòu)了提供實(shí)時(shí)數(shù)據(jù)集成的軟件公司DataMirror。最近，針對(duì)IBM最新的IOD（信息隨需應(yīng)變）架構(gòu)，IBM Information Server數(shù)據(jù)集成平臺(tái)級(jí)解決方案對(duì)收購(gòu)技術(shù)和原有技術(shù)還進(jìn)行了新一輪的整合。

一些BI領(lǐng)域的廠商也持有和IBM相同的想法，即向客戶交付統(tǒng)一的企業(yè)數(shù)據(jù)集成平臺(tái)，而非單純的ETL工具。Informatica和SAS是其中的代表。Informatica致力于幫助客戶解決數(shù)據(jù)碎片問題，是集成能力中心（ICC）最佳實(shí)踐的倡導(dǎo)者。林楊表示，Informatica所提供的統(tǒng)一數(shù)據(jù)集成平臺(tái)具備廣泛的連接性，可以集成包括大型機(jī)、關(guān)系型數(shù)據(jù)、文件數(shù)據(jù)、應(yīng)用程序數(shù)據(jù)、消息隊(duì)列、XML和非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的多種類數(shù)據(jù)。通過可重用設(shè)計(jì)和統(tǒng)一的方法實(shí)現(xiàn)數(shù)據(jù)的訪問、集成和提交，并最終成為SOA框架的一部分。

張?zhí)旆褰榻B，SAS所提供的高效數(shù)據(jù)集成平臺(tái)能夠以及時(shí)、經(jīng)濟(jì)的方法將異構(gòu)系統(tǒng)內(nèi)的信息孤島整合起來。而這種操作可以在不依賴SQL語言的條件下，訪問、抽取、過濾、清洗、匯總源自不同平臺(tái)、不同格式的數(shù)據(jù)，同時(shí)提供支持快速開發(fā)、有效處理和更強(qiáng)大數(shù)據(jù)管控性能的平臺(tái)和工具。例如交互式數(shù)據(jù)整合流程開發(fā)環(huán)境、專業(yè)的數(shù)據(jù)質(zhì)量管理平臺(tái)、統(tǒng)一的元數(shù)據(jù)管理工具、第三方數(shù)據(jù)庫(kù)雙向訪問接口等。

數(shù)據(jù)集成要過幾道坎？

對(duì)很多企業(yè)而言，數(shù)據(jù)集成是圍繞特定的應(yīng)用需求而實(shí)施的一系列獨(dú)立項(xiàng)目。但正如我們前面所說的，這種一次性集成方法的累積、不合理的使用反而會(huì)增加IT應(yīng)用架構(gòu)的復(fù)雜性，制造新的數(shù)據(jù)碎片，帶來新的管理難題。

數(shù)據(jù)集成現(xiàn)階段面臨著哪些挑戰(zhàn)？作為一項(xiàng)“因復(fù)雜而生卻要削弱復(fù)雜”的IT技術(shù)，數(shù)據(jù)集成需要化解由數(shù)據(jù)和IT應(yīng)用持續(xù)性變化所導(dǎo)致的巨大前進(jìn)阻力。

在數(shù)據(jù)方面，現(xiàn)實(shí)的情況是，數(shù)據(jù)來源的類型愈發(fā)廣泛，數(shù)據(jù)格式更加多樣。從傳統(tǒng)視角看企業(yè)數(shù)據(jù)，主要集中在文件系統(tǒng)、數(shù)據(jù)庫(kù)和消息隊(duì)列中。而隨著新應(yīng)用類型的出現(xiàn)，注冊(cè)表、監(jiān)控設(shè)備、博客、Wiki、郵件、手機(jī)短信也成為了企業(yè)數(shù)據(jù)的不同載體。對(duì)于數(shù)據(jù)的使用者而言，他們希望從一個(gè)集中式數(shù)據(jù)庫(kù)和通過基于SQL等通用標(biāo)準(zhǔn)的數(shù)據(jù)服務(wù)獲取不同類型的數(shù)據(jù)，而不用關(guān)心數(shù)據(jù)到底存儲(chǔ)在哪里，這大大增加了數(shù)據(jù)集成的難度。

數(shù)據(jù)格式方面，單純的二維信息描述方式顯得越來越“僵化”，難以適應(yīng)變化業(yè)務(wù)的需求?？臻g數(shù)據(jù)、XML數(shù)據(jù)在數(shù)據(jù)描述上獲得了突破，但是在擁有靈活性的同時(shí)，數(shù)據(jù)集成的難度也增加了，對(duì)于具有同一業(yè)務(wù)語義，但格式卻不同的數(shù)據(jù)該如何進(jìn)行集成？當(dāng)我們需要將多種類的信息合并成一個(gè)實(shí)體時(shí)，集成技術(shù)需要完成高難度的操作。

在數(shù)據(jù)層之上，IT系統(tǒng)內(nèi)的天然邊界和業(yè)務(wù)區(qū)隔也會(huì)增加數(shù)據(jù)集成的難度。例如，企業(yè)的信息安全策略往往根據(jù)應(yīng)用的保護(hù)等級(jí)和信任關(guān)系將其劃分為不同的安全區(qū)域，而數(shù)據(jù)集成卻通常需要跨越不同的網(wǎng)絡(luò)或LDAP域，為此，在集成之前需要根據(jù)“數(shù)據(jù)訪問協(xié)議”、“數(shù)據(jù)流向規(guī)定”等規(guī)劃數(shù)據(jù)的采集措施。但目前尚沒有類似的“統(tǒng)一跨域、跨網(wǎng)絡(luò)數(shù)據(jù)訪問規(guī)范”，數(shù)據(jù)集成需要根據(jù)每一個(gè)采集點(diǎn)單獨(dú)定義集成任務(wù)，同時(shí)還要隨著不同信任域的信任等級(jí)變化，反復(fù)地調(diào)整和配置。

雖然對(duì)于關(guān)系型數(shù)據(jù)庫(kù)和XML數(shù)據(jù)而言，數(shù)據(jù)的提取相對(duì)容易，但是隨著應(yīng)用的推陳出新，企業(yè)數(shù)據(jù)變得無處不在，博客、電子郵件、Wiki、Word文檔都成為他們的容身之所。它們?cè)跀?shù)據(jù)庫(kù)之外，如何從這些混合了數(shù)據(jù)和用戶界面的介質(zhì)中提取出關(guān)鍵數(shù)據(jù)，往往需要數(shù)據(jù)集成人員和相關(guān)技術(shù)領(lǐng)域開發(fā)人員的分工協(xié)作。

另外，數(shù)據(jù)集成實(shí)施需要關(guān)注的問題還包括：如何選擇合適的執(zhí)行時(shí)機(jī)；如何在規(guī)避OLTP和OLAP高峰的同時(shí)，組織“快照”、“批量導(dǎo)入/導(dǎo)出”等任務(wù)。隨著多芯、多核服務(wù)器的普及，集成技術(shù)也需要從串行時(shí)代過渡到并行時(shí)代。怎樣為數(shù)據(jù)集成建立配套的監(jiān)控與錯(cuò)誤處理流程？如何設(shè)計(jì)完善且具備自動(dòng)化能力的數(shù)據(jù)集成流程，并且為其配備補(bǔ)救機(jī)制？而在技術(shù)、制度和管理之外，數(shù)據(jù)集成還需要具有多平臺(tái)、跨系統(tǒng)知識(shí)體系的工作團(tuán)隊(duì)，那么，這些問題或許是企業(yè)面臨的最大挑戰(zhàn)。

并非普適技術(shù)

雖然困難重重，但是數(shù)據(jù)集成技術(shù)正在不斷成熟，用戶已經(jīng)能夠從市場(chǎng)上的相關(guān)解決方案中獲得具備整合能力的技術(shù)支持。而在正視數(shù)據(jù)集成挑戰(zhàn)的同時(shí)，企業(yè)還需要明確的是，數(shù)據(jù)集成在現(xiàn)階段并非一種普適性的技術(shù)，它不僅要求使用者具備一定的數(shù)據(jù)應(yīng)用規(guī)模和復(fù)雜性，還需要投入較大的資金和人力。

林楊表示，現(xiàn)階段Informatica數(shù)據(jù)集成平臺(tái)的用戶集中在大中型企業(yè)。他指出，不同規(guī)模的企業(yè)部署數(shù)據(jù)集成應(yīng)用的思路會(huì)有所不同，但是應(yīng)用的門檻相對(duì)明確?！按笮推髽I(yè)往往選擇‘自上而下’的方法，首先搭建數(shù)據(jù)集成平臺(tái)，中型企業(yè)則更多地基于項(xiàng)目驅(qū)動(dòng)，先在一定范圍內(nèi)實(shí)施，然后逐步積累，利用2～3年的時(shí)間使數(shù)據(jù)集成平臺(tái)逐漸成型。但對(duì)于小型企業(yè)來說，全面數(shù)據(jù)集成的壓力不大，手工編程、基于SQL的集成方式更為適用?！绷謼钸€強(qiáng)調(diào)，這并不意味著小型企業(yè)不需要進(jìn)行數(shù)據(jù)集成，只是從性價(jià)比等角度考慮，暫時(shí)不需要應(yīng)用綜合性的數(shù)據(jù)集成技術(shù)。

張?zhí)旆逡舱J(rèn)為，目前的數(shù)據(jù)集成應(yīng)用主要集中在金融、電信、政府等重點(diǎn)行業(yè)。以銀行業(yè)為例，SAS在中國(guó)最大的銀行業(yè)客戶擁有數(shù)十個(gè)TB的業(yè)務(wù)數(shù)據(jù)，而且數(shù)據(jù)邏輯非常復(fù)雜，需要借助數(shù)據(jù)集成技術(shù)進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、清洗和提交。他認(rèn)為，對(duì)于中小型企業(yè)而言，把數(shù)據(jù)集成項(xiàng)目交由系統(tǒng)集成商執(zhí)行與自行購(gòu)買相關(guān)軟件相比更為經(jīng)濟(jì)和高效，而一些中小客戶也喜歡采取“五五分賬”的方法，即對(duì)關(guān)鍵數(shù)據(jù)集成采用ETL工具，其他的則使用手工編程完成。

也有用戶認(rèn)為，無論選擇怎樣的數(shù)據(jù)集成方案，實(shí)用和簡(jiǎn)潔都是最關(guān)鍵的。雖然每個(gè)服務(wù)和應(yīng)用采用點(diǎn)對(duì)點(diǎn)的連接方式很容易造成IT環(huán)境的混亂，但是在信息化建設(shè)的初期，這未嘗不是一個(gè)最快達(dá)成技術(shù)目標(biāo)的選擇。對(duì)IT環(huán)境相對(duì)成熟的企業(yè)而言，最好在實(shí)施集成前先充分了解業(yè)務(wù)部門對(duì)信息互聯(lián)的需求，然后實(shí)施必要的統(tǒng)一數(shù)據(jù)治理。而無論集成項(xiàng)目的規(guī)模如何，都必須考慮建立相關(guān)的監(jiān)控措施，以及當(dāng)關(guān)鍵流程出現(xiàn)錯(cuò)誤和異常時(shí)該如何處置。

與SOA及其他

今天CIO們需要與各式各樣的技術(shù)創(chuàng)新打交道，SOA便是其中不可回避的一個(gè)。而SOA和數(shù)據(jù)集成有著緊密依存的關(guān)系，通過研究SOA解決方案不難發(fā)現(xiàn)，它們往往包含一些小型的集成方案，旨在幫助用戶解決數(shù)據(jù)交互、數(shù)據(jù)清洗等問題。林楊認(rèn)為，SOA所關(guān)注的應(yīng)用和數(shù)據(jù)集成的數(shù)據(jù)是緊耦合關(guān)系。把SOA理念具體落實(shí)到數(shù)據(jù)層面，它要使信息能夠隨需應(yīng)變，而這正是數(shù)據(jù)集成的任務(wù)?！敖y(tǒng)一的企業(yè)數(shù)據(jù)集成平臺(tái)應(yīng)該成為SOA的一部分，為IT應(yīng)用提供信息服務(wù)支持。這要求企業(yè)在實(shí)施數(shù)據(jù)集成項(xiàng)目時(shí)也要引入SOA方法論，對(duì)數(shù)據(jù)的查找、整合、質(zhì)量評(píng)估進(jìn)行持續(xù)性的改進(jìn)，同時(shí)關(guān)注項(xiàng)目之間的相關(guān)性和延展性。”林楊說。

“數(shù)據(jù)架構(gòu)和應(yīng)用架構(gòu)緊密相關(guān)，良好的數(shù)據(jù)集成能夠簡(jiǎn)化SOA對(duì)應(yīng)用集成的實(shí)現(xiàn)。”張?zhí)旆逭f。但他也表示，SOA所倡導(dǎo)的分布式應(yīng)用會(huì)增加數(shù)據(jù)集成的難度，存在一些沖突，對(duì)分布式異種數(shù)據(jù)的集成需要引入網(wǎng)格計(jì)算等概念。

從用戶角度看，數(shù)據(jù)治理是數(shù)據(jù)集成發(fā)展到一定階段的必要補(bǔ)充，否則，長(zhǎng)期以來的數(shù)據(jù)和軟件一體化的黏性讓數(shù)據(jù)無法從服務(wù)和應(yīng)用中剝離?？傮w而言，狹義的數(shù)據(jù)集成是更多地考慮如何進(jìn)行數(shù)據(jù)互聯(lián)，如何向應(yīng)用屏蔽不同數(shù)據(jù)源的物理位置、通信協(xié)議和數(shù)據(jù)格式，更多關(guān)注技術(shù)問題；而數(shù)據(jù)治理則側(cè)重在數(shù)據(jù)與業(yè)務(wù)語義、業(yè)務(wù)處理分析的層面之上。

編看編想

與變化博弈的數(shù)據(jù)集成

歷史造就了數(shù)據(jù)孤島，也將收復(fù)數(shù)據(jù)孤島的使命賦予了數(shù)據(jù)集成技術(shù)。不斷滋生的數(shù)據(jù)碎片會(huì)不斷給數(shù)據(jù)集成技術(shù)制造難題，同時(shí)也催生出使其前進(jìn)的無限動(dòng)力。對(duì)數(shù)據(jù)集成項(xiàng)目的執(zhí)行者而言，這樣的任務(wù)可能并沒有明確的終點(diǎn)，需要不斷地與變化進(jìn)行抗?fàn)?。這些變化包括新應(yīng)用的建立、數(shù)據(jù)庫(kù)平臺(tái)遷移/合并、IT應(yīng)用規(guī)模的擴(kuò)充，當(dāng)然還有業(yè)務(wù)組織的拆分與購(gòu)并。

無論你采取什么的技術(shù)路徑，都需要與變化為伍，雖然任何的變化都會(huì)讓你好不容易搭建的數(shù)據(jù)集成系統(tǒng)備受沖擊，但你還是不得不學(xué)著適應(yīng)變化，與其成為朋友。張?zhí)旆逭J(rèn)為，數(shù)據(jù)集成的要?jiǎng)?wù)是，在數(shù)據(jù)流動(dòng)的過程中解決復(fù)雜的數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)清洗問題，同時(shí)實(shí)現(xiàn)對(duì)海量數(shù)據(jù)處理的質(zhì)量保證。林楊也表示，數(shù)據(jù)集成是典型的持續(xù)型項(xiàng)目，由于與各種業(yè)務(wù)應(yīng)用都存在接口，數(shù)據(jù)集成的實(shí)踐者需要在變化的環(huán)境中建立清晰的技術(shù)實(shí)現(xiàn)圖景。

流動(dòng)中的數(shù)據(jù)變幻莫測(cè)，它們的內(nèi)容、質(zhì)量、結(jié)構(gòu)和定義都在不斷變化著，而業(yè)務(wù)的復(fù)雜程度、項(xiàng)目周期的縮短以及更多數(shù)量和類型數(shù)據(jù)的涌入，不斷制造出新的數(shù)據(jù)孤島。因此，數(shù)據(jù)集成將成為一門企業(yè)需要持續(xù)修習(xí)的功課。明確這一點(diǎn)，可以讓我們慎重考慮那些關(guān)注短視效應(yīng)的選擇，用更加長(zhǎng)遠(yuǎn)的目光審視技術(shù)的發(fā)展并邁出堅(jiān)實(shí)的腳步。(CCW-cnw)