當(dāng)前位置:工程項(xiàng)目OA系統(tǒng) > 泛普各地 > 陜西OA系統(tǒng) > 西安OA系統(tǒng) > 西安OA快博
直擊企業(yè)數(shù)據(jù)集成技術(shù)
申請(qǐng)免費(fèi)試用、咨詢電話:400-8352-114
文章來源:泛普軟件與我們熟知的“信息孤島”相比,“數(shù)據(jù)孤島”形容的是IT環(huán)境中最基本元素—數(shù)據(jù)的離散狀態(tài)。毋庸置疑,數(shù)據(jù)是企業(yè)最重要的信息資產(chǎn),但是在現(xiàn)實(shí)環(huán)境中,企業(yè)數(shù)據(jù)往往會(huì)因天然的業(yè)務(wù)分隔或行政分劃,或者是IT應(yīng)用復(fù)雜性的增加而駐留在不同的應(yīng)用程序、數(shù)據(jù)庫(kù)和遺留系統(tǒng)中。如何把不同來源、格式和質(zhì)量的數(shù)據(jù)通過邏輯或物理的方法集中起來,實(shí)現(xiàn)企業(yè)級(jí)數(shù)據(jù)的全面共享,進(jìn)而為企業(yè)決策等高級(jí)應(yīng)用提供支持,提升數(shù)據(jù)資產(chǎn)的價(jià)值,是數(shù)據(jù)集成技術(shù)肩負(fù)的使命所在。
除了集中企業(yè)內(nèi)部分散的業(yè)務(wù)數(shù)據(jù)之外,數(shù)據(jù)集成還能夠在并購(gòu)、分拆等商業(yè)行為發(fā)生時(shí)充當(dāng)IT邊界變更后企業(yè)數(shù)據(jù)的“黏合劑”。對(duì)于現(xiàn)階段頻繁發(fā)生的企業(yè)并購(gòu)行為而言,數(shù)據(jù)集成能夠幫助這些企業(yè)在短期內(nèi)實(shí)現(xiàn)應(yīng)用整合。
以蘇格蘭的哈利法克銀行和蘇格蘭銀行合并為例,由于專注的金融服務(wù)領(lǐng)域具有明確的互補(bǔ)性,兩家銀行的結(jié)合被業(yè)界廣為稱道。但是要合并兩家銀行信用卡業(yè)務(wù)系統(tǒng)中的6億份數(shù)據(jù)記錄卻是件異常艱苦的工作。為了實(shí)現(xiàn)信用卡業(yè)務(wù)數(shù)據(jù)合并的目標(biāo),兩家銀行啟動(dòng)了持續(xù)性的集成操作。首先,哈利法克銀行將其核心信用卡應(yīng)用軟件從First Data Resources平臺(tái)遷移到EDS平臺(tái);然后,利用甲骨文和Business Objects建立一個(gè)簡(jiǎn)單的報(bào)表數(shù)據(jù)庫(kù),并對(duì)3億份記錄進(jìn)行了數(shù)據(jù)更新;最后,運(yùn)用Informatica PowerMart套件所提供的ETL(抽取、轉(zhuǎn)換和裝載)功能建立新的數(shù)據(jù)庫(kù),并將剩余的3億份記錄添加其中。整個(gè)過程僅歷時(shí)四個(gè)月,數(shù)據(jù)集成工具所提供的自動(dòng)化建模、多數(shù)據(jù)源導(dǎo)入特性使合并工程的效率大幅提升。
多維度技術(shù)視角
數(shù)據(jù)集成與BI(商業(yè)智能)、數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)技術(shù)存在緊密的聯(lián)動(dòng)關(guān)系,同時(shí)它也被認(rèn)為是能夠提升企業(yè)業(yè)務(wù)響應(yīng)能力的關(guān)鍵技術(shù)之一。由于數(shù)據(jù)集成對(duì)業(yè)務(wù)敏捷化的關(guān)鍵支持能力,使其正在成為促進(jìn)不同應(yīng)用間協(xié)同的基本保證。要給“數(shù)據(jù)集成”下一個(gè)定義并不容易,對(duì)于具有不同技術(shù)背景、不同知識(shí)體系的人而言,其概念的差異性明顯。
對(duì)開發(fā)人員而言,數(shù)據(jù)集成往往等同于數(shù)據(jù)聯(lián)合,即把分散在不同位置的數(shù)據(jù)集中起來;對(duì)架構(gòu)師來說,數(shù)據(jù)集成通常意味著應(yīng)用消息的互聯(lián);對(duì)BI分析人員而言,它意味著數(shù)據(jù)的匯聚,以及數(shù)據(jù)清洗、規(guī)范化的過程;而對(duì)IT系統(tǒng)的使用者業(yè)務(wù)人員來說,他們希望數(shù)據(jù)集成并不是“服務(wù)”、“數(shù)據(jù)庫(kù)”、“數(shù)據(jù)倉(cāng)庫(kù)”等概念的堆砌,而是真正數(shù)據(jù)語義的集中。
而從項(xiàng)目實(shí)施的流程與結(jié)果上看,數(shù)據(jù)集成需要擁有一個(gè)狹義的定義。SAS中國(guó)華東區(qū)解決方案經(jīng)理張?zhí)旆逭J(rèn)為,從嚴(yán)格意義上說,數(shù)據(jù)集成代表著不同系統(tǒng)、不同存儲(chǔ)介質(zhì)中的數(shù)據(jù)被集成到同質(zhì)數(shù)據(jù)環(huán)境中,并以統(tǒng)一數(shù)據(jù)視圖的形式予以展現(xiàn)。他還強(qiáng)調(diào),數(shù)據(jù)集成并不是一項(xiàng)新技術(shù),從有數(shù)據(jù)庫(kù)開始就一直存在發(fā)展?!皵?shù)據(jù)集成之所以在近期被中國(guó)用戶廣泛關(guān)注,主要是由于中國(guó)企業(yè)的數(shù)據(jù)積累已經(jīng)達(dá)到一定規(guī)模,數(shù)據(jù)集成需求逐漸暴露所引發(fā)的?!彼f。
Informatica中國(guó)區(qū)副總經(jīng)理林楊則表示,無論立足于哪種視角,項(xiàng)目實(shí)施的范圍如何,數(shù)據(jù)集成項(xiàng)目的進(jìn)程都是要由業(yè)務(wù)來驅(qū)動(dòng)的。數(shù)據(jù)集成項(xiàng)目實(shí)施的過程往往要經(jīng)歷業(yè)務(wù)流程的變更、業(yè)務(wù)邏輯的修改和應(yīng)用規(guī)模的擴(kuò)充,這決定了數(shù)據(jù)集成持續(xù)性部署的特性。在項(xiàng)目推進(jìn)的各個(gè)階段,其對(duì)業(yè)務(wù)運(yùn)營(yíng)的貢獻(xiàn)是衡量數(shù)據(jù)集成的效果與價(jià)值的關(guān)鍵準(zhǔn)則。
多元化技術(shù)路徑
數(shù)據(jù)集成是企業(yè)數(shù)據(jù)戰(zhàn)略的重要組成部分,其實(shí)現(xiàn)框架由不同層次和種類的技術(shù)所構(gòu)成。其中,數(shù)據(jù)倉(cāng)庫(kù)ETL是一個(gè)重要分支。針對(duì)不同來源、不同格式的數(shù)據(jù)一致化和集成問題,ETL能夠通過數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)裝載的連續(xù)操作,實(shí)現(xiàn)對(duì)跨平臺(tái)、多系統(tǒng)數(shù)據(jù)的高效集成。基于ETL的數(shù)據(jù)集成在企業(yè)中的應(yīng)用非常普遍,但傳統(tǒng)ETL工具基本上不具備實(shí)時(shí)處理能力,其數(shù)據(jù)抽取操作以定時(shí)從業(yè)務(wù)系統(tǒng)中抽取的方式進(jìn)行。不過,隨著實(shí)時(shí)分析與處理功能成為應(yīng)用主流,具備實(shí)時(shí)消息處理、數(shù)據(jù)流功能的新一代ETL工具已經(jīng)出現(xiàn)。
在實(shí)時(shí)能力方面,以XML為基礎(chǔ)的實(shí)時(shí)數(shù)據(jù)整合技術(shù)更為擅長(zhǎng)。這種消息隊(duì)列技術(shù)最早應(yīng)用在銀行的票據(jù)交換系統(tǒng)中。實(shí)時(shí)數(shù)據(jù)整合與ETL的數(shù)據(jù)轉(zhuǎn)換操作有所差別,前者只進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換,不做內(nèi)容轉(zhuǎn)換。
據(jù)SAS的張?zhí)旆褰榻B,數(shù)據(jù)集成還包含一些基礎(chǔ)層面的技術(shù)。例如,數(shù)據(jù)同步/遷移技術(shù)。以銀行應(yīng)用居多,該技術(shù)僅支持?jǐn)?shù)據(jù)復(fù)制,應(yīng)用的范圍限于同質(zhì)數(shù)據(jù)系統(tǒng)以內(nèi)。另外,映像/同步技術(shù)支持以磁盤映像的方式實(shí)現(xiàn)數(shù)據(jù)的物理同步,同時(shí)支持實(shí)時(shí)和非實(shí)時(shí)操作,但不支持?jǐn)?shù)據(jù)清洗和轉(zhuǎn)換的功能?!癊TL還有一個(gè)衍生的技術(shù)分支ELT(抽取、裝載和轉(zhuǎn)換),ELT宣稱對(duì)傳統(tǒng)ETL技術(shù)進(jìn)行了改進(jìn),但兩者沒有本質(zhì)上的區(qū)別。”他說。除此之外,從數(shù)據(jù)集市衍生出來的主數(shù)據(jù)管理也是數(shù)據(jù)集成應(yīng)用的重要支持技術(shù)之一。
張?zhí)旆逭J(rèn)為,在現(xiàn)階段,ETL和消息隊(duì)列是數(shù)據(jù)集成領(lǐng)域相對(duì)成熟的規(guī)范化技術(shù),但技術(shù)產(chǎn)品化的程度仍有待提升。
依托平臺(tái)跨越式集成
多元化的技術(shù)路徑?jīng)Q定了數(shù)據(jù)集成部署方法的多樣性。作為BI應(yīng)用的基礎(chǔ)工程,不同種類的數(shù)據(jù)集成技術(shù)會(huì)分階段地在企業(yè)中進(jìn)行實(shí)施,從而加劇了IT基礎(chǔ)架構(gòu)的復(fù)雜程度。
據(jù)Informatica的林楊介紹,目前數(shù)據(jù)集成項(xiàng)目有三個(gè)主要的實(shí)施角度:一是數(shù)據(jù)集成平臺(tái),由獨(dú)立于數(shù)據(jù)庫(kù)平臺(tái)的軟件供應(yīng)商提供,能夠?qū)崿F(xiàn)跨數(shù)據(jù)庫(kù)平臺(tái)、多種應(yīng)用系統(tǒng)的數(shù)據(jù)集成,其過程中用戶不會(huì)受到數(shù)據(jù)庫(kù)類別的限制,集成操作最為靈活和自由;二是ERP或數(shù)據(jù)庫(kù)廠商提供的數(shù)據(jù)集成技術(shù),主要是從數(shù)據(jù)庫(kù)集成的角度出發(fā),包含報(bào)表、查詢等功能。其優(yōu)點(diǎn)是在同品牌的應(yīng)用系統(tǒng)(例如SAP、甲骨文)中具有一定的整合優(yōu)勢(shì),但弱點(diǎn)是外部集成能力不強(qiáng),兼容性差;三是基于手工編程的數(shù)據(jù)集成。也被稱為“非企業(yè)級(jí)集成”,這種集成操作往往以項(xiàng)目為單位進(jìn)行,標(biāo)準(zhǔn)化和規(guī)范性均較差。
林楊指出,目前手工編程方式在我國(guó)仍有80%左右的市場(chǎng)占有率,基本上等同于北美市場(chǎng)5~6年前的情況。“這種方式最大的弱點(diǎn)是,項(xiàng)目實(shí)施成果不能復(fù)用,只是單個(gè)項(xiàng)目受益,不具可擴(kuò)展性”他說。
對(duì)于具有持續(xù)性、充足數(shù)據(jù)集成需求、同時(shí)渴望借助其發(fā)掘企業(yè)數(shù)據(jù)商業(yè)價(jià)值的用戶而言,數(shù)據(jù)集成平臺(tái)是一個(gè)明確的著眼點(diǎn)。林楊表示,企業(yè)的IT部門在數(shù)據(jù)遷移、數(shù)據(jù)整合、數(shù)據(jù)同步、數(shù)據(jù)倉(cāng)庫(kù)等不同的業(yè)務(wù)領(lǐng)域都會(huì)使用到各式各樣的數(shù)據(jù)集成技術(shù),但是要解決企業(yè)數(shù)據(jù)碎片的問題還是要借助統(tǒng)一的數(shù)據(jù)集成平臺(tái)。
過去,IT部門通?;趩蝹€(gè)項(xiàng)目實(shí)施數(shù)據(jù)集成,但針對(duì)不同的集成內(nèi)容卻采用不同的方法。例如一個(gè)團(tuán)隊(duì)采用ETL工具,另一個(gè)團(tuán)隊(duì)手工編寫腳本和EAI(企業(yè)應(yīng)用集成)代碼,還有其他團(tuán)隊(duì)使用軟件供應(yīng)商的專用工具。如此一來,便導(dǎo)致了IT環(huán)境中一次性數(shù)據(jù)集成技術(shù)的劇增。數(shù)據(jù)集成技術(shù)的疊加讓IT基礎(chǔ)架構(gòu)變得更加復(fù)雜和脆弱,同時(shí)也造成了其管理成本的大幅增加,一旦企業(yè)引入外包、SaaS等新的服務(wù)或應(yīng)用,架構(gòu)的復(fù)雜性會(huì)繼續(xù)上升。
林楊指出,建立在統(tǒng)一平臺(tái)和服務(wù)共享基礎(chǔ)上的數(shù)據(jù)集成是許多大型企業(yè)的通用做法,同時(shí)也正在成為客戶的主流選擇?!皵?shù)據(jù)集成平臺(tái)賦予了IT部門對(duì)數(shù)據(jù)集成技術(shù)靈活調(diào)用和分配的能力,使集成操作的協(xié)調(diào)性大大增加。從長(zhǎng)期看,降低了數(shù)據(jù)集成的成本,同時(shí)還能夠滿足企業(yè)在IT審計(jì)、法規(guī)遵從等方面對(duì)數(shù)據(jù)管理的需要。”林楊說。
平臺(tái)級(jí)軟件乘風(fēng)起舞
在數(shù)據(jù)集成平臺(tái)統(tǒng)一數(shù)據(jù)集成方法、實(shí)現(xiàn)技術(shù)重用性、提升整體數(shù)據(jù)管理能力的作用被肯定之后,引發(fā)了眾多軟件廠商的技術(shù)追捧。目前,市場(chǎng)上有多種可供用戶選擇的統(tǒng)一數(shù)據(jù)集成解決方案。與基于點(diǎn)需求和系統(tǒng)內(nèi)部集成的工具軟件相比,這些平臺(tái)級(jí)軟件共同的特點(diǎn)表現(xiàn)在,它們能夠支持多種類型、結(jié)構(gòu)和來源的企業(yè)數(shù)據(jù)集成,并且具備面向企業(yè)異構(gòu)IT環(huán)境變化的應(yīng)變能力。在確保系統(tǒng)整體安全性和高可用性的同時(shí),采用基于元數(shù)據(jù)和開放標(biāo)準(zhǔn)的共享服務(wù)方法。
在企業(yè)從數(shù)據(jù)中挖掘更多業(yè)務(wù)價(jià)值的過程中,數(shù)據(jù)集成受關(guān)注的程度不斷升溫。而應(yīng)用的推進(jìn)也催生出了許多的技術(shù)交易與創(chuàng)新。作為信息管理領(lǐng)域的領(lǐng)先者之一,IBM面向數(shù)據(jù)集成進(jìn)行了多次收購(gòu)。例如,其在2005年收購(gòu)Ascential,強(qiáng)化自身在數(shù)據(jù)交換、數(shù)據(jù)遷移、數(shù)據(jù)清洗等領(lǐng)域的能力。此外,IBM還收購(gòu)了提供實(shí)時(shí)數(shù)據(jù)集成的軟件公司DataMirror。最近,針對(duì)IBM最新的IOD(信息隨需應(yīng)變)架構(gòu),IBM Information Server數(shù)據(jù)集成平臺(tái)級(jí)解決方案對(duì)收購(gòu)技術(shù)和原有技術(shù)還進(jìn)行了新一輪的整合。
一些BI領(lǐng)域的廠商也持有和IBM相同的想法,即向客戶交付統(tǒng)一的企業(yè)數(shù)據(jù)集成平臺(tái),而非單純的ETL工具。Informatica和SAS是其中的代表。Informatica致力于幫助客戶解決數(shù)據(jù)碎片問題,是集成能力中心(ICC)最佳實(shí)踐的倡導(dǎo)者。林楊表示,Informatica所提供的統(tǒng)一數(shù)據(jù)集成平臺(tái)具備廣泛的連接性,可以集成包括大型機(jī)、關(guān)系型數(shù)據(jù)、文件數(shù)據(jù)、應(yīng)用程序數(shù)據(jù)、消息隊(duì)列、XML和非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的多種類數(shù)據(jù)。通過可重用設(shè)計(jì)和統(tǒng)一的方法實(shí)現(xiàn)數(shù)據(jù)的訪問、集成和提交,并最終成為SOA框架的一部分。
張?zhí)旆褰榻B,SAS所提供的高效數(shù)據(jù)集成平臺(tái)能夠以及時(shí)、經(jīng)濟(jì)的方法將異構(gòu)系統(tǒng)內(nèi)的信息孤島整合起來。而這種操作可以在不依賴SQL語言的條件下,訪問、抽取、過濾、清洗、匯總源自不同平臺(tái)、不同格式的數(shù)據(jù),同時(shí)提供支持快速開發(fā)、有效處理和更強(qiáng)大數(shù)據(jù)管控性能的平臺(tái)和工具。例如交互式數(shù)據(jù)整合流程開發(fā)環(huán)境、專業(yè)的數(shù)據(jù)質(zhì)量管理平臺(tái)、統(tǒng)一的元數(shù)據(jù)管理工具、第三方數(shù)據(jù)庫(kù)雙向訪問接口等。
數(shù)據(jù)集成要過幾道坎?
對(duì)很多企業(yè)而言,數(shù)據(jù)集成是圍繞特定的應(yīng)用需求而實(shí)施的一系列獨(dú)立項(xiàng)目。但正如我們前面所說的,這種一次性集成方法的累積、不合理的使用反而會(huì)增加IT應(yīng)用架構(gòu)的復(fù)雜性,制造新的數(shù)據(jù)碎片,帶來新的管理難題。
數(shù)據(jù)集成現(xiàn)階段面臨著哪些挑戰(zhàn)?作為一項(xiàng)“因復(fù)雜而生卻要削弱復(fù)雜”的IT技術(shù),數(shù)據(jù)集成需要化解由數(shù)據(jù)和IT應(yīng)用持續(xù)性變化所導(dǎo)致的巨大前進(jìn)阻力。
在數(shù)據(jù)方面,現(xiàn)實(shí)的情況是,數(shù)據(jù)來源的類型愈發(fā)廣泛,數(shù)據(jù)格式更加多樣。從傳統(tǒng)視角看企業(yè)數(shù)據(jù),主要集中在文件系統(tǒng)、數(shù)據(jù)庫(kù)和消息隊(duì)列中。而隨著新應(yīng)用類型的出現(xiàn),注冊(cè)表、監(jiān)控設(shè)備、博客、Wiki、郵件、手機(jī)短信也成為了企業(yè)數(shù)據(jù)的不同載體。對(duì)于數(shù)據(jù)的使用者而言,他們希望從一個(gè)集中式數(shù)據(jù)庫(kù)和通過基于SQL等通用標(biāo)準(zhǔn)的數(shù)據(jù)服務(wù)獲取不同類型的數(shù)據(jù),而不用關(guān)心數(shù)據(jù)到底存儲(chǔ)在哪里,這大大增加了數(shù)據(jù)集成的難度。
數(shù)據(jù)格式方面,單純的二維信息描述方式顯得越來越“僵化”,難以適應(yīng)變化業(yè)務(wù)的需求??臻g數(shù)據(jù)、XML數(shù)據(jù)在數(shù)據(jù)描述上獲得了突破,但是在擁有靈活性的同時(shí),數(shù)據(jù)集成的難度也增加了,對(duì)于具有同一業(yè)務(wù)語義,但格式卻不同的數(shù)據(jù)該如何進(jìn)行集成?當(dāng)我們需要將多種類的信息合并成一個(gè)實(shí)體時(shí),集成技術(shù)需要完成高難度的操作。
在數(shù)據(jù)層之上,IT系統(tǒng)內(nèi)的天然邊界和業(yè)務(wù)區(qū)隔也會(huì)增加數(shù)據(jù)集成的難度。例如,企業(yè)的信息安全策略往往根據(jù)應(yīng)用的保護(hù)等級(jí)和信任關(guān)系將其劃分為不同的安全區(qū)域,而數(shù)據(jù)集成卻通常需要跨越不同的網(wǎng)絡(luò)或LDAP域,為此,在集成之前需要根據(jù)“數(shù)據(jù)訪問協(xié)議”、“數(shù)據(jù)流向規(guī)定”等規(guī)劃數(shù)據(jù)的采集措施。但目前尚沒有類似的“統(tǒng)一跨域、跨網(wǎng)絡(luò)數(shù)據(jù)訪問規(guī)范”,數(shù)據(jù)集成需要根據(jù)每一個(gè)采集點(diǎn)單獨(dú)定義集成任務(wù),同時(shí)還要隨著不同信任域的信任等級(jí)變化,反復(fù)地調(diào)整和配置。
雖然對(duì)于關(guān)系型數(shù)據(jù)庫(kù)和XML數(shù)據(jù)而言,數(shù)據(jù)的提取相對(duì)容易,但是隨著應(yīng)用的推陳出新,企業(yè)數(shù)據(jù)變得無處不在,博客、電子郵件、Wiki、Word文檔都成為他們的容身之所。它們?cè)跀?shù)據(jù)庫(kù)之外,如何從這些混合了數(shù)據(jù)和用戶界面的介質(zhì)中提取出關(guān)鍵數(shù)據(jù),往往需要數(shù)據(jù)集成人員和相關(guān)技術(shù)領(lǐng)域開發(fā)人員的分工協(xié)作。
另外,數(shù)據(jù)集成實(shí)施需要關(guān)注的問題還包括:如何選擇合適的執(zhí)行時(shí)機(jī);如何在規(guī)避OLTP和OLAP高峰的同時(shí),組織“快照”、“批量導(dǎo)入/導(dǎo)出”等任務(wù)。隨著多芯、多核服務(wù)器的普及,集成技術(shù)也需要從串行時(shí)代過渡到并行時(shí)代。怎樣為數(shù)據(jù)集成建立配套的監(jiān)控與錯(cuò)誤處理流程?如何設(shè)計(jì)完善且具備自動(dòng)化能力的數(shù)據(jù)集成流程,并且為其配備補(bǔ)救機(jī)制?而在技術(shù)、制度和管理之外,數(shù)據(jù)集成還需要具有多平臺(tái)、跨系統(tǒng)知識(shí)體系的工作團(tuán)隊(duì),那么,這些問題或許是企業(yè)面臨的最大挑戰(zhàn)。
并非普適技術(shù)
雖然困難重重,但是數(shù)據(jù)集成技術(shù)正在不斷成熟,用戶已經(jīng)能夠從市場(chǎng)上的相關(guān)解決方案中獲得具備整合能力的技術(shù)支持。而在正視數(shù)據(jù)集成挑戰(zhàn)的同時(shí),企業(yè)還需要明確的是,數(shù)據(jù)集成在現(xiàn)階段并非一種普適性的技術(shù),它不僅要求使用者具備一定的數(shù)據(jù)應(yīng)用規(guī)模和復(fù)雜性,還需要投入較大的資金和人力。
林楊表示,現(xiàn)階段Informatica數(shù)據(jù)集成平臺(tái)的用戶集中在大中型企業(yè)。他指出,不同規(guī)模的企業(yè)部署數(shù)據(jù)集成應(yīng)用的思路會(huì)有所不同,但是應(yīng)用的門檻相對(duì)明確?!按笮推髽I(yè)往往選擇‘自上而下’的方法,首先搭建數(shù)據(jù)集成平臺(tái),中型企業(yè)則更多地基于項(xiàng)目驅(qū)動(dòng),先在一定范圍內(nèi)實(shí)施,然后逐步積累,利用2~3年的時(shí)間使數(shù)據(jù)集成平臺(tái)逐漸成型。但對(duì)于小型企業(yè)來說,全面數(shù)據(jù)集成的壓力不大,手工編程、基于SQL的集成方式更為適用?!绷謼钸€強(qiáng)調(diào),這并不意味著小型企業(yè)不需要進(jìn)行數(shù)據(jù)集成,只是從性價(jià)比等角度考慮,暫時(shí)不需要應(yīng)用綜合性的數(shù)據(jù)集成技術(shù)。
張?zhí)旆逡舱J(rèn)為,目前的數(shù)據(jù)集成應(yīng)用主要集中在金融、電信、政府等重點(diǎn)行業(yè)。以銀行業(yè)為例,SAS在中國(guó)最大的銀行業(yè)客戶擁有數(shù)十個(gè)TB的業(yè)務(wù)數(shù)據(jù),而且數(shù)據(jù)邏輯非常復(fù)雜,需要借助數(shù)據(jù)集成技術(shù)進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、清洗和提交。他認(rèn)為,對(duì)于中小型企業(yè)而言,把數(shù)據(jù)集成項(xiàng)目交由系統(tǒng)集成商執(zhí)行與自行購(gòu)買相關(guān)軟件相比更為經(jīng)濟(jì)和高效,而一些中小客戶也喜歡采取“五五分賬”的方法,即對(duì)關(guān)鍵數(shù)據(jù)集成采用ETL工具,其他的則使用手工編程完成。
也有用戶認(rèn)為,無論選擇怎樣的數(shù)據(jù)集成方案,實(shí)用和簡(jiǎn)潔都是最關(guān)鍵的。雖然每個(gè)服務(wù)和應(yīng)用采用點(diǎn)對(duì)點(diǎn)的連接方式很容易造成IT環(huán)境的混亂,但是在信息化建設(shè)的初期,這未嘗不是一個(gè)最快達(dá)成技術(shù)目標(biāo)的選擇。對(duì)IT環(huán)境相對(duì)成熟的企業(yè)而言,最好在實(shí)施集成前先充分了解業(yè)務(wù)部門對(duì)信息互聯(lián)的需求,然后實(shí)施必要的統(tǒng)一數(shù)據(jù)治理。而無論集成項(xiàng)目的規(guī)模如何,都必須考慮建立相關(guān)的監(jiān)控措施,以及當(dāng)關(guān)鍵流程出現(xiàn)錯(cuò)誤和異常時(shí)該如何處置。
與SOA及其他
今天CIO們需要與各式各樣的技術(shù)創(chuàng)新打交道,SOA便是其中不可回避的一個(gè)。而SOA和數(shù)據(jù)集成有著緊密依存的關(guān)系,通過研究SOA解決方案不難發(fā)現(xiàn),它們往往包含一些小型的集成方案,旨在幫助用戶解決數(shù)據(jù)交互、數(shù)據(jù)清洗等問題。林楊認(rèn)為,SOA所關(guān)注的應(yīng)用和數(shù)據(jù)集成的數(shù)據(jù)是緊耦合關(guān)系。把SOA理念具體落實(shí)到數(shù)據(jù)層面,它要使信息能夠隨需應(yīng)變,而這正是數(shù)據(jù)集成的任務(wù)?!敖y(tǒng)一的企業(yè)數(shù)據(jù)集成平臺(tái)應(yīng)該成為SOA的一部分,為IT應(yīng)用提供信息服務(wù)支持。這要求企業(yè)在實(shí)施數(shù)據(jù)集成項(xiàng)目時(shí)也要引入SOA方法論,對(duì)數(shù)據(jù)的查找、整合、質(zhì)量評(píng)估進(jìn)行持續(xù)性的改進(jìn),同時(shí)關(guān)注項(xiàng)目之間的相關(guān)性和延展性。”林楊說。
“數(shù)據(jù)架構(gòu)和應(yīng)用架構(gòu)緊密相關(guān),良好的數(shù)據(jù)集成能夠簡(jiǎn)化SOA對(duì)應(yīng)用集成的實(shí)現(xiàn)。”張?zhí)旆逭f。但他也表示,SOA所倡導(dǎo)的分布式應(yīng)用會(huì)增加數(shù)據(jù)集成的難度,存在一些沖突,對(duì)分布式異種數(shù)據(jù)的集成需要引入網(wǎng)格計(jì)算等概念。
從用戶角度看,數(shù)據(jù)治理是數(shù)據(jù)集成發(fā)展到一定階段的必要補(bǔ)充,否則,長(zhǎng)期以來的數(shù)據(jù)和軟件一體化的黏性讓數(shù)據(jù)無法從服務(wù)和應(yīng)用中剝離??傮w而言,狹義的數(shù)據(jù)集成是更多地考慮如何進(jìn)行數(shù)據(jù)互聯(lián),如何向應(yīng)用屏蔽不同數(shù)據(jù)源的物理位置、通信協(xié)議和數(shù)據(jù)格式,更多關(guān)注技術(shù)問題;而數(shù)據(jù)治理則側(cè)重在數(shù)據(jù)與業(yè)務(wù)語義、業(yè)務(wù)處理分析的層面之上。
編看編想
與變化博弈的數(shù)據(jù)集成
歷史造就了數(shù)據(jù)孤島,也將收復(fù)數(shù)據(jù)孤島的使命賦予了數(shù)據(jù)集成技術(shù)。不斷滋生的數(shù)據(jù)碎片會(huì)不斷給數(shù)據(jù)集成技術(shù)制造難題,同時(shí)也催生出使其前進(jìn)的無限動(dòng)力。對(duì)數(shù)據(jù)集成項(xiàng)目的執(zhí)行者而言,這樣的任務(wù)可能并沒有明確的終點(diǎn),需要不斷地與變化進(jìn)行抗?fàn)?。這些變化包括新應(yīng)用的建立、數(shù)據(jù)庫(kù)平臺(tái)遷移/合并、IT應(yīng)用規(guī)模的擴(kuò)充,當(dāng)然還有業(yè)務(wù)組織的拆分與購(gòu)并。
無論你采取什么的技術(shù)路徑,都需要與變化為伍,雖然任何的變化都會(huì)讓你好不容易搭建的數(shù)據(jù)集成系統(tǒng)備受沖擊,但你還是不得不學(xué)著適應(yīng)變化,與其成為朋友。張?zhí)旆逭J(rèn)為,數(shù)據(jù)集成的要?jiǎng)?wù)是,在數(shù)據(jù)流動(dòng)的過程中解決復(fù)雜的數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)清洗問題,同時(shí)實(shí)現(xiàn)對(duì)海量數(shù)據(jù)處理的質(zhì)量保證。林楊也表示,數(shù)據(jù)集成是典型的持續(xù)型項(xiàng)目,由于與各種業(yè)務(wù)應(yīng)用都存在接口,數(shù)據(jù)集成的實(shí)踐者需要在變化的環(huán)境中建立清晰的技術(shù)實(shí)現(xiàn)圖景。
流動(dòng)中的數(shù)據(jù)變幻莫測(cè),它們的內(nèi)容、質(zhì)量、結(jié)構(gòu)和定義都在不斷變化著,而業(yè)務(wù)的復(fù)雜程度、項(xiàng)目周期的縮短以及更多數(shù)量和類型數(shù)據(jù)的涌入,不斷制造出新的數(shù)據(jù)孤島。因此,數(shù)據(jù)集成將成為一門企業(yè)需要持續(xù)修習(xí)的功課。明確這一點(diǎn),可以讓我們慎重考慮那些關(guān)注短視效應(yīng)的選擇,用更加長(zhǎng)遠(yuǎn)的目光審視技術(shù)的發(fā)展并邁出堅(jiān)實(shí)的腳步。(CCW-cnw)
- 1重慶OA快博
- 2貴陽OA快博
- 3廣州OA快博
- 4深圳OA快博
- 5長(zhǎng)沙OA快博
- 6廈門OA快博
- 7濟(jì)南OA快博
- 8太原OA快博
- 9上海OA快博
- 10沈陽OA快博
- 11長(zhǎng)春OA快博
- 12哈爾濱OA快博
- 1泛普軟件ThinkOne具針對(duì)性的解決方案
- 2八地交易所整頓過關(guān) 文交所份額化模式前景未明
- 3十八大后十省調(diào)整黨委書記 呈年輕化和高學(xué)歷化
- 4辦公自動(dòng)化軟件的客戶服務(wù)管理怎么樣呢?
- 5輕松阻止黑客接管企業(yè)路由器
- 6以太網(wǎng)交換機(jī)技術(shù)發(fā)展趨勢(shì)
- 7中國(guó)商人造諾亞方舟:煤老板下訂貨單
- 8中國(guó)進(jìn)入汽車新召回時(shí)代 或是三包出臺(tái)前奏
- 9CCM讓千萬用戶更滿意
- 10堵死黑客攻擊的十一點(diǎn)原則
- 11中國(guó)海洋局飛機(jī)接近釣魚島 日本緊急派F-15戰(zhàn)機(jī)攔截
- 12五種對(duì)交換機(jī)進(jìn)行故障診斷的技術(shù)
- 13美國(guó)國(guó)務(wù)卿希拉里因病暈倒 撞到頭部致腦震蕩
- 14成都轎車闖黃燈罰6分:無近距離跟車 時(shí)速30km
- 15虛擬化容災(zāi)成災(zāi)備系統(tǒng)建設(shè)新方法
- 16辦公自動(dòng)化軟件的流程信息協(xié)同差異有哪些呢?
- 17報(bào)告稱2013年物價(jià)將進(jìn)入新一輪上漲階段
- 18雅戈?duì)柡贾輼潜P戶門易撞人 回應(yīng)稱為客戶省公攤
- 19交換機(jī)漏洞五宗罪
- 20鄭州"房妹"父親被立案查處 爆料人接死亡威脅
- 21預(yù)防惡意軟件應(yīng)如何著手
- 222008年最熱7大軟件技能
- 23零售業(yè)CIO平淡工作中譜寫完美篇章
- 24交換機(jī)中的堆疊與級(jí)連區(qū)別詳解
- 25人大:不必?fù)?dān)心網(wǎng)絡(luò)實(shí)名制影響舉報(bào)貪腐
- 2618大報(bào)告:城鄉(xiāng)居民人均收入首提10年翻番
- 27KappaKids夢(mèng)想航班正式起航(圖)
- 28移動(dòng)安全生死一線
- 29跨越軟件工程中的兩大鴻溝
- 302008年中國(guó).NET技術(shù)應(yīng)用趨勢(shì)分析
成都公司:成都市成華區(qū)建設(shè)南路160號(hào)1層9號(hào)
重慶公司:重慶市江北區(qū)紅旗河溝華創(chuàng)商務(wù)大廈18樓