基于ODI的高校異構系統數據整合模型研究

申請免費試用、咨詢電話：400-8352-114

　　我國高校信息化建設經過多年的發(fā)展，各個高校都開發(fā)了許多業(yè)務應用系統，應用系統給日常數據管理帶來了很大的便捷，然而隨著時間的推移，高校應用系統數據主要存在以下四個問題：

　　1.數據冗余和數據不一致

　　目前高校應用系統中積累了大量的基礎數據，各個應用系統的運行使用都是基于基礎數據之上的，但是如果某個系統中的基礎數據發(fā)生修改，其余的應用系統卻仍然使用原有的數據，這樣就造成了數據的重復性和多樣性。

　　2.信息資源可用程度較低

　　高校一些應用系統集成度低、互聯性差，數據的完整性、及時性已經越來越不能滿足日常業(yè)務的需求。高校單位雖然已經建立了內部網和互聯網，但多年來由于應用系統大多為分散開發(fā)，應用系統之間形成了“信息孤島”，缺乏可共享的、可用度高的信息資源體系。

　　3.信息資源存儲空間利用率低

　　高?；A數據都分散在各個應用系統中，應用系統重復的基礎數據和業(yè)務邏輯數據會對信息資源存儲造成極大的浪費。并且由于物理存儲中“垃圾信息”較多，也會影響應用系統的有效信息查詢速度。

　　4.缺乏統一的數據標準和規(guī)范

　　由于各個高校應用系統中缺乏統一的數據標準和規(guī)范，所以無法從龐大的基礎數據中形成有效的數據積累，并且在數據統計和上報時準確性不高，無法給領導決策提供有效的數據支持。

　　以上問題使得大量的高?；A數據處于低水平的自治共享上，眾多數據資源成為孤立、離散的“信息孤島”，有必要對其進行整合，建立統一的數據標準，進行大范圍、有效的數據交換共享。

　　二、文獻綜述

　　1.ETL技術

　　ETL，是英文單詞(Extract，Transform，Load)三個單詞的縮寫，用來描述將數據從源端數據源經過抽取(Extract)、轉換(Transform)、加載(Load)至目的端數據倉庫的過程。ETL是構建數據倉庫的重要步驟，如果把數據比作構建高樓大廈的磚瓦，那么ETL就是建造高樓大廈的過程。

　　ETL過程中，抽取主要是解決數據異構的問題，可以看做是從多個數據源將數據輸入到統一的數據存儲中。數據的轉換和清洗是解決“臟數據”的問題，其主要任務就是檢測和修復臟數據(消除錯誤或者不一致的數據)，提高數據質量[1]。數據加載則是將處理后的數據從統一的數據存儲加載到目的端數據倉庫中，傳統的ETL轉換模式如圖1所示。

　　　　　　　圖1 傳統的ETL轉換模式　　　　　　　　圖2 ODI（E-LT）轉換模式

　　2.Oracle Data Integrator

　　Oracle Data Integrator(簡稱ODI)是一個功能全面的數據集成工具，與Oracle數據庫配合使用，可進行高性能批量加載，支持事件驅動和SOA數據服務。

　　在圖2中大家可以看出，在E-LT結構中，首先從各個數據源中抽取數據，然后把數據直接裝載到目標數據庫中，在目標數據庫中完成數據的轉換工作。傳統的ETL轉換由于需要ETL服務器，所以需要額外的硬件投入，而E-LT轉換過程省略了中間節(jié)點，充分利用了目標數據庫服務器，減少了解決方案的成本。

　　3.高校異構數據整合研究現狀

　　圍繞數據整合和ETL技術這兩個方面，國內外研究人員進行了一系列的研究工作。關于ETL技術方面，2003年通過UML標準化來對ETL過程中不同數據源和目標之間的轉換屬性進行重新的定義，避免出現錯誤的商業(yè)決策[2]。2005年Simits,A給出了ETL工作流算法，對ETL中的執(zhí)行時間進行優(yōu)化操作[3]。2007年牟青等以自行開發(fā)的異構數據整合工具為背景,討論了審計監(jiān)控子系統的設計與實現方法[4]。2012年唐鈺等提出了一種基于逆向清理的異構數據整合模型，該模型能同時提高原始數據和目標數據的質量[5]。關于數據中心建設，2006年王涌通過從數據中心標準集的建設出發(fā)，結合本校示例對實施過程中的相關問題進行了討論和研究[6]。2008年陸子平從硬件建設角度介紹了高校數據中心的建設思路和架構[7];2012年孟凡立等對高校數據中心關鍵設備的選擇及虛擬化進行了深入分析，從云計算平臺的角度給出了一套數據中心建設方案[8]。

　　以上研究工作的重點只是單單從硬件角度給出數據中心設計方案或者只是從ETL技術層面來給出如何優(yōu)化數據清洗整合的過程，而對于如何從結合高校本身的特點來對高校數據進行整合卻沒有給予太多的關注。鑒于以上問題，本文的研究重點是從實際應用出發(fā)，根據高校業(yè)務系統的實際應用情況，討論高校數據標準集設計方法，給出幾種不同的數據通用交換模型，以此來提高高校業(yè)務系統數據的利用率。