如何保證企業(yè)數(shù)據(jù)的質(zhì)量

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

解決數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)質(zhì)量問(wèn)題需要技術(shù)手段，也需要管理手段，還需要決策層給予充分的支持，從而在技術(shù)與業(yè)務(wù)互動(dòng)中逐步解決數(shù)據(jù)質(zhì)量問(wèn)題。

企業(yè)信息化的浪潮正如火如荼，電信、金融、石化等大型企業(yè)迫于市場(chǎng)競(jìng)爭(zhēng)壓力紛紛實(shí)施數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目來(lái)提升競(jìng)爭(zhēng)力。數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目實(shí)施的難題之一就是企業(yè)的數(shù)據(jù)質(zhì)量，在某種意義上講，如果企業(yè)能妥善地解決數(shù)據(jù)質(zhì)量問(wèn)題，數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目就已距離成功不遠(yuǎn)了。

企業(yè)數(shù)據(jù)質(zhì)量問(wèn)題

數(shù)據(jù)質(zhì)量問(wèn)題的表現(xiàn)形式非常豐富。典型的有數(shù)據(jù)遺漏、數(shù)據(jù)錯(cuò)誤、多義字段、矛盾值、違背業(yè)務(wù)規(guī)則、主鍵重復(fù)、無(wú)法關(guān)聯(lián)、沒有意義的默認(rèn)值等。那么數(shù)據(jù)質(zhì)量問(wèn)題是如何產(chǎn)生的呢？盡管該問(wèn)題的出現(xiàn)與過(guò)多的系統(tǒng)和數(shù)據(jù)庫(kù)有關(guān)，但數(shù)千個(gè)文件和數(shù)據(jù)庫(kù)中不受控制的數(shù)據(jù)冗余以及數(shù)百個(gè)系統(tǒng)中不受控制的程序冗余才是真正原因。產(chǎn)生數(shù)據(jù)問(wèn)題的原因可以歸結(jié)為以下幾個(gè)方面:

管理因素：各個(gè)部門獨(dú)立設(shè)計(jì)自己的應(yīng)用系統(tǒng)，業(yè)務(wù)定義相互沖突。

系統(tǒng)因素：例如某些應(yīng)用程序測(cè)試不充分，不斷產(chǎn)生錯(cuò)誤的操作型數(shù)據(jù)。

數(shù)據(jù)遷移因素：業(yè)務(wù)系統(tǒng)更新后，會(huì)增加、刪減或修改部分舊的業(yè)務(wù)規(guī)則，在將老數(shù)據(jù)遷移進(jìn)新系統(tǒng)后，可能會(huì)引入缺漏、錯(cuò)誤、無(wú)法關(guān)聯(lián)等遺留問(wèn)題。

輸入因素：比如前臺(tái)數(shù)據(jù)錄入可能造成數(shù)據(jù)質(zhì)量問(wèn)題，有的前臺(tái)柜員為加快柜面辦理速度，對(duì)于客戶開戶時(shí)提供的家庭電話、職業(yè)、地址等信息并不做檢查，這會(huì)造成操作性數(shù)據(jù)的信息缺漏、錯(cuò)誤等問(wèn)題。

接口銜接因素：有時(shí)業(yè)務(wù)系統(tǒng)之間交換數(shù)據(jù)時(shí)接口Bug也可能引入臟數(shù)據(jù)。

其他因素還包括客戶通過(guò)網(wǎng)絡(luò)辦理業(yè)務(wù)時(shí)，基于隱私信息保護(hù)的心理，也可能僅僅填寫必需項(xiàng)或者隨意填寫，對(duì)企業(yè)而言有用的大量信息是空白或者不合常理，這也會(huì)造成信息缺漏或錯(cuò)誤數(shù)據(jù)問(wèn)題。

保證數(shù)據(jù)質(zhì)量的方法

數(shù)據(jù)質(zhì)量問(wèn)題是全企業(yè)的事情，需要使用管理手段和技術(shù)手段相結(jié)合的辦法，通過(guò)摸索實(shí)踐，逐步建立一套完善的組織、流程、制度，持續(xù)地改進(jìn)企業(yè)數(shù)據(jù)質(zhì)量，最后解決這一問(wèn)題。

1.解決數(shù)據(jù)質(zhì)量問(wèn)題的方法

一種方法是在數(shù)據(jù)源系統(tǒng)中進(jìn)行解決，修改產(chǎn)生問(wèn)題數(shù)據(jù)的應(yīng)用程序和源系統(tǒng)中的錯(cuò)誤數(shù)據(jù)。這種方法比較徹底，但修改應(yīng)用程序需要較大的工作量，周期長(zhǎng)，還需要管理層的允許，而且在多數(shù)情況下，在源系統(tǒng)中改動(dòng)大量應(yīng)用程序不具可行性；另一種方法是在數(shù)據(jù)的抽取、轉(zhuǎn)化與清洗（ETL）階段進(jìn)行解決，可以僅對(duì)有問(wèn)題的數(shù)據(jù)在轉(zhuǎn)換時(shí)進(jìn)行修正，這種方法不需要改動(dòng)數(shù)據(jù)源系統(tǒng)，簡(jiǎn)單易行，周期短，缺點(diǎn)是無(wú)法徹底消除有問(wèn)題數(shù)據(jù)的持續(xù)產(chǎn)生,而且ETL附加的轉(zhuǎn)換邏輯會(huì)比較復(fù)雜，累積的開銷也很大。

2．解決數(shù)據(jù)質(zhì)量問(wèn)題的關(guān)鍵環(huán)節(jié)

一個(gè)是在項(xiàng)目初期設(shè)立數(shù)據(jù)質(zhì)量問(wèn)題資料庫(kù)，對(duì)數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)行跟蹤記錄，從問(wèn)題開始暴露到解決方法提出、問(wèn)題得到解決的全部過(guò)程都應(yīng)盡量包括進(jìn)去。企業(yè)業(yè)務(wù)人員和管理人員將根據(jù)資料庫(kù)中匯總的數(shù)據(jù)質(zhì)量問(wèn)題出現(xiàn)位置、發(fā)生頻次、影響范圍、清理開銷等來(lái)更好地認(rèn)識(shí)企業(yè)的數(shù)據(jù)質(zhì)量情況，相應(yīng)地合理分配企業(yè)資源來(lái)支持。

其二是建立集中管理和控制的ETL平臺(tái)，因?yàn)檫@樣就能夠在轉(zhuǎn)換過(guò)程中執(zhí)行統(tǒng)一的問(wèn)題清理策略。

另外就是利用數(shù)據(jù)倉(cāng)庫(kù)提供的單一企業(yè)視圖，這能夠有效地發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題，對(duì)數(shù)據(jù)質(zhì)量的提升進(jìn)行跟蹤、評(píng)估反饋。

尋求組織支持

解決數(shù)據(jù)質(zhì)量問(wèn)題是整個(gè)企業(yè)相關(guān)的，具體體現(xiàn)為數(shù)據(jù)清理，但是清理什么、不清理什么、清理到什么程度、什么部門執(zhí)行則是業(yè)務(wù)與管理的問(wèn)題，這個(gè)過(guò)程需要強(qiáng)有力的組織支持，因?yàn)榭绮块T協(xié)調(diào)以及執(zhí)行清理動(dòng)作往往需要橫跨企業(yè)的強(qiáng)制力。這就需要設(shè)立專門的功能組織來(lái)推動(dòng)。

建議解決數(shù)據(jù)質(zhì)量問(wèn)題應(yīng)建立如下功能組織：數(shù)據(jù)質(zhì)量管理組、業(yè)務(wù)咨詢委員會(huì)、技術(shù)咨詢委員會(huì)、數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目組，這些小組既可以是全職也可以是兼職。數(shù)據(jù)質(zhì)量管理組包括：數(shù)據(jù)質(zhì)量分析員、業(yè)務(wù)聯(lián)絡(luò)人或者業(yè)務(wù)代表、數(shù)據(jù)管理員、技術(shù)支持人員。業(yè)務(wù)咨詢委員會(huì)包括業(yè)務(wù)部門領(lǐng)導(dǎo)和管理人員；技術(shù)咨詢委員會(huì)包括技術(shù)部門領(lǐng)導(dǎo)和管理人員；數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目組則是負(fù)責(zé)建設(shè)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的人員。其中數(shù)據(jù)質(zhì)量管理組是重要的組織，處于核心位置。

總之，企業(yè)數(shù)據(jù)質(zhì)量問(wèn)題的解決是一個(gè)長(zhǎng)期的過(guò)程，業(yè)務(wù)管理部門與技術(shù)部門需要充分的溝通與協(xié)作，一起配合數(shù)據(jù)質(zhì)量組織，共同建立一套有效的解決數(shù)據(jù)質(zhì)量的組織、方法與流程，徹底解決數(shù)據(jù)質(zhì)量問(wèn)題。 (ccw)