概念解析：數(shù)據(jù)倉庫與數(shù)據(jù)集市

申請免費(fèi)試用、咨詢電話：400-8352-114

數(shù)據(jù)倉庫

20世紀(jì)80年代中期，“數(shù)據(jù)倉庫之父”Wiliam H.Inmon先生認(rèn)為：數(shù)據(jù)倉庫（Data Warehouse）是在企業(yè)管理和決策中面向主題的（Subject Oriented）、集成的（Integrate）、與時(shí)間相關(guān)的（Time Variant）、但信息本身又相對穩(wěn)定的（Non-Volatile）數(shù)據(jù)集合。與其他數(shù)據(jù)庫應(yīng)用不同的是，數(shù)據(jù)倉庫更像一種過程，是對分布在企業(yè)內(nèi)部各處業(yè)務(wù)數(shù)據(jù)的整合、加工和分析的過程，而不是一種可以購買的產(chǎn)品。

數(shù)據(jù)集市可稱作“小數(shù)據(jù)倉庫”，是用來分析相關(guān)專門業(yè)務(wù)問題或功能目標(biāo)而做的專項(xiàng)數(shù)據(jù)集合。它建立在具有統(tǒng)一數(shù)據(jù)存儲模型的數(shù)據(jù)倉庫下，各級業(yè)務(wù)人員按照各部門特定的需求把數(shù)據(jù)進(jìn)行復(fù)制、處理、加工，并最終統(tǒng)一展現(xiàn)為有部門特點(diǎn)的數(shù)據(jù)集合。

1 數(shù)據(jù)倉庫的體系結(jié)構(gòu)

Ralph Kimball和Bill Inmon一直是商業(yè)智能領(lǐng)域中的革新者，開發(fā)并測試了新的技術(shù)和體系結(jié)構(gòu)。Kimball和Inmon同意組織需要一個(gè)與遺留系統(tǒng)和OLTP系統(tǒng)分開的數(shù)據(jù)倉庫，以捕獲組織的有關(guān)信息并使之可用。數(shù)據(jù)倉庫中的數(shù)據(jù)應(yīng)該是凈化的、一致的，并且不受其來源的遺留系統(tǒng)和OLTP系統(tǒng)設(shè)計(jì)的牽制。在開始第一個(gè)數(shù)據(jù)集市之前，他們還同意用針對整個(gè)體系結(jié)構(gòu)的思想重復(fù)構(gòu)建數(shù)據(jù)倉庫。

Bill Inmon將數(shù)據(jù)倉庫定義為“一個(gè)面向主題的、集成的、隨時(shí)間變化的、非易變的用于支持管理的決策過程的數(shù)據(jù)集合”。Inmon通過“面向主題”表示應(yīng)該圍繞主題來組織數(shù)據(jù)倉庫中的數(shù)據(jù)，每個(gè)主題區(qū)域僅僅包含與該主題相關(guān)的信息。數(shù)據(jù)倉庫應(yīng)該一次增加一個(gè)主題，并且當(dāng)需要容易地訪問多個(gè)主題時(shí)，應(yīng)該創(chuàng)建以數(shù)據(jù)倉庫為來源的數(shù)據(jù)集市。

Ralph Kimball說“數(shù)據(jù)倉庫僅僅是構(gòu)成它的數(shù)據(jù)集市的聯(lián)合”。他認(rèn)為“可以通過一系列維數(shù)相同的數(shù)據(jù)集市遞增地構(gòu)建數(shù)據(jù)倉庫”，通過使用“一致的”維，能夠共同看到不同數(shù)據(jù)集市中的信息，這表示它們擁有公共定義的元素。Kimbal的方法將提供集成的數(shù)據(jù)來回答組織迫切的業(yè)務(wù)問題并且要快于Inmon的方法。Inmon的方法是只有在構(gòu)建幾個(gè)單主題區(qū)域之后，集中式的數(shù)據(jù)倉庫才創(chuàng)建數(shù)據(jù)集市，而Kimbal認(rèn)為該方法缺乏靈活性，并且在現(xiàn)在的商業(yè)環(huán)境中所花時(shí)間太長。

實(shí)際上，方法的選擇取決于項(xiàng)目的主要商業(yè)驅(qū)動。如果該組織正忍受糟糕的數(shù)據(jù)管理和不一致的數(shù)據(jù)，那么Inmon的方法就更好一些；如果該組織迫切需要給用戶提供信息，那么Kimbal的方法將滿足該需求。數(shù)據(jù)倉庫將使數(shù)據(jù)集市與遺留系統(tǒng)和OLTP系統(tǒng)隔離，并且支持更快地創(chuàng)建將來的數(shù)據(jù)集市。

遺憾的是，個(gè)別部門經(jīng)常濫用Kimball的方法，并將之作為脫離集中控制而構(gòu)建他們自己數(shù)據(jù)集市的借口。當(dāng)試圖跨集市訪問數(shù)據(jù)以獲取聯(lián)合視圖時(shí)，這將造成嚴(yán)重問題，而集中式信息體系結(jié)構(gòu)將避免這一點(diǎn)。

2 數(shù)據(jù)倉庫的構(gòu)建

對于數(shù)據(jù)倉庫的概念，我們可以從兩個(gè)層次予以理解：首先，數(shù)據(jù)倉庫用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫；其次，數(shù)據(jù)倉庫是對多個(gè)異構(gòu)數(shù)據(jù)源的有效集成，集成后按照主題進(jìn)行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。

根據(jù)數(shù)據(jù)倉庫概念的含義，數(shù)據(jù)倉庫擁有以下4個(gè)特點(diǎn)：

（1）面向主題的。操作型數(shù)據(jù)庫的數(shù)據(jù)組織面向事務(wù)處理任務(wù)，各個(gè)業(yè)務(wù)系統(tǒng)之間各自分離，而數(shù)據(jù)倉庫中的數(shù)據(jù)按照一定的主題域進(jìn)行組織。

（2）集成的。面向事務(wù)處理的操作型數(shù)據(jù)庫通常與某些特定的應(yīng)用相關(guān)，數(shù)據(jù)庫之間相互獨(dú)立，并且往往是異構(gòu)的；而數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理得到的，必須消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個(gè)企業(yè)一致的全局信息。

（3）相對穩(wěn)定的。操作型數(shù)據(jù)庫中的數(shù)據(jù)通常實(shí)時(shí)更新，數(shù)據(jù)根據(jù)需要及時(shí)發(fā)生變化。數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，一旦某個(gè)數(shù)據(jù)進(jìn)人數(shù)據(jù)倉庫以后，一般情況下將被長期保留。

（4）反映歷史變化。操作型數(shù)據(jù)庫主要關(guān)心當(dāng)前某一個(gè)時(shí)間段內(nèi)的數(shù)據(jù)，而數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時(shí)點(diǎn)到目前的各個(gè)階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢作出定量分析和預(yù)測。

企業(yè)數(shù)據(jù)倉庫的建設(shè)是以現(xiàn)有企業(yè)業(yè)務(wù)系統(tǒng)和業(yè)務(wù)數(shù)據(jù)的積累為基礎(chǔ)。數(shù)據(jù)倉庫不是靜態(tài)的概念，只有把信息及時(shí)交給需要這些信息的使用者，供他們做出改善其業(yè)務(wù)經(jīng)營的決策，信息才能發(fā)揮作用，而把信息加以整理歸納和重組，并及時(shí)提供給相應(yīng)的管理決策人員，是數(shù)據(jù)倉庫的根本任務(wù)。

整個(gè)數(shù)據(jù)倉庫系統(tǒng)是一個(gè)包含4個(gè)層次的體系結(jié)構(gòu)，具體結(jié)構(gòu)見圖1。

圖1 數(shù)據(jù)倉庫系統(tǒng)結(jié)構(gòu)圖

數(shù)據(jù)源：是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)，是整個(gè)系統(tǒng)的數(shù)據(jù)源泉，通常包括企業(yè)內(nèi)部信息和外部信息。內(nèi)部信息包括存放于RDBMS中的各種業(yè)務(wù)處理數(shù)據(jù)和各類文檔數(shù)據(jù)；外部信息包括各類法律法規(guī)、市場信息和競爭對手的信息等等。

數(shù)據(jù)的存儲與管理：是整個(gè)數(shù)據(jù)倉庫系統(tǒng)的核心。數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲和管理。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫，同時(shí)也決定了其對外部數(shù)據(jù)的表現(xiàn)形式。數(shù)據(jù)倉庫按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級數(shù)據(jù)倉庫和部門級數(shù)據(jù)倉庫（通常稱為數(shù)據(jù)集市）。

OLAP服務(wù)器：對分析需要的數(shù)據(jù)進(jìn)行有效集成，按多維模型予以組織，以便進(jìn)行多角度、多層次的分析，并發(fā)現(xiàn)趨勢。

前端工具：主要包括各種報(bào)表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市的應(yīng)用開發(fā)工具。

3 數(shù)據(jù)倉庫平臺的評測指標(biāo)

目前，專門針對數(shù)據(jù)倉庫平臺的評測指標(biāo)，主要是由TPC組織開發(fā)的TPC-D。TPC是交易處理委員會（Transaction Processing Performance Council）的英文縮寫，是一個(gè)國際性的組織.專門負(fù)責(zé)為各種開放平臺在不同類型的應(yīng)用制訂一個(gè)統(tǒng)一、公正的測試標(biāo)準(zhǔn)。

對于數(shù)據(jù)倉庫系統(tǒng)，TPC-D主要考慮三方面的數(shù)據(jù)需要：

QppD：是Query Processing Power D的縮寫，D表示這個(gè)結(jié)果是按照TPC-D標(biāo)準(zhǔn)測得的（下同），這個(gè)數(shù)據(jù)描述了系統(tǒng)的查詢處理能力。

QthD：是Query Throughput D的縮寫，即流量測試結(jié)果，描述了系統(tǒng)在多個(gè)用戶同時(shí)進(jìn)行查詢時(shí)的處理能力。

QphD：是Query Price-Performance的縮寫，即性能價(jià)格比。

顯然，前面兩個(gè)指標(biāo)的數(shù)據(jù)越大越好，而最后一個(gè)則越小越好。TPC-D的測試是在不同的數(shù)據(jù)庫級別上進(jìn)行，主要可供參考的是100Gb，300Gb，1000Gb和3000Gb 4個(gè)級別上的測試結(jié)果。