商業(yè)智能的性能

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

數(shù)據(jù)倉(cāng)庫(kù)引擎是BI中的核心，它的性能高低直接決定了BI的表現(xiàn)。

一個(gè)完整的BI（Business Intelligence）應(yīng)用通常涉及數(shù)據(jù)倉(cāng)庫(kù)引擎及其相關(guān)的設(shè)計(jì)建模工具、ETL工具、前端展現(xiàn)工具等。這里的數(shù)據(jù)展現(xiàn)主要作用是以圖表、Dashboard等形式將結(jié)果呈現(xiàn)給用戶；ETL負(fù)責(zé)將原始數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)化、清洗、裝載進(jìn)數(shù)據(jù)倉(cāng)庫(kù)；數(shù)據(jù)倉(cāng)庫(kù)負(fù)責(zé)執(zhí)行數(shù)據(jù)的存儲(chǔ)和管理，并執(zhí)行前端展現(xiàn)工具提交的各種查詢分析任務(wù)。在BI應(yīng)用中，數(shù)據(jù)倉(cāng)庫(kù)類似于汽車的引擎，居于核心地位，它的性能高低直接決定了BI應(yīng)用的響應(yīng)速度。而在大型BI應(yīng)用中，性能是一個(gè)非常關(guān)鍵的問題，特別是那些有著海量數(shù)據(jù)、需要完成復(fù)雜查詢?nèi)蝿?wù)的系統(tǒng)，數(shù)據(jù)倉(cāng)庫(kù)引擎的選擇就更為關(guān)鍵。

不同的技術(shù)路線

綜觀目前的數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)，能提供這一個(gè)工具的供應(yīng)商并不多，一線的廠商主要有Teradata、IBM、Oracle、Sybase、Microsoft等。盡管同為數(shù)據(jù)倉(cāng)庫(kù)引擎，但是這些供應(yīng)商各自所走的技術(shù)路線并不同，不同的技術(shù)也導(dǎo)致了它們的產(chǎn)品具有完全不同的特點(diǎn)。

Teradata應(yīng)該算最為特立獨(dú)行的一個(gè)。Teradata數(shù)據(jù)倉(cāng)庫(kù)主要運(yùn)行在NCR WorldMark SMP硬件的Unix操作系統(tǒng)平臺(tái)上（該公司也提供基于Windows NT的Teradata），它的高性能主要通過Teradata與NCR硬件平臺(tái)海量并行處理服務(wù)器（Massively Parallel Processing, MPP）結(jié)合，以及采用特有BYNET協(xié)議和查詢優(yōu)化等技術(shù)實(shí)現(xiàn)并行等機(jī)制來實(shí)現(xiàn)。由于采用一些專有的硬件和技術(shù)，因此，價(jià)格較高，是數(shù)據(jù)倉(cāng)庫(kù)中的貴族。

IBM、Oracle和Microsoft的數(shù)據(jù)倉(cāng)庫(kù)引擎屬于同一類，它們都提供數(shù)據(jù)庫(kù)產(chǎn)品，其數(shù)據(jù)倉(cāng)庫(kù)引擎和數(shù)據(jù)庫(kù)引擎從技術(shù)上說有很多相似之處。這種技術(shù)路線給它們帶來的好處是，其數(shù)據(jù)倉(cāng)庫(kù)解決方案很自然地從數(shù)據(jù)庫(kù)技術(shù)拓展和延伸而來，集成性、延續(xù)性比較突出。

與IBM、Oracle等相比，雖然Sybase也同時(shí)提供數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品，但是，其Sybase的數(shù)據(jù)倉(cāng)庫(kù)引擎卻走了一條與其數(shù)據(jù)庫(kù)、也與Oracle、IBM完全不同的技術(shù)路線。其中最大的不同就是在Sybase數(shù)據(jù)倉(cāng)庫(kù)引擎（即Sybase IQ）中采用列存儲(chǔ)架構(gòu)，而所有關(guān)系型數(shù)據(jù)庫(kù)引擎廣泛采用的則是行式存儲(chǔ)。

列存儲(chǔ)技術(shù)

在關(guān)系型數(shù)據(jù)庫(kù)內(nèi)核中，數(shù)據(jù)庫(kù)是按行來存儲(chǔ)數(shù)據(jù)記錄的，也就是說數(shù)據(jù)庫(kù)表最典型的表示為一條數(shù)據(jù)頁(yè)鏈，每一數(shù)據(jù)頁(yè)中有一行或者多行數(shù)據(jù)記錄。而在數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用中，從查詢性能的觀點(diǎn)出發(fā)，這種存儲(chǔ)方式并不可取。因?yàn)樵贠LTP（在線事務(wù)處理，即傳統(tǒng)數(shù)據(jù)庫(kù)應(yīng)用）環(huán)境中，一個(gè)事務(wù)處理是與一行（或多行）數(shù)據(jù)有效對(duì)應(yīng)的，而在OLAP（在線分析處理，即BI應(yīng)用）環(huán)境中，以查詢處理最多，而查詢是基于特定的列來選擇的。Sybase IQ是按列來組織數(shù)據(jù)的，每張表是一組相互獨(dú)立的頁(yè)鏈，每個(gè)頁(yè)鏈代表表中的一列。

基于列存儲(chǔ)所帶來的一個(gè)直接好處是，在壓縮方面比傳統(tǒng)的關(guān)系型數(shù)據(jù)更加有效。這是因?yàn)橥涣械乃袛?shù)據(jù)域有相同的類型，因而每一列都可以為優(yōu)化的效率和檢索進(jìn)行壓縮。而基于行的存儲(chǔ)，各個(gè)不同的域擁有各不相同的數(shù)據(jù)類型，盡管這非常適合交易進(jìn)程，但并不適合壓縮，因?yàn)閴嚎s很可能只能采用一種最低通用原則。

事實(shí)上，在壓縮效果上，Sybase非常自信。Sybase中國(guó)公司CTO盧東明對(duì)記者表示，Sybase IQ能保證至少3倍以上的壓縮比。高的壓縮能力能帶來存儲(chǔ)成本的節(jié)約，有人曾經(jīng)對(duì)數(shù)據(jù)的存儲(chǔ)成本進(jìn)行過估算，目前每管理1TB數(shù)據(jù)的軟硬件加人力成本大約為5萬(wàn)美元左右。

列存儲(chǔ)的另一個(gè)好處是性能上的提高。在行存儲(chǔ)方式的情況下，如果需要訪問數(shù)據(jù)必須讀出完整的一行，而不管你實(shí)際感興趣的是其中哪一個(gè)或幾個(gè)域。因此，這可能形成只需要50K的數(shù)據(jù)卻需要讀出500k的情況。而在采用列存儲(chǔ)方式時(shí)，可以只讀出所需要的列數(shù)據(jù)。讀出數(shù)據(jù)量的減少直接后果就是性能的提高。特別是在處理大數(shù)據(jù)量、復(fù)雜的跨多表查詢時(shí)，列存儲(chǔ)在性能上的提升非常明顯。

除此之外，Sybase IQ還采用了其他的一些專有技術(shù)，如位圖索引和BitWise索引技術(shù)等?！坝捎谶@些技術(shù)的采用，最終保證了Sybase IQ查詢速度的極大改進(jìn)，這種速度的提高能達(dá)到10倍以上。因此，我們認(rèn)為Sybase IQ的技術(shù)是革命性的?！盨ybase的盧東明在接受記者采訪時(shí)表示。

目前，上述三種不同的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)到底哪種更好，各家都有自己的說法。因此，對(duì)用戶而言，具體選擇時(shí)還需多了解同類型的BI應(yīng)用。不過，用戶倒是樂觀其成，畢竟競(jìng)爭(zhēng)可以帶給用戶更好的技術(shù)和產(chǎn)品。（ccw）