監(jiān)理公司管理系統(tǒng) | 工程企業(yè)管理系統(tǒng) | OA系統(tǒng) | ERP系統(tǒng) | 造價(jià)咨詢管理系統(tǒng) | 工程設(shè)計(jì)管理系統(tǒng) | 簽約案例 | 購(gòu)買價(jià)格 | 在線試用 | 手機(jī)APP | 產(chǎn)品資料
X 關(guān)閉

商業(yè)智能的性能

申請(qǐng)免費(fèi)試用、咨詢電話:400-8352-114

來源:泛普軟件

數(shù)據(jù)倉(cāng)庫(kù)引擎是BI中的核心,它的性能高低直接決定了BI的表現(xiàn)。

一個(gè)完整的BI(Business Intelligence)應(yīng)用通常涉及數(shù)據(jù)倉(cāng)庫(kù)引擎及其相關(guān)的設(shè)計(jì)建模工具、ETL工具、前端展現(xiàn)工具等。這里的數(shù)據(jù)展現(xiàn)主要作用是以圖表、Dashboard等形式將結(jié)果呈現(xiàn)給用戶;ETL負(fù)責(zé)將原始數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)化、清洗、裝載進(jìn)數(shù)據(jù)倉(cāng)庫(kù);數(shù)據(jù)倉(cāng)庫(kù)負(fù)責(zé)執(zhí)行數(shù)據(jù)的存儲(chǔ)和管理,并執(zhí)行前端展現(xiàn)工具提交的各種查詢分析任務(wù)。在BI應(yīng)用中,數(shù)據(jù)倉(cāng)庫(kù)類似于汽車的引擎,居于核心地位,它的性能高低直接決定了BI應(yīng)用的響應(yīng)速度。而在大型BI應(yīng)用中,性能是一個(gè)非常關(guān)鍵的問題,特別是那些有著海量數(shù)據(jù)、需要完成復(fù)雜查詢?nèi)蝿?wù)的系統(tǒng),數(shù)據(jù)倉(cāng)庫(kù)引擎的選擇就更為關(guān)鍵。

不同的技術(shù)路線

綜觀目前的數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng),能提供這一個(gè)工具的供應(yīng)商并不多,一線的廠商主要有Teradata、IBM、Oracle、Sybase、Microsoft等。盡管同為數(shù)據(jù)倉(cāng)庫(kù)引擎,但是這些供應(yīng)商各自所走的技術(shù)路線并不同,不同的技術(shù)也導(dǎo)致了它們的產(chǎn)品具有完全不同的特點(diǎn)。

Teradata應(yīng)該算最為特立獨(dú)行的一個(gè)。Teradata數(shù)據(jù)倉(cāng)庫(kù)主要運(yùn)行在NCR WorldMark SMP硬件的Unix操作系統(tǒng)平臺(tái)上(該公司也提供基于Windows NT的Teradata),它的高性能主要通過Teradata與NCR硬件平臺(tái)海量并行處理服務(wù)器(Massively Parallel Processing, MPP)結(jié)合,以及采用特有BYNET協(xié)議和查詢優(yōu)化等技術(shù)實(shí)現(xiàn)并行等機(jī)制來實(shí)現(xiàn)。由于采用一些專有的硬件和技術(shù),因此,價(jià)格較高,是數(shù)據(jù)倉(cāng)庫(kù)中的貴族。

IBM、Oracle和Microsoft的數(shù)據(jù)倉(cāng)庫(kù)引擎屬于同一類,它們都提供數(shù)據(jù)庫(kù)產(chǎn)品,其數(shù)據(jù)倉(cāng)庫(kù)引擎和數(shù)據(jù)庫(kù)引擎從技術(shù)上說有很多相似之處。這種技術(shù)路線給它們帶來的好處是,其數(shù)據(jù)倉(cāng)庫(kù)解決方案很自然地從數(shù)據(jù)庫(kù)技術(shù)拓展和延伸而來,集成性、延續(xù)性比較突出。

與IBM、Oracle等相比,雖然Sybase也同時(shí)提供數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品,但是,其Sybase的數(shù)據(jù)倉(cāng)庫(kù)引擎卻走了一條與其數(shù)據(jù)庫(kù)、也與Oracle、IBM完全不同的技術(shù)路線。其中最大的不同就是在Sybase數(shù)據(jù)倉(cāng)庫(kù)引擎(即Sybase IQ)中采用列存儲(chǔ)架構(gòu),而所有關(guān)系型數(shù)據(jù)庫(kù)引擎廣泛采用的則是行式存儲(chǔ)。

列存儲(chǔ)技術(shù)

在關(guān)系型數(shù)據(jù)庫(kù)內(nèi)核中,數(shù)據(jù)庫(kù)是按行來存儲(chǔ)數(shù)據(jù)記錄的,也就是說數(shù)據(jù)庫(kù)表最典型的表示為一條數(shù)據(jù)頁(yè)鏈,每一數(shù)據(jù)頁(yè)中有一行或者多行數(shù)據(jù)記錄。而在數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用中,從查詢性能的觀點(diǎn)出發(fā),這種存儲(chǔ)方式并不可取。因?yàn)樵贠LTP(在線事務(wù)處理,即傳統(tǒng)數(shù)據(jù)庫(kù)應(yīng)用)環(huán)境中,一個(gè)事務(wù)處理是與一行(或多行)數(shù)據(jù)有效對(duì)應(yīng)的,而在OLAP(在線分析處理,即BI應(yīng)用)環(huán)境中,以查詢處理最多,而查詢是基于特定的列來選擇的。Sybase IQ是按列來組織數(shù)據(jù)的,每張表是一組相互獨(dú)立的頁(yè)鏈,每個(gè)頁(yè)鏈代表表中的一列。

基于列存儲(chǔ)所帶來的一個(gè)直接好處是,在壓縮方面比傳統(tǒng)的關(guān)系型數(shù)據(jù)更加有效。這是因?yàn)橥涣械乃袛?shù)據(jù)域有相同的類型,因而每一列都可以為優(yōu)化的效率和檢索進(jìn)行壓縮。而基于行的存儲(chǔ),各個(gè)不同的域擁有各不相同的數(shù)據(jù)類型,盡管這非常適合交易進(jìn)程,但并不適合壓縮,因?yàn)閴嚎s很可能只能采用一種最低通用原則。

事實(shí)上,在壓縮效果上,Sybase非常自信。Sybase中國(guó)公司CTO盧東明對(duì)記者表示,Sybase IQ能保證至少3倍以上的壓縮比。高的壓縮能力能帶來存儲(chǔ)成本的節(jié)約,有人曾經(jīng)對(duì)數(shù)據(jù)的存儲(chǔ)成本進(jìn)行過估算,目前每管理1TB數(shù)據(jù)的軟硬件加人力成本大約為5萬(wàn)美元左右。

列存儲(chǔ)的另一個(gè)好處是性能上的提高。在行存儲(chǔ)方式的情況下,如果需要訪問數(shù)據(jù)必須讀出完整的一行,而不管你實(shí)際感興趣的是其中哪一個(gè)或幾個(gè)域。因此,這可能形成只需要50K的數(shù)據(jù)卻需要讀出500k的情況。而在采用列存儲(chǔ)方式時(shí),可以只讀出所需要的列數(shù)據(jù)。讀出數(shù)據(jù)量的減少直接后果就是性能的提高。特別是在處理大數(shù)據(jù)量、復(fù)雜的跨多表查詢時(shí),列存儲(chǔ)在性能上的提升非常明顯。

除此之外,Sybase IQ還采用了其他的一些專有技術(shù),如位圖索引和BitWise索引技術(shù)等?!坝捎谶@些技術(shù)的采用,最終保證了Sybase IQ查詢速度的極大改進(jìn),這種速度的提高能達(dá)到10倍以上。因此,我們認(rèn)為Sybase IQ的技術(shù)是革命性的?!盨ybase的盧東明在接受記者采訪時(shí)表示。

目前,上述三種不同的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)到底哪種更好,各家都有自己的說法。因此,對(duì)用戶而言,具體選擇時(shí)還需多了解同類型的BI應(yīng)用。不過,用戶倒是樂觀其成,畢竟競(jìng)爭(zhēng)可以帶給用戶更好的技術(shù)和產(chǎn)品。(ccw)

發(fā)布:2007-04-23 10:20    編輯:泛普軟件 · xiaona    [打印此頁(yè)]    [關(guān)閉]
相關(guān)文章:
武漢OA系統(tǒng)
聯(lián)系方式

成都公司:成都市成華區(qū)建設(shè)南路160號(hào)1層9號(hào)

重慶公司:重慶市江北區(qū)紅旗河溝華創(chuàng)商務(wù)大廈18樓

咨詢:400-8352-114

加微信,免費(fèi)獲取試用系統(tǒng)

QQ在線咨詢

泛普武漢OA快博其他應(yīng)用

武漢OA軟件 武漢OA新聞動(dòng)態(tài) 武漢OA快博 武漢OA軟件資訊 武漢OA信息化 武漢軟件開發(fā)公司 武漢門禁系統(tǒng) 武漢物業(yè)管理軟件 武漢倉(cāng)庫(kù)管理軟件 武漢餐飲管理軟件 武漢網(wǎng)站建設(shè)公司