數(shù)據(jù)倉(cāng)庫(kù)在企業(yè)能效評(píng)估系統(tǒng)的應(yīng)用

申請(qǐng)免費(fèi)試用、咨詢(xún)電話：400-8352-114

1 引 言

隨著我國(guó)經(jīng)濟(jì)的快速發(fā)展，能源消費(fèi)量逐年增加。但能源利用效率卻遠(yuǎn)遠(yuǎn)低于發(fā)達(dá)國(guó)家，這嚴(yán)重限制了可持續(xù)發(fā)展戰(zhàn)略的實(shí)施。為了解決這個(gè)問(wèn)題，在國(guó)家“十一五”規(guī)劃中，我國(guó)政府提出了創(chuàng)建資源節(jié)約型經(jīng)濟(jì)社會(huì)的建設(shè)目標(biāo)。要實(shí)現(xiàn)節(jié)能降耗的目標(biāo)，工業(yè)產(chǎn)業(yè)中的高能耗企業(yè)是工作的重點(diǎn)對(duì)象。許多高能耗氽業(yè)目前沒(méi)有一套科學(xué)、合理的能效評(píng)估體系。對(duì)能源的具體使用情況及其產(chǎn)生的效益缺乏準(zhǔn)確的認(rèn)識(shí)，造成了能源在生產(chǎn)過(guò)程中的流失和浪費(fèi)現(xiàn)象，影響了產(chǎn)品成本的估算和企業(yè)能耗的有效控制。

目前數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用越來(lái)越廣泛，主要是應(yīng)用于金融、電信等行業(yè)，但在高能耗企業(yè)，這方面的技術(shù)還未得到充分的應(yīng)用。對(duì)于高能耗企業(yè)，全面的生產(chǎn)用能數(shù)據(jù)對(duì)高能耗企業(yè)的能效評(píng)估和節(jié)能分析有重要作用，然而這些數(shù)據(jù)是彼此分散、各自獨(dú)立的，甚至是不相一致的，通過(guò)建立數(shù)據(jù)倉(cāng)庫(kù)，可以將這些數(shù)據(jù)進(jìn)行集成和統(tǒng)一，再利用數(shù)據(jù)分析工具分析和挖掘這些數(shù)據(jù)的信息，發(fā)揮這些數(shù)據(jù)的價(jià)值，使它們成為企業(yè)能效評(píng)估的重要依據(jù)。

該文的研究足以MS SQL Server 2005平臺(tái)為基礎(chǔ)，創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)。該系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)為典型能耗企業(yè)高效使用能源提供定量的分析與優(yōu)化手段，實(shí)現(xiàn)企業(yè)能效評(píng)估的數(shù)字化和系統(tǒng)化。

2 數(shù)據(jù)倉(cāng)庫(kù)和聯(lián)機(jī)分析處理概述

根據(jù)數(shù)據(jù)倉(cāng)庫(kù)奠基人W.H.Inmon認(rèn)為“數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）是數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向手題的、集成的、永久的且隨時(shí)間不斷變化的數(shù)據(jù)集合，它用于支持管理中的決策制定過(guò)程?！睌?shù)據(jù)倉(cāng)庫(kù)將大量用于事務(wù)處理的傳統(tǒng)數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行抽取、清洗、轉(zhuǎn)換，并按決策主題的需要進(jìn)行重新組織，這種高度集中的數(shù)據(jù)為各種不同的決策需求提供了有用的分析基礎(chǔ)。典型的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的體系結(jié)構(gòu)由數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用分析工具3個(gè)部分組成。

聯(lián)機(jī)分析處理（OLAP）是與數(shù)據(jù)倉(cāng)庫(kù)密切相關(guān)的一種決策分析工具。OLAP技術(shù)使數(shù)據(jù)倉(cāng)庫(kù)能夠快速響應(yīng)重復(fù)而復(fù)雜的分析查詢(xún)，從而使數(shù)據(jù)倉(cāng)庫(kù)能有效地用于聯(lián)機(jī)分析。OLAP的一個(gè)主要特點(diǎn)是多維數(shù)據(jù)分析，主要通過(guò)對(duì)多維數(shù)據(jù)進(jìn)行切片和切塊、鉆取、旋轉(zhuǎn)等來(lái)實(shí)現(xiàn)。OLAP的多維數(shù)據(jù)分析與數(shù)據(jù)倉(cāng)庫(kù)的多維數(shù)據(jù)組織正好形成相互結(jié)合、相互補(bǔ)充的關(guān)系。因此，利用OLAP技術(shù)與數(shù)據(jù)倉(cāng)庫(kù)的結(jié)合可以較好地解決傳統(tǒng)決策支持系統(tǒng)需要處理大量數(shù)據(jù)的問(wèn)題。

在企業(yè)能效評(píng)估系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)與聯(lián)機(jī)分析系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)中，采用了3層客戶(hù)機(jī)，服務(wù)器結(jié)構(gòu)。這種結(jié)構(gòu)將數(shù)據(jù)倉(cāng)庫(kù)、OLAP服務(wù)器與客戶(hù)端嚴(yán)格區(qū)分開(kāi)。在該數(shù)據(jù)倉(cāng)庫(kù)巾既包含了大量業(yè)務(wù)處理系統(tǒng)的操作細(xì)節(jié)數(shù)據(jù)和其綜合數(shù)據(jù)，也包含了歷史數(shù)據(jù)和近期數(shù)據(jù)，這些數(shù)據(jù)是OLAP應(yīng)用的基礎(chǔ)。OLAP服務(wù)器的主要用途是對(duì)數(shù)據(jù)的分析與決策進(jìn)行管理，同事OLAP服務(wù)器還要根據(jù)客戶(hù)的需求對(duì)多維數(shù)據(jù)集進(jìn)行分析，并將分析的結(jié)果以可視化的方式傳遞給客戶(hù)端。

3 企業(yè)能效數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)

設(shè)計(jì)食業(yè)能效數(shù)據(jù)倉(cāng)庫(kù)的第一步是確定主題。主題是與企業(yè)相關(guān)的重要的物理項(xiàng)、概念、人、地點(diǎn)和事件的主要分組，數(shù)據(jù)倉(cāng)庫(kù)是按照=E題域模型進(jìn)行組織的。設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)首先要從企業(yè)的生產(chǎn)用能數(shù)據(jù)入手，綜合決策支持的實(shí)際需要，確定數(shù)據(jù)倉(cāng)庫(kù)的主題、根據(jù)系統(tǒng)所要實(shí)現(xiàn)的功能，該食業(yè)能效數(shù)據(jù)倉(cāng)庫(kù)包含了設(shè)備能效分析，經(jīng)濟(jì)能妓分析、環(huán)境能效分析3個(gè)主題。為了滿(mǎn)足企業(yè)管理者的需求，本文建立的是以設(shè)備能效分析為主題的企業(yè)能效數(shù)據(jù)倉(cāng)庫(kù)實(shí)例。其次需要確定的是支持設(shè)備能效分析這個(gè)主題的數(shù)據(jù)源。上海氯堿化工股份有限公司是國(guó)有特大型企業(yè)，有大量的歷史與近期數(shù)據(jù)，數(shù)據(jù)源比較豐富。設(shè)備能效分析皇題是從各個(gè)設(shè)備包括主能耗設(shè)備、加工轉(zhuǎn)換單元、輸送分配單元對(duì)食業(yè)能效進(jìn)行分析。在企業(yè)能效數(shù)據(jù)倉(cāng)庫(kù)模型中，分3步來(lái)進(jìn)行設(shè)計(jì)，分別是概念模型、邏輯模型和物理模型設(shè)計(jì)。本文針對(duì)上海氯堿化工股份有限公司，以設(shè)備能效分析主題為例，給出企業(yè)能效數(shù)據(jù)倉(cāng)庫(kù)的完整的設(shè)計(jì)方案。

3.1 概念模型設(shè)計(jì)

數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中概念模型設(shè)計(jì)的目的是確定面向主題的信息包圖，完成界定系統(tǒng)邊界和確定主要的主題域及其內(nèi)容，其成果是在原有的數(shù)據(jù)庫(kù)的基礎(chǔ)上建立一個(gè)較穩(wěn)定的概念模型，是在較高抽象層次上的設(shè)計(jì)。

3.2 邏輯模型設(shè)計(jì)

目前最流行的數(shù)據(jù)倉(cāng)庫(kù)模型是多維數(shù)據(jù)模型，多維數(shù)據(jù)集的結(jié)構(gòu)巾其度量值及維度定義。度量值及維度均出自多維數(shù)據(jù)集數(shù)據(jù)源中的表。這些表的集合稱(chēng)為該多維數(shù)據(jù)集的數(shù)據(jù)模型。每個(gè)多維數(shù)據(jù)集數(shù)據(jù)模型均包括一個(gè)事實(shí)數(shù)據(jù)表以及一個(gè)或多個(gè)維度表。數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型即多維數(shù)據(jù)集數(shù)據(jù)模型一般有兩種常見(jiàn)的類(lèi)型：星型模型和雪花模型。

星型模型足基于關(guān)系型數(shù)據(jù)庫(kù)的、面向OLAP的一種多維數(shù)據(jù)模型的數(shù)據(jù)組織形式，通過(guò)使用一個(gè)包括主題的事實(shí)表和多個(gè)包含事實(shí)的非正規(guī)化描述的維度表來(lái)執(zhí)行決策支持查詢(xún)，從而獲得比高度規(guī)范化設(shè)計(jì)結(jié)構(gòu)更高的查詢(xún)性能。

雪花模型雖然較星型模型更符合規(guī)范化的設(shè)計(jì)結(jié)構(gòu)，但它增加了查詢(xún)的復(fù)雜度，降低了查詢(xún)的性能。因此本數(shù)據(jù)倉(cāng)庫(kù)采用星型模型。

3.3 物理模型設(shè)計(jì)

概念模型是指數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中的存放形式和組織形式。設(shè)計(jì)物理模型還包括確定索引策略、數(shù)據(jù)存放位置和存儲(chǔ)分配。具體來(lái)說(shuō)，就是要在星型模型或雪花模型的基礎(chǔ)上，確定事實(shí)表和維表的結(jié)構(gòu)；明確兩者的數(shù)據(jù)字段、數(shù)據(jù)類(lèi)型、關(guān)聯(lián)字段、索引結(jié)構(gòu)；確定數(shù)據(jù)倉(cāng)庫(kù)中多維數(shù)據(jù)集的存儲(chǔ)結(jié)構(gòu)，如物理存取方式、數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，數(shù)據(jù)存放位置及存儲(chǔ)分配是否分區(qū)等。

目前大多數(shù)數(shù)據(jù)倉(cāng)庫(kù)都是建立在關(guān)系型數(shù)據(jù)庫(kù)的基礎(chǔ)上，最終數(shù)據(jù)的存儲(chǔ)是南數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行管理的。在該數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)中，選用MS SQL Server 2005及其組件分析服務(wù)器作為數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的管理系統(tǒng)。數(shù)據(jù)倉(cāng)庫(kù)在邏輯卜是多維的，但在物理存儲(chǔ)上其多維數(shù)據(jù)集的存儲(chǔ)方式可以有關(guān)系型聯(lián)機(jī)分析處理（relational online analytical processing，ROLAP），多維聯(lián)機(jī)分析處理（multidimensional online analytical processing，MOLPA）和混合聯(lián)機(jī)分析處理（hybrid online analytical processing，HOLAP）3種方式。

在該數(shù)據(jù)倉(cāng)庫(kù)中，多維數(shù)據(jù)集的存儲(chǔ)選擇HOLAP方式，即基本數(shù)據(jù)保留在原有的關(guān)系數(shù)據(jù)庫(kù)中，而聚合體則存儲(chǔ)在分析服務(wù)器上的多維結(jié)構(gòu)中，這樣不儀可以避免數(shù)據(jù)重復(fù)，還能夠提高查詢(xún)性能。

4 實(shí) 現(xiàn)

針對(duì)該化工企業(yè)，此數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施是以MS SQL Server2005平臺(tái)為基礎(chǔ)，前端編程工具為C#.NET。

創(chuàng)建企業(yè)能效數(shù)據(jù)倉(cāng)庫(kù)，首先從企業(yè)各個(gè)相天部門(mén)獲取數(shù)據(jù)表，并按照數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)要求迸行改造，建立起一個(gè)源數(shù)據(jù)庫(kù)。這步非常關(guān)鍵，它是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)建立的根本，也直接地決定著系統(tǒng)的分析功能。其工作最足非常大的，并且需要對(duì)各種數(shù)據(jù)進(jìn)行非常細(xì)致的選擇、整理、清洗等工作，以保證數(shù)據(jù)的質(zhì)量。數(shù)據(jù)的質(zhì)量包括數(shù)據(jù)的正確性、明確性、一致性和完整性。

建立源數(shù)據(jù)庫(kù)之后，通過(guò)SQL Server中的DTS（Data Transformation Service）服務(wù)工具，創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)中的事實(shí)表與維表；通過(guò)Analysis Services來(lái)建立多維數(shù)據(jù)集，實(shí)現(xiàn)OLAP操作，支持多維查詢(xún)表達(dá)式（multi dimensional expression，MDX）查詢(xún)，并通過(guò)自動(dòng)構(gòu)造MDX語(yǔ)句，實(shí)現(xiàn)上卷、下鉆、切片、切塊、旋轉(zhuǎn)等OLAP運(yùn)算。

在前端數(shù)據(jù)展現(xiàn)上，可以用C#.NET通過(guò)Analysis Services所提供的數(shù)據(jù)透視表服務(wù)進(jìn)行開(kāi)發(fā)，或直接利用MS Office中的Excel和Access，來(lái)實(shí)現(xiàn)對(duì)多維數(shù)據(jù)集的數(shù)據(jù)展現(xiàn)功能。從而可以方便地得到各種統(tǒng)計(jì)報(bào)表和分析圖形。

5 結(jié)束語(yǔ)

只有充分利用、分析高能耗企業(yè)在日常生產(chǎn)過(guò)程中所產(chǎn)生的大量的歷史數(shù)據(jù)，才能從中獲得有用的數(shù)據(jù)信息。將數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用到企業(yè)能效評(píng)估系統(tǒng)中，能使評(píng)估數(shù)據(jù)的數(shù)量豐富、質(zhì)量提高，從而為評(píng)估結(jié)果準(zhǔn)確度的提高做出貢獻(xiàn)，也為企業(yè)生產(chǎn)用能管理提供有效依據(jù)，使企業(yè)決策人員能更有效地確立節(jié)能技改方案，更有效地指導(dǎo)節(jié)能降耗工作；同時(shí)數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建為下一步進(jìn)行數(shù)據(jù)挖掘奠定基礎(chǔ)，為其他類(lèi)型企業(yè)能效數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建也有一定的參考意義。（萬(wàn)方數(shù)據(jù)）