如何尋找數(shù)據(jù)價值

申請免費試用、咨詢電話：400-8352-114

近十年來，隨著大中型企業(yè)對業(yè)務應用系統(tǒng)的普及，在經(jīng)過一段時間的運作后，他們的業(yè)務會越來越成熟，也越來越穩(wěn)定，所擁有的數(shù)據(jù)也會越來越多，人員使用水平也越來越高，表面看似都做得很不錯，也很風光，但在他們的系統(tǒng)里，面對日積月累存儲的龐大數(shù)據(jù)，這些數(shù)據(jù)到底能提供什么樣的價值？如何在這些數(shù)據(jù)里找到它的再生價值、規(guī)律與關(guān)系？以用于指導原有業(yè)務，開拓新業(yè)務，甚至提供決策分析呢？這個問題已成為影響企業(yè)發(fā)展的重要瓶頸之一。

要找出數(shù)據(jù)的價值、關(guān)系和規(guī)律就必須引進商業(yè)智能（BI），不管您是購買商業(yè)智能或是自行開發(fā)的商業(yè)智能系統(tǒng)。

無論您用還是不用商業(yè)智能，在這個大問題里（企業(yè)有可能會遇到以下兩個瓶頸：1、盡管企業(yè)有大量的數(shù)據(jù)，但有很多數(shù)據(jù)不準確導致商業(yè)智能應用受阻；2、業(yè)務模型建不起來，影響商業(yè)智能的應用。此兩個瓶頸不在討論之列，就當企業(yè)不存在這兩個問題），您都要解決現(xiàn)有業(yè)務系統(tǒng)下會遇到的五大瓶頸問題：

瓶頸一：性能低劣

性能的好壞直接影響系統(tǒng)的運行速度，尤其是針對擁有TB級數(shù)據(jù)量的客戶。但性能的好壞主要是看基什么樣的標準，因為客戶進行大量的查詢，報表，分析，OLAP……對得到的結(jié)果，會有以下反應：

1. 不覺得很慢，因為沒有和其他的對比，覺得就是這樣的速度；

2. 目前的狀況尚可以接受這樣的結(jié)果，不需要做改變；

3. 實實在在速度很高，沒有可比性（此為少數(shù)，不在討論之列）。

故此，客戶對性能好壞沒有太大的感覺，但是當系統(tǒng)中的數(shù)據(jù)過于龐大，達到TB級（海量數(shù)據(jù)）時，就不得不考慮性能問題了，試想，如果運算了三十分鐘結(jié)果還是出不來，最終死機了，您能忍受嗎？但如果僅需要十秒八秒就完成三十分鐘的事情，您覺得如何？要達到這樣的效果，必須解決性能低劣問題，要擁有以下四方面創(chuàng)新技術(shù)：

1、 超高速ETL引擎技術(shù)

要解決海量數(shù)據(jù)性能問題，必不可少方法之一就是建數(shù)據(jù)倉庫，要建好數(shù)據(jù)倉庫就必須要有好的ETL，沒有好的ETL工具，數(shù)據(jù)倉庫肯定差，當數(shù)據(jù)量越大時，您的運行速度必定很慢。例如出入境報表性能處理案例，出入境系統(tǒng)主要是統(tǒng)計全國出入境人口情況,所以數(shù)據(jù)量相當龐大（千萬記錄級），在軟硬件條件都已非常好的情況下（Oracle 10g / 10多臺刀片式服務器集群服務），按傳統(tǒng)的做法,從數(shù)據(jù)庫查詢一條簡單SQL語句，Oracle需要30分鐘后才有回應。為了提高性能，我們使用數(shù)據(jù)倉庫技術(shù)解決此問題，利用數(shù)據(jù)倉庫技術(shù)，針對業(yè)務關(guān)系數(shù)據(jù)庫的大數(shù)據(jù)量表，劃分為多個大數(shù)據(jù)量主題，建立相應的多維數(shù)據(jù)集。根據(jù)對出境申請和簽注辦理這兩個多維數(shù)據(jù)集的測試結(jié)果，性能可提高幾十倍甚至過百倍。一般條件下，不超過10秒可出結(jié)果。不管多復雜的條件組合，一般也不超過一分鐘可出結(jié)果。目前出入境如涉及到數(shù)據(jù)量比較大的表時，都采用了此數(shù)據(jù)倉庫方式實現(xiàn)。使用了數(shù)據(jù)倉庫后,報表統(tǒng)計速度由原來的56分鐘,降到現(xiàn)在只需10多秒就統(tǒng)計完畢. 性能比以前提高幾十倍甚至過百倍。

2、 “去掉”表關(guān)聯(lián)技術(shù)
在您構(gòu)造各種組合查詢、報表時會涉及表與表之間的關(guān)系，即是通過表的關(guān)鍵標識將表關(guān)聯(lián)起來，如果您涉及查詢表關(guān)聯(lián)越多，速度將會越慢，尤其是數(shù)據(jù)量大時，更有可能死機。故此必須要有“去掉”表關(guān)聯(lián)技術(shù)，通過一種計算方式，在眾多的路徑中找到最短的路徑，通過簡單的拖放連線，熟悉庫結(jié)構(gòu)的IT人員或開發(fā)商就可以預先把表關(guān)系建好在語義層中，支持多字段關(guān)聯(lián)、內(nèi)外連接。這樣，最終用戶在做查詢或報表時，就不必理會表關(guān)聯(lián)了，需要查什么直接拖放即可。

3、 代碼表快速轉(zhuǎn)換技術(shù)

在利用計算機進行查找時，我們都知道英文比中文快，數(shù)字比中文快。如果數(shù)據(jù)庫很多字段里的內(nèi)容是中文，那么對中文進行查找會相當慢，若查找的量很大，則有可能出現(xiàn)“老牛拉破車”一樣令人無法忍受。這時候必須要有一項技術(shù)進行代碼表轉(zhuǎn)換，這項技術(shù)可以把任何東西變成數(shù)字或字符處理，計算機頻繁處理時是數(shù)據(jù)，出來的結(jié)果是中文，由數(shù)字和中文一一對應，使查找起來非?？焖?。

4、 海量數(shù)據(jù)處理技術(shù)

當查詢統(tǒng)計分析的數(shù)據(jù)量非常大（達到TB級）時，數(shù)據(jù)的緩存空間就成為處理海量數(shù)據(jù)最大的難題，以內(nèi)存提供緩存空間的做法將極大程度上影響到其他的后臺運作，當內(nèi)存無法負荷時就會導致速度緩慢，任務排隊，甚至是系統(tǒng)死機，BQ的“資源人工智能分配技術(shù)”通過對CPU，內(nèi)存和硬盤的智能分配，實現(xiàn)海量數(shù)據(jù)的高效查詢。

上述這四個方面在性能上是至關(guān)重要的，也是技術(shù)上最大的難點！

瓶頸二：過往成果不能重用

當千辛萬苦制作好大量報表、查詢、分析，因為業(yè)務的需求變化，也許里面的某一條公式發(fā)了變化，例如：業(yè)務公式為“f(a)”，變更為“f(b)”，您能在每一個報表、查詢、分析眾多元素內(nèi)找到這條公式嗎？您還能記住在哪個地方嗎？或許做這些報表的人已更換，新接手的人就更可想而知了，即便是您自己經(jīng)手的，盡管您對每個報表、查詢、分析關(guān)系相當?shù)那宄嘈拍膊淮蠛谜?，這樣費事費勁的工作可能還會分分鐘鐘因為手工修改而出現(xiàn)遺漏的地方，難道放棄重做？那要花多少資源？多少成本？這意味著企業(yè)辛苦做出的成果得不到重用，這種浪費是非?？杀摹?。

如果有一項“全對象重用技術(shù)”，就輕而易舉的解決以上問題，這項技術(shù)把所有需要操作的元素（數(shù)據(jù)源、表、字段、條件、查詢、報表等）構(gòu)建成對象直接引用到報表，查詢、分析中，當修改一個對象，凡是引用該對象的地方都會自動修改。

 瓶頸三：數(shù)據(jù)無法多元化展示

隨著業(yè)務應用深入，對數(shù)據(jù)呈現(xiàn)的方法必須是多種多樣的，各種各樣的報表、查詢、分析是否都能做？因為屬于商業(yè)智能業(yè)務應用的范圍非常廣，如果無法一一滿足需求的話，這勢必會成為企業(yè)的瓶頸，企業(yè)不得不面臨兩種選擇：要不就只能再購買其他的產(chǎn)品來彌補，但又要考慮到如何整合的問題；要不就只能自行開發(fā)，但花費的人力、投入的資源都必須面對，并且開發(fā)出來是否適用還是個問題……最后，甚至會出現(xiàn)用不下去只能放棄的局面。

瓶頸四：無法將結(jié)果集合在同一視圖

各種查詢，報表，分析彼此之間都是有關(guān)聯(lián)的集合，如何把這些做好的結(jié)果集合在一個視圖里瀏覽？如果沒有這樣的一項技術(shù)，只能一一打開這些查詢、報表、分析來看，這樣看不是不可以，但是看起來相當?shù)馁M勁，也只會讓您看了前面的忘了后面的，看了后面的由忘了前面的，并且難以記住關(guān)聯(lián)的關(guān)系，當不同參數(shù)選擇不同的內(nèi)容，關(guān)聯(lián)還會發(fā)生變化，如果不在同一個視圖根本就不可能直觀的看到這種變化。

要解決這個問題必須要有EIS，將彼此關(guān)聯(lián)的查詢、報表放在同一個視圖，并輔以直觀的圖象，如此一來就能一目了然，非常全面的看到各項關(guān)系的變化。

瓶頸五：無法動態(tài)展示文字報表

報表、查詢、分析相對是獨立的，即使解決了上面瓶頸四的問題，但決大部分展示出來的主體是數(shù)字和表，還無法真正體現(xiàn)文字報告，文字報告指的是能將文字、數(shù)字、圖表三者有機結(jié)合，以大量文字為主體，穿插很多數(shù)字或與數(shù)字有關(guān)的圖表。傳統(tǒng)的文字報告由人工編輯完成，一旦數(shù)字變了，文字要相應的做改變，與之相關(guān)的圖表也要隨之修改，如果這樣的報告很多，那么工作量就會大大增加，出錯的機率也增大。

目前有一種WordReport報表，在WORD里動態(tài)生成文字、數(shù)字、圖表三者的關(guān)系，能將數(shù)字和文字對應起來，動態(tài)變化展示，無須手工改動，更可靠、準確，大大提高了工作效率。

不管是引進的商業(yè)智能或者是自行開發(fā)的系統(tǒng)，如果不能解決以上五大瓶頸問題，企業(yè)無法在原來的基礎(chǔ)上有質(zhì)的飛躍。而尚南的BlueQuery商業(yè)智能方案，能真正有效的解決上述的五大問題，我們相信實力成就價值！