網(wǎng)站數(shù)據(jù)分析教程:關(guān)于網(wǎng)站數(shù)據(jù)分析常見(jiàn)問(wèn)題

申請(qǐng)免費(fèi)試用、咨詢(xún)電話(huà)：400-8352-114

從事數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)分析相關(guān)的工作也有段時(shí)間了，其實(shí)很多問(wèn)題一直縈繞在腦中，有些甚至已經(jīng)困擾相當(dāng)長(zhǎng)的一段時(shí)間，自己也在不斷學(xué)習(xí)和工作的過(guò)程中尋找各種解決方案或者不斷優(yōu)化和替換之前的方案。這些問(wèn)題從宏觀層面到細(xì)節(jié)層面，很多問(wèn)題其實(shí)沒(méi)有絕對(duì)完美的解決方案，我們只能一步一步地摸索，不斷尋找更優(yōu)的方案以其讓問(wèn)題能夠更好高效地得到解決，但每個(gè)人掌握的知識(shí)有限，所以無(wú)論怎么樣每個(gè)人對(duì)問(wèn)題的看法都會(huì)存在局限性；同時(shí)因?yàn)槊總€(gè)人的知識(shí)背景和經(jīng)歷的差異性，對(duì)各種問(wèn)題又會(huì)觸發(fā)各種不同的見(jiàn)解，所以通過(guò)集思廣益往往能夠得到讓人眼前一亮的結(jié)論。

先說(shuō)說(shuō)博客，無(wú)論怎么樣我的博客只是想做些記錄和總結(jié)，只是表述一些個(gè)人的觀點(diǎn)，我想每個(gè)人在學(xué)習(xí)工作中總會(huì)有所積累，有自己在專(zhuān)業(yè)領(lǐng)域的一些收獲，每個(gè)人公平地享有相同的時(shí)間，每個(gè)人學(xué)到的掌握的都是有限的，沒(méi)有孰強(qiáng)孰弱之分，差別只在于愿不愿意將其分享出來(lái)；博客中整理的內(nèi)容，可能有些人認(rèn)為不適合公開(kāi)，畢竟有些東西還有些實(shí)用價(jià)值，但必須看到的是目前互聯(lián)網(wǎng)發(fā)展速度太快了，我之前發(fā)的文章等半年之后回去看就會(huì)發(fā)現(xiàn)當(dāng)時(shí)自己的想法并不成熟，如果在現(xiàn)階段可能不會(huì)完全按照上面的思路去實(shí)現(xiàn)了，知識(shí)的更新和積累讓我們不斷選擇更優(yōu)的方法，不斷改進(jìn)和升級(jí)自身的知識(shí)體系，更何況很多東西在一個(gè)業(yè)務(wù)體系下適用，到另外的體系下就不適用了，聰明的人不會(huì)完全照搬照抄原方法，而是尋找最合適的方法，或者使用更靈活變通的方式去使用方法，所以也不必?fù)?dān)心技能被“偷學(xué)”，因?yàn)橹粫?huì)模仿的人不知道怎么用好這些方法，而足夠聰明的人到哪里都能學(xué)到適合自己的方法，在這個(gè)信息膨脹的環(huán)境下無(wú)法阻止他們的“偷學(xué)”。

其實(shí)博客最大的收獲還是通過(guò)博客認(rèn)識(shí)了很多朋友，尤其是網(wǎng)站分析領(lǐng)域的，相當(dāng)一部分也有自己的博客，大家互相交流學(xué)到了很多東西，有些東西是互補(bǔ)并相互促進(jìn)的，這些朋友都是樂(lè)意分享自己想法的人，每個(gè)人都有各自領(lǐng)域的專(zhuān)業(yè)和強(qiáng)項(xiàng)，這樣反而使我聽(tīng)到和學(xué)到了很多耳目一新的東西，受益匪淺。所以如果你有時(shí)間寫(xiě)寫(xiě)博客，那么得到的收獲絕對(duì)要比你覺(jué)得可能會(huì)失去的多得多。

既然我在博客里面已經(jīng)寫(xiě)了很多，所以這里想換一個(gè)角色，我想通過(guò)幾篇文章把之前遇到的諸多問(wèn)題羅列出來(lái)，希望大家能夠不吝提出自己的看法和解決方案。其實(shí)我更希望在博客的評(píng)論中看到更多不同的看法或者通過(guò)文章的思路擴(kuò)展衍生出在其他方向上有價(jià)值的應(yīng)用。另外，知乎真的是一個(gè)非常棒的知識(shí)分享和學(xué)習(xí)的平臺(tái)，潛藏了很多的大牛，我會(huì)把整理的每個(gè)問(wèn)題都貼到知乎上面，這樣可以收集到更多牛人的看法，希望大家在知乎上有認(rèn)識(shí)相關(guān)領(lǐng)域的大牛的可以積極地進(jìn)行邀請(qǐng)。

這篇是第一篇，想重點(diǎn)羅列一些跟網(wǎng)站數(shù)據(jù)分析行業(yè)和數(shù)據(jù)分析師相關(guān)的問(wèn)題。

Q1、 你因何會(huì)選擇網(wǎng)站分析或互聯(lián)網(wǎng)數(shù)據(jù)分析這個(gè)行業(yè)，你認(rèn)為這個(gè)行業(yè)的價(jià)值何在，發(fā)展前景如何？

我的答案：互聯(lián)網(wǎng)是一個(gè)陽(yáng)光行業(yè)，而數(shù)據(jù)分析本身又是一個(gè)非常有意思的工作，很多時(shí)候，它就像是一個(gè)偵探從細(xì)枝末節(jié)的線(xiàn)索中尋找那個(gè)唯一的真相，如果你喜歡這種探秘的感覺(jué)，那么你同樣會(huì)喜歡上網(wǎng)站數(shù)據(jù)分析這個(gè)行業(yè)。

其實(shí)我之前在《網(wǎng)站分析的應(yīng)用和價(jià)值》這篇文章中介紹過(guò)網(wǎng)站數(shù)據(jù)分析的價(jià)值（這里不引用鏈接了，大家可以搜一下），簡(jiǎn)單地說(shuō)就是“系統(tǒng)地幫助網(wǎng)站實(shí)現(xiàn)更加高效的運(yùn)營(yíng)”。

互聯(lián)網(wǎng)數(shù)據(jù)量的快速膨脹，急需對(duì)數(shù)據(jù)進(jìn)行系統(tǒng)化的處理和分析，以便快速地發(fā)現(xiàn)信息，轉(zhuǎn)化價(jià)值，所以就目前來(lái)看，無(wú)論是國(guó)外的發(fā)展趨勢(shì)，還是國(guó)內(nèi)對(duì)這個(gè)行業(yè)的需求都是快速增長(zhǎng)的，發(fā)展前景是比較樂(lè)觀的。

Q2、 作為網(wǎng)站的數(shù)據(jù)分析師，你完成的最有成就感的事情是什么，感到最糾結(jié)的事情又是什么？

　　我的答案：最有成就感的事情就是用數(shù)據(jù)實(shí)現(xiàn)價(jià)值，無(wú)論是通過(guò)數(shù)據(jù)排查問(wèn)題進(jìn)而解決問(wèn)題，還是通過(guò)數(shù)據(jù)分析應(yīng)用優(yōu)化網(wǎng)站產(chǎn)品，其實(shí)都是創(chuàng)造價(jià)值的過(guò)程。

最糾結(jié)的事情其實(shí)不是整日需要維護(hù)和驗(yàn)證數(shù)據(jù)的一致性、準(zhǔn)確性，數(shù)據(jù)時(shí)常會(huì)存在諸多細(xì)節(jié)上的問(wèn)題，因?yàn)檫@些基本是必然存在的，無(wú)論在哪個(gè)公司，網(wǎng)站從事何種業(yè)務(wù)，技術(shù)或者數(shù)據(jù)的環(huán)境如何，數(shù)據(jù)的問(wèn)題還是無(wú)所不在，而保證數(shù)據(jù)質(zhì)量本身就是數(shù)據(jù)分析師最基礎(chǔ)的工作，也是開(kāi)展分析的前提和基礎(chǔ)。

我最糾結(jié)的還是在于數(shù)據(jù)的需求和應(yīng)用，如果與數(shù)據(jù)的需求方在數(shù)據(jù)的理解上達(dá)不成一致，那么很多數(shù)據(jù)需求就會(huì)存在反復(fù)的調(diào)整變動(dòng)，期間就會(huì)做很多重復(fù)的工作或者無(wú)用功，甚至有些時(shí)候數(shù)據(jù)分析師大費(fèi)周章地提取的一份數(shù)據(jù)在需求方那里只是用幾秒鐘掃視一遍，沒(méi)有產(chǎn)生任何的價(jià)值，這也是令數(shù)據(jù)分析師最傷感的事情。所以數(shù)據(jù)分析始終要從獲取最終insight的角度出發(fā)，如果數(shù)據(jù)需求中無(wú)法說(shuō)明獲取數(shù)據(jù)是為了試圖得出何種insight，那么這個(gè)需求基本就沒(méi)有實(shí)現(xiàn)的必要了。

Q3、 作為網(wǎng)站的數(shù)據(jù)分析師，你日常工作中最常做的是什么，需要與哪些同事交流，一般會(huì)用到哪些工具？

　　我的答案：數(shù)據(jù)分析師的日常工作很簡(jiǎn)單，就是數(shù)據(jù)處理和觀察報(bào)表，而且這兩塊工作會(huì)占用每天的大部分時(shí)間。如果每天能夠準(zhǔn)時(shí)提供準(zhǔn)確的報(bào)表，及時(shí)地反饋數(shù)據(jù)異常，那么你已經(jīng)是一個(gè)合格的數(shù)據(jù)分析師了。

數(shù)據(jù)分析師要接觸的部門(mén)會(huì)比較多，可以是任何有數(shù)據(jù)需求的部門(mén)，運(yùn)營(yíng)、產(chǎn)品、市場(chǎng)、銷(xiāo)售、客服……甚至是各層級(jí)的BOSS。

同樣，數(shù)據(jù)分析師日常使用的工具其實(shí)也非常簡(jiǎn)單，估計(jì)在90%的時(shí)間都在使用數(shù)據(jù)庫(kù)的SQL、Excel或者PPT，當(dāng)然視每個(gè)公司的情況會(huì)有差異。所以如果你聽(tīng)到某位數(shù)據(jù)分析師說(shuō)他天天在研究什么什么樣的高級(jí)分析方法或者高深的數(shù)據(jù)算法，天天在使用R、SPSS、SAS，那么不排除有裝X的嫌疑。

Q4、 在你剛剛步入網(wǎng)站數(shù)據(jù)分析的工作，或者你曾經(jīng)新到一個(gè)公司或者網(wǎng)站從事數(shù)據(jù)分析師的工作，你是如何著手開(kāi)始你的新工作的，你覺(jué)得你需要了解哪些東西，會(huì)從哪些方面優(yōu)先開(kāi)始學(xué)習(xí)？

　　我的答案：“業(yè)務(wù) => 網(wǎng)站或產(chǎn)品 => 數(shù)據(jù)處理流程 => 指標(biāo)和報(bào)表”，我的基本流程就是這樣的，當(dāng)然這個(gè)也不絕對(duì)是前后的順序，可以是同時(shí)結(jié)合著看的。

數(shù)據(jù)分析的重點(diǎn)不在于數(shù)據(jù)而在于分析，分析針對(duì)的是業(yè)務(wù)，所以業(yè)務(wù)是首要了解的東西，就像一個(gè)人做事情，首先要明確的是要做的是什么事情；然后是網(wǎng)站或產(chǎn)品，它是實(shí)現(xiàn)業(yè)務(wù)的媒介，就像是做事情時(shí)使用的工作或方法；數(shù)據(jù)的處理流程包括了數(shù)據(jù)的獲取、處理和存儲(chǔ)模型，它是記錄信息，可以看做是日記，記錄了一個(gè)人做事情的整個(gè)流程；指標(biāo)和報(bào)表就是為了將一個(gè)人做事情的整個(gè)流程復(fù)述出來(lái)，把握重點(diǎn)同時(shí)又不失關(guān)鍵細(xì)節(jié)，所以必須要了解指標(biāo)的統(tǒng)計(jì)規(guī)則和報(bào)表的展現(xiàn)方式，以便更好地突顯重點(diǎn)，了解省略的細(xì)節(jié)，讓復(fù)述貼近事實(shí)。

很明顯，當(dāng)你了解了這個(gè)人在做什么事情之后再去閱讀這個(gè)人在做事情時(shí)記錄的信息或聽(tīng)取復(fù)述要遠(yuǎn)比你直接通過(guò)復(fù)述內(nèi)容或者閱讀記錄信息來(lái)猜測(cè)這個(gè)人在做什么事情來(lái)得高效得多。

主要想羅列一些關(guān)于BI的問(wèn)題。

BI（Business Intelligence，商業(yè)智能），先看一下維基百科上面對(duì)BI的定義：

Business intelligence (BI) is defined as the ability for an organization to take all its capabilities and convert them into knowledge.

BI提供大量有價(jià)值的信息引導(dǎo)企業(yè)尋找新的發(fā)展機(jī)遇，當(dāng)企業(yè)認(rèn)識(shí)到潛在的機(jī)遇并成功地實(shí)施相應(yīng)戰(zhàn)略決策的時(shí)候，BI就能幫助企業(yè)在市場(chǎng)建立競(jìng)爭(zhēng)優(yōu)勢(shì)并維持企業(yè)持續(xù)地發(fā)展。BI時(shí)常跟決策支持系統(tǒng)（Decision Support System, DSS）聯(lián)系在一起，其實(shí)BI最主要的目標(biāo)就是實(shí)現(xiàn)對(duì)企業(yè)的決策支持。

下面就探討幾個(gè)BI方面的問(wèn)題：

Q1、BI與數(shù)據(jù)倉(cāng)庫(kù)（DW）之間的關(guān)系是怎么樣的？

　　首先可以明確的是BI的重點(diǎn)在于對(duì)數(shù)據(jù)的應(yīng)用上，讓數(shù)據(jù)變成有價(jià)值的信息，而所有的基礎(chǔ)數(shù)據(jù)基本都是來(lái)源于數(shù)據(jù)倉(cāng)庫(kù)。

BI有兩個(gè)方向的定義：廣義的BI是包含數(shù)據(jù)倉(cāng)庫(kù)的，廣義的BI包括數(shù)據(jù)的獲取、處理、儲(chǔ)存，到之后的分析、挖掘、展現(xiàn)變成有價(jià)值信息的整個(gè)過(guò)程，組成了一套完整的系統(tǒng)，當(dāng)然在這個(gè)系統(tǒng)中數(shù)據(jù)倉(cāng)庫(kù)擔(dān)當(dāng)著從數(shù)據(jù)獲取之后的處理和存儲(chǔ)的職責(zé)，是基礎(chǔ)組成部分；狹義的BI僅僅包括上層的數(shù)據(jù)應(yīng)用，包括數(shù)據(jù)的展現(xiàn)、分析、挖掘等，所以不包括數(shù)據(jù)倉(cāng)庫(kù)。

因?yàn)锽I的定義更側(cè)重于數(shù)據(jù)應(yīng)用，而隨著數(shù)據(jù)量的不大擴(kuò)大，數(shù)據(jù)倉(cāng)庫(kù)更多地被作為一項(xiàng)獨(dú)立的技術(shù)被抽離出來(lái)，所以當(dāng)前BI和數(shù)據(jù)倉(cāng)庫(kù)的定義更傾向于分離，整個(gè)系統(tǒng)被叫做“DW/BI”的解決方案。

Q2、BI系統(tǒng)主要是為了幫助企業(yè)解決什么樣的問(wèn)題？

　　BI最初的目標(biāo)就是優(yōu)化企業(yè)的決策支持，實(shí)現(xiàn)從數(shù)據(jù)到有價(jià)值的信息的轉(zhuǎn)化，輔助企業(yè)商業(yè)戰(zhàn)略和決策的制定。所以BI的最終目標(biāo)是獲取商業(yè)的Insight。

BI首先實(shí)現(xiàn)的是企業(yè)數(shù)據(jù)的透明化，原始的數(shù)據(jù)報(bào)表就是為了從數(shù)據(jù)的角度定量地掌握企業(yè)的運(yùn)營(yíng)狀態(tài)，有了數(shù)據(jù)的支撐，很多決策的制定就會(huì)有了參考依據(jù)。隨著商業(yè)和信息技術(shù)的不斷發(fā)展，BI不再僅僅停留在報(bào)表的領(lǐng)域，數(shù)據(jù)除了展現(xiàn)以外被更多地用于商業(yè)分析，而商業(yè)分析的基礎(chǔ)組成就是統(tǒng)計(jì)、預(yù)測(cè)和優(yōu)化，這些對(duì)企業(yè)的運(yùn)營(yíng)決策起到了更加關(guān)鍵的作用。但隨著信息膨脹，數(shù)據(jù)量的劇增，BI也不斷面臨挑戰(zhàn)，我們需要花更多的成本去處理和存儲(chǔ)數(shù)據(jù)，需要花更多的精力去分析和應(yīng)用數(shù)據(jù)。我之前寫(xiě)過(guò)BI應(yīng)用中的三大矛盾這篇文章，因?yàn)橛卸螘r(shí)間了，很多地方的看法可能有了變化，但這3個(gè)矛盾相信依然還是存在。

所以，最終還是要把握BI的輸出是有價(jià)值的信息，無(wú)論中間的處理方式是查詢(xún)、報(bào)表，還是分析、挖掘，最終要得出的是有價(jià)值的結(jié)論。

Q3、目前BI的應(yīng)用或組件主要有哪些？

這里簡(jiǎn)單地歸納了一下，可能會(huì)有遺漏，希望大家能夠在評(píng)論中補(bǔ)充。這里僅僅包括狹義BI中基于數(shù)據(jù)應(yīng)用層面的一些功能，數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)處理方面的應(yīng)用不在這里羅列。

首先是報(bào)表、圖表和Dashboard，目前的報(bào)表和圖表除了更加豐富以外，跟傳統(tǒng)報(bào)表還有一個(gè)關(guān)鍵的區(qū)別就是可交互性。目前的報(bào)表基本都提供簡(jiǎn)單的數(shù)據(jù)篩選、排序等功能，Dashboard的出現(xiàn)實(shí)現(xiàn)了按需整合報(bào)表和圖表的功能。

再則是OLAP，OLAP一度被當(dāng)做BI的核心功能，不得不承認(rèn)OLAP是分析數(shù)據(jù)最有效的手段，尤其是基于多個(gè)維度多個(gè)層面的分析，這些是一兩張報(bào)表圖表所無(wú)法做到的。OLAP一般都是基于已經(jīng)設(shè)計(jì)成型的多維模型以及存放多維模型的數(shù)據(jù)集市（Data Mart），數(shù)據(jù)集市和OLAP跟業(yè)務(wù)層面有著很多關(guān)聯(lián)，這個(gè)使數(shù)據(jù)集市跟底層的數(shù)據(jù)倉(cāng)庫(kù)有了區(qū)分。

然后是數(shù)據(jù)的查詢(xún)和分析，有時(shí)基于既定的模型的OLAP無(wú)法滿(mǎn)足分析的需求，所以就有了數(shù)據(jù)查詢(xún)的需求，一般直接查詢(xún)數(shù)據(jù)倉(cāng)庫(kù)的細(xì)節(jié)數(shù)據(jù)；BI中的Ad-hoc Query則是對(duì)既定多維模型的靈活查詢(xún)，可以自由組合維度和度量。

最后是報(bào)表的發(fā)布和數(shù)據(jù)預(yù)警，這都是屬于BI平臺(tái)的推送功能，一般可以通過(guò)郵件訂閱的形式定期把組合的報(bào)表推送給相關(guān)的人員，而通過(guò)預(yù)警的設(shè)定，可以監(jiān)控?cái)?shù)據(jù)的變化趨勢(shì)，掌握數(shù)據(jù)可能出現(xiàn)的異常。

另外BI還有很多新奇的功能，如基于GIS的地圖數(shù)據(jù)、基于Flash實(shí)現(xiàn)的動(dòng)態(tài)圖表及對(duì)數(shù)據(jù)挖掘功能的集成等。

Q4、BI中的多維數(shù)據(jù)模型和OLAP的實(shí)用價(jià)值在哪？

之前有關(guān)于多維數(shù)據(jù)模型和OLAP的介紹，可以參考數(shù)據(jù)倉(cāng)庫(kù)的多維數(shù)據(jù)模型和數(shù)據(jù)立方體與OLAP這兩篇文章中的內(nèi)容。

其實(shí)多維數(shù)據(jù)模型和OLAP最主要的是解決了如何有效地觀察數(shù)據(jù)的問(wèn)題，傳統(tǒng)關(guān)系模型很難直接對(duì)數(shù)據(jù)進(jìn)行觀察分析，而多維模型為數(shù)據(jù)觀察者提供了清晰的視角，就如平常我們從多個(gè)角度看待事物一樣，多維模型維度的設(shè)計(jì)就很好地提供了這些角度的選擇。而OLAP的幾個(gè)操作形式正是體現(xiàn)了“分析”這個(gè)詞本身的含義，從總體到細(xì)節(jié)，結(jié)合多個(gè)維度的交叉分析，讓我們具備了對(duì)整個(gè)數(shù)據(jù)集進(jìn)行全景觀測(cè)的能力。

OLAP最關(guān)鍵的技術(shù)除了多維模型設(shè)計(jì)還有就是預(yù)計(jì)算（Precomputation），或者叫預(yù)聚合，預(yù)計(jì)算解決了數(shù)據(jù)快速獲取的問(wèn)題，基于一定的規(guī)則或者算法對(duì)數(shù)據(jù)集進(jìn)行預(yù)計(jì)算之后，OLAP的操作性能可能得到有效地提升，從而使對(duì)大量數(shù)據(jù)的快速靈活的分析操作成為可能。

Q5、目前市場(chǎng)上主流的BI產(chǎn)品主要有哪些？

市場(chǎng)上主要的商業(yè)BI產(chǎn)品包括IBM的Cognos，另外IBM有自己的DB2可以建立數(shù)據(jù)倉(cāng)庫(kù)，在2010年收購(gòu)SPSS之后，讓其在數(shù)據(jù)分析和數(shù)據(jù)挖掘的領(lǐng)域也更加具有競(jìng)爭(zhēng)力、SAP的Business Objects（BO），另外SAP有BW（Business Information Warehouse），作為傳統(tǒng)的ERP方案提供商在數(shù)據(jù)集成方面有獨(dú)特的優(yōu)勢(shì)、Oracle的BI（企業(yè)級(jí)的叫BIEE，Oracle Business Intelligence Enterprise Edition），Oracle借助其強(qiáng)大的關(guān)系型數(shù)據(jù)庫(kù)建立數(shù)據(jù)倉(cāng)庫(kù)有獨(dú)特的優(yōu)勢(shì)。這3大商業(yè)BI都屬于整合型的BI，再加上微軟借助Sql Server數(shù)據(jù)庫(kù)提供的SSIS、SSAS和SSRS也是屬于整合型的BI解決方案。另外也有獨(dú)立的BI公司，如SAS，傳統(tǒng)優(yōu)勢(shì)在數(shù)據(jù)挖掘領(lǐng)域、Micro Strategy的BI解決方案、開(kāi)源強(qiáng)大的BI系統(tǒng)Pentaho（之前幾年還有很多開(kāi)源的BI系統(tǒng)，但因?yàn)锽I在技術(shù)上有一定的門(mén)檻和成本，所以目前很多開(kāi)源BI 都會(huì)包括開(kāi)源版本和商業(yè)版本，Pentaho也不例外），國(guó)內(nèi)也有用友的BQ軟件也是屬于BI產(chǎn)品。

歸納一下就是目前的BI產(chǎn)品主要以商業(yè)產(chǎn)品為主，而且整套的BI產(chǎn)品一般都是重量級(jí)的，在購(gòu)買(mǎi)、部署和使用上都需要一定的成本投入。

這篇文章主要想整理一些數(shù)據(jù)倉(cāng)庫(kù)相關(guān)的問(wèn)題。因?yàn)樽罱匦略诳匆恍?shù)據(jù)倉(cāng)庫(kù)的資料和書(shū)籍，想把之前以及當(dāng)前遇到的主要問(wèn)題提出來(lái)（博客中有關(guān)數(shù)據(jù)倉(cāng)庫(kù)的相關(guān)內(nèi)容請(qǐng)參閱網(wǎng)站數(shù)據(jù)倉(cāng)庫(kù)這個(gè)目錄），同時(shí)自己也對(duì)數(shù)據(jù)倉(cāng)庫(kù)方面的知識(shí)進(jìn)行下重新的整理和認(rèn)識(shí)，而且很久沒(méi)有在博客發(fā)新的文章了，不能讓自己過(guò)于懶散了。 

之前看過(guò)Inmon的《構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)》和《DW 2.0》，而另外一位數(shù)據(jù)倉(cāng)庫(kù)大師Kimball的《數(shù)據(jù)倉(cāng)庫(kù)生命周期工具箱》一直沒(méi)有時(shí)間閱讀，最近才有時(shí)間看完了大部分，就迫不及待想寫(xiě)點(diǎn)東西了。其實(shí)數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域普遍認(rèn)為Inmon和Kimball的理論是對(duì)立的，兩者在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)上方向性的差異一直爭(zhēng)論不休，誰(shuí)也無(wú)法說(shuō)服誰(shuí)到底哪種方法更好。我的Evernote的筆記里面不知什么時(shí)候從哪里摘錄過(guò)來(lái)了對(duì)兩者觀點(diǎn)的概括性描述，非常簡(jiǎn)潔明了而一針見(jiàn)血：

Inmon vs Kimball

Kimball – Let everybody build what they want when they want it, we’ll integrate it all when and if we need to. (BOTTOM-UP APPROACH)

Pros: fast to build, quick ROI, nimble

Cons: harder to maintain as an enterprise resource, often redundant, often difficult to integrate data marts

Inmon – Don’t do anything until you’ve designed everything. (TOP-DOWN APPROACH)

Pros: easy to maitain, tightly integrated

Cons: takes way too long to deliver first projects, rigid

其實(shí)看了《數(shù)據(jù)倉(cāng)庫(kù)生命周期工具箱》之后，發(fā)現(xiàn)兩者的觀點(diǎn)沒(méi)有那么大的本質(zhì)性差異，可能隨著數(shù)據(jù)倉(cāng)庫(kù)的不斷發(fā)展，兩者在整體的架構(gòu)上慢慢趨同。基本上，構(gòu)建統(tǒng)一的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的方向是一致的，而Inmon偏向于從底層的數(shù)據(jù)集成出發(fā)，而Kimball則趨向于從上層的需求角度出發(fā)，這可能跟兩者從事的項(xiàng)目和所處的位置有關(guān)。

有了上面這段高質(zhì)量的概括，第一個(gè)問(wèn)題——你更偏向于以何種方式搭建數(shù)據(jù)倉(cāng)庫(kù)（BOTTOM-UP or TOP-DOWN），分別有什么優(yōu)劣勢(shì)？——其實(shí)就不用問(wèn)了，所以下面主要提幾個(gè)在實(shí)際中可能經(jīng)常遇到或者需要想清楚的問(wèn)題：

Q1、數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)解決方案有哪些，這些解決方案的優(yōu)勢(shì)在哪，瓶頸在哪？

隨著數(shù)據(jù)倉(cāng)庫(kù)的不斷發(fā)展和成熟，“大數(shù)據(jù)”概念的風(fēng)靡，有越來(lái)越多的相關(guān)產(chǎn)品出來(lái)，最常見(jiàn)的技術(shù)解決方案包括hadoop和hive，oracle，mysql的infobright，greenplum及nosql，或者多個(gè)結(jié)合使用。

其實(shí)歸納起來(lái)就兩類(lèi)：一是用傳統(tǒng)RDBMS為主導(dǎo)的數(shù)據(jù)庫(kù)管理數(shù)據(jù)，oracle、mysql等都是基于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，優(yōu)勢(shì)就是有更嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)結(jié)構(gòu)，關(guān)系型數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)的管理更加規(guī)范，數(shù)據(jù)處理過(guò)程中可能出現(xiàn)的非人為誤差極小，而且標(biāo)準(zhǔn)的SQL接口使數(shù)據(jù)獲取的成本較低，數(shù)據(jù)的查詢(xún)和獲取更加靈活和高效；但劣勢(shì)也很明顯，對(duì)海量數(shù)據(jù)的處理和存儲(chǔ)的能力不足，當(dāng)數(shù)據(jù)量達(dá)到一定程度的時(shí)候就會(huì)出現(xiàn)明顯的瓶頸。而是基于文本的分布式處理引擎，hadoop、greenplum和nosql都是基于文本數(shù)據(jù)的處理和存儲(chǔ)，優(yōu)勢(shì)是強(qiáng)大的數(shù)據(jù)處理能力，分布式的架構(gòu)支持并行計(jì)算，并且具備超強(qiáng)的擴(kuò)展延伸能力；劣勢(shì)就是上層接口不方便，因此Hadoop上層的hive和greenplum上層的postgreSQL都是為了解決數(shù)據(jù)接口的問(wèn)題，并且數(shù)據(jù)的查詢(xún)和獲取很難做到實(shí)時(shí)響應(yīng)，靈活性不足。

Q2、數(shù)據(jù)倉(cāng)庫(kù)是否就應(yīng)該保存聚合數(shù)據(jù)，細(xì)節(jié)數(shù)據(jù)不應(yīng)該放入數(shù)據(jù)倉(cāng)庫(kù)？

其實(shí)這個(gè)問(wèn)題基本已經(jīng)達(dá)成共識(shí)，如果是構(gòu)建企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)，那么對(duì)細(xì)節(jié)數(shù)據(jù)的集成和存儲(chǔ)是必不可少的，但現(xiàn)實(shí)中還是存在很多直接從外部數(shù)據(jù)源計(jì)算聚合之后導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)的實(shí)例。如果對(duì)數(shù)據(jù)倉(cāng)庫(kù)只是輕量級(jí)的應(yīng)用，僅存放聚合數(shù)據(jù)也無(wú)可厚非，畢竟沒(méi)人規(guī)定數(shù)據(jù)倉(cāng)庫(kù)一定要是怎么樣的，最終的目的無(wú)非就是滿(mǎn)足對(duì)數(shù)據(jù)的支持和需求。

但對(duì)于企業(yè)的長(zhǎng)期發(fā)展來(lái)看，數(shù)據(jù)倉(cāng)庫(kù)中存放細(xì)節(jié)數(shù)據(jù)有兩方面的好處：一方面從技術(shù)層面，數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)細(xì)節(jié)數(shù)據(jù)可以釋放前臺(tái)數(shù)據(jù)庫(kù)的查詢(xún)壓力，同時(shí)對(duì)于文本類(lèi)數(shù)據(jù)和外部文檔類(lèi)數(shù)據(jù)入庫(kù)之后管理更加規(guī)范，數(shù)據(jù)倉(cāng)庫(kù)保留歷史和不可變更的特性可以讓信息不被丟失；另一方面就是從數(shù)據(jù)的使用上，數(shù)據(jù)倉(cāng)庫(kù)讓數(shù)據(jù)的獲取和使用更加簡(jiǎn)便，集成細(xì)節(jié)數(shù)據(jù)讓大量的文本型數(shù)據(jù)可查詢(xún)，可關(guān)聯(lián)，而面向主題的設(shè)計(jì)讓數(shù)據(jù)的展現(xiàn)和分析更有方向性和目的性，而且細(xì)節(jié)數(shù)據(jù)是支持?jǐn)?shù)據(jù)分析和數(shù)據(jù)挖掘應(yīng)用所必不可少的。所以，如果數(shù)據(jù)倉(cāng)庫(kù)要不斷地催生出更大的價(jià)值，細(xì)節(jié)數(shù)據(jù)的存儲(chǔ)是必不可少的。

Q3、你會(huì)把數(shù)據(jù)倉(cāng)庫(kù)分為幾層，每層的數(shù)據(jù)作用是什么？

沒(méi)有標(biāo)準(zhǔn)答案，根據(jù)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的復(fù)雜性和對(duì)數(shù)據(jù)使用的需求程度，數(shù)據(jù)倉(cāng)庫(kù)可以有不用的層級(jí)劃分。

我一般會(huì)把數(shù)據(jù)倉(cāng)庫(kù)劃成三層：最底層的細(xì)節(jié)數(shù)據(jù)，管理策略是優(yōu)化存儲(chǔ)，一般存儲(chǔ)導(dǎo)入的原始數(shù)據(jù)，便于進(jìn)行向上的統(tǒng)計(jì)匯總，因?yàn)閿?shù)據(jù)量較大所以需要優(yōu)化存儲(chǔ)；中間層是多維模型，管理策略是優(yōu)化結(jié)構(gòu)和查詢(xún)，面向主題的多維模型的設(shè)計(jì)，需要滿(mǎn)足OLAP和數(shù)據(jù)查詢(xún)的多樣需求，同時(shí)保證查詢(xún)的便捷性，關(guān)鍵在與維表的設(shè)計(jì)和維度的選擇及組合，事實(shí)表需要關(guān)注存儲(chǔ)和索引的優(yōu)化；最上層是展現(xiàn)數(shù)據(jù)，管理策略是優(yōu)化效率，一般會(huì)存放每天需要展現(xiàn)的匯總報(bào)表，或者根據(jù)多維模型拼裝的視圖，展現(xiàn)層的數(shù)據(jù)需要以最快的速度展現(xiàn)出來(lái)，一般用于BI平臺(tái)的Dashboard和報(bào)表。

Q4、數(shù)據(jù)倉(cāng)庫(kù)搭建中最繁雜的事情是什么，最容易缺失的是哪一塊？

一直覺(jué)得數(shù)據(jù)倉(cāng)庫(kù)的核心不在于數(shù)據(jù)集成，當(dāng)然數(shù)據(jù)集成是數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)價(jià)值的前提，數(shù)據(jù)倉(cāng)庫(kù)真正的價(jià)值體現(xiàn)在數(shù)據(jù)的有效應(yīng)用，數(shù)據(jù)源于業(yè)務(wù)反作用于業(yè)務(wù)。而搭建數(shù)據(jù)倉(cāng)庫(kù)的核心在于數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)和數(shù)據(jù)模型的設(shè)計(jì)，怎么權(quán)衡數(shù)據(jù)的存儲(chǔ)和數(shù)據(jù)獲取效率之間的矛盾是數(shù)據(jù)倉(cāng)庫(kù)管理上的難點(diǎn)，這個(gè)難點(diǎn)任何數(shù)據(jù)倉(cāng)庫(kù)都會(huì)存在，而大數(shù)據(jù)增大了這種權(quán)衡中的難度。而數(shù)據(jù)的集成和數(shù)據(jù)質(zhì)量控制是數(shù)據(jù)倉(cāng)庫(kù)搭建中最繁雜的事情，尤其是數(shù)據(jù)清洗的過(guò)程，我之前也寫(xiě)過(guò)幾篇數(shù)據(jù)質(zhì)量控制的文章，但現(xiàn)實(shí)中這個(gè)過(guò)程還要復(fù)雜得多，而且為了上層數(shù)據(jù)產(chǎn)出的準(zhǔn)確性和有效性，這項(xiàng)工作又不得不做，而且要做得盡量細(xì)致。

搭建數(shù)據(jù)倉(cāng)庫(kù)中最容易缺失的就是對(duì)元數(shù)據(jù)的管理，很少有數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)具備完整的元數(shù)據(jù)，當(dāng)然搭建數(shù)據(jù)倉(cāng)庫(kù)的工程師本身就是活的元數(shù)據(jù)，但無(wú)論是為了用數(shù)據(jù)的人還是數(shù)據(jù)倉(cāng)庫(kù)自身的團(tuán)隊(duì)著想，元數(shù)據(jù)都不可或缺。一方面元數(shù)據(jù)為數(shù)據(jù)需求方提供了完整的數(shù)據(jù)倉(cāng)庫(kù)使用文檔，幫助他們能自主地快速獲取數(shù)據(jù)，另一方面數(shù)據(jù)倉(cāng)庫(kù)團(tuán)隊(duì)成員可以從日常的數(shù)據(jù)解釋中解脫出來(lái)，無(wú)論是對(duì)后期的不斷迭代更新和維護(hù)還是培訓(xùn)新的員工，都非常有好處，元數(shù)據(jù)可以讓數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用和維護(hù)更加高效。

寫(xiě)在最后：以上僅代表個(gè)人觀點(diǎn)，歡迎大家踴躍拍磚，更加希望高手們能在評(píng)論中給出寶貴的答案，任何角度的觀點(diǎn)和討論都可以，集思廣益。