大數(shù)據(jù)時(shí)代，我們需要這樣的思考方式

申請(qǐng)免費(fèi)試用、咨詢電話：400-8352-114

       維克托·邁爾·舍恩伯格和肯尼斯·庫(kù)克耶在《大數(shù)據(jù)時(shí)代》中告訴我們大數(shù)據(jù)的4V特點(diǎn)，即Volume（大量）、Velocity（高速）、Variety（多樣）、Veracity（真實(shí)）。相比小數(shù)據(jù)，大數(shù)據(jù)一定是復(fù)雜的。然而，復(fù)雜性對(duì)于我們來(lái)說(shuō)，絕對(duì)是一個(gè)機(jī)會(huì)而不應(yīng)是一個(gè)問(wèn)題。面對(duì)大數(shù)據(jù)時(shí)代的撲面而來(lái)，如何擁抱大數(shù)據(jù)，從思考方式的轉(zhuǎn)變開(kāi)始。

       從“基于預(yù)設(shè)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)”到“無(wú)需預(yù)設(shè)的非關(guān)系型數(shù)據(jù)庫(kù)”

       小數(shù)據(jù)時(shí)代，我們對(duì)于數(shù)據(jù)的存儲(chǔ)與檢索一直依賴(lài)于分類(lèi)法和索引法，分類(lèi)和索引是一種清晰獲取數(shù)據(jù)的機(jī)制設(shè)計(jì)，這種機(jī)制是以預(yù)設(shè)場(chǎng)域?yàn)榍疤岬摹＿@種結(jié)構(gòu)化數(shù)據(jù)庫(kù)的預(yù)設(shè)場(chǎng)域能夠卓越地展示數(shù)據(jù)的整齊排列與準(zhǔn)確存儲(chǔ)，毫無(wú)疑問(wèn)，這與追求數(shù)據(jù)的精確性目標(biāo)是完全一致的，在數(shù)據(jù)稀缺與問(wèn)題清晰的年代，這種基于預(yù)設(shè)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)能夠有效的回答人們的問(wèn)題，并且這種數(shù)據(jù)庫(kù)在不同的時(shí)間能夠提供一致的結(jié)果。

       面對(duì)大數(shù)據(jù)，由于數(shù)據(jù)的海量、混雜等特征會(huì)使預(yù)設(shè)的數(shù)據(jù)庫(kù)系統(tǒng)崩潰。其實(shí)，數(shù)據(jù)的紛繁雜亂才真正呈現(xiàn)出世界的復(fù)雜性和不確定性特征，想要獲得大數(shù)據(jù)的價(jià)值，承認(rèn)混亂而不是對(duì)抗或避免混亂才是一種可行的路徑。為此，伴隨著大數(shù)據(jù)的涌現(xiàn)，出現(xiàn)了非關(guān)系型數(shù)據(jù)庫(kù)，它不需要預(yù)先設(shè)定記錄結(jié)構(gòu)，而且允許處理各種各樣形形色色參差不齊的數(shù)據(jù)。因?yàn)榘萘私Y(jié)構(gòu)的多樣性，這些無(wú)需預(yù)設(shè)的非關(guān)系型數(shù)據(jù)庫(kù)設(shè)計(jì)能夠處理和存儲(chǔ)更多的數(shù)據(jù)，成為大數(shù)據(jù)時(shí)代的重要應(yīng)對(duì)手段。如微軟的數(shù)據(jù)庫(kù)設(shè)計(jì)專(zhuān)家Pat Helland所言：“我們?cè)僖膊荒芗傺b活在一個(gè)齊整的世界里?！?/p>

       從“隨機(jī)樣本”到“全量數(shù)據(jù)”

       統(tǒng)計(jì)學(xué)家通過(guò)分析發(fā)現(xiàn)，采樣分析的精確性隨著采樣隨機(jī)性的增加而大幅提高，但與樣本數(shù)量的增加關(guān)系不大。這個(gè)發(fā)現(xiàn)對(duì)于小數(shù)據(jù)時(shí)代無(wú)疑是非常鼓舞人心的，隨機(jī)采樣獲得了巨大的成功，并成為現(xiàn)代社會(huì)測(cè)量領(lǐng)域的核心思想。隨機(jī)樣本的基礎(chǔ)是采樣的絕對(duì)隨機(jī)性，然而，如此嚴(yán)格意義的隨機(jī)實(shí)現(xiàn)起來(lái)是非常困難的，一旦采樣過(guò)程存在任何偏見(jiàn)，分析結(jié)果將相去甚遠(yuǎn)，況且隨機(jī)樣本帶給我們的只能是事先預(yù)設(shè)問(wèn)題的答案。這種缺乏延展性的結(jié)果，無(wú)疑會(huì)使我們錯(cuò)失更多的問(wèn)題域。

       大數(shù)據(jù)時(shí)代，數(shù)據(jù)的收集問(wèn)題不再成為我們的困擾，采集全量的數(shù)據(jù)成為現(xiàn)實(shí)。全量數(shù)據(jù)帶給我們視角上的宏觀與高遠(yuǎn)，這將使我們可以站在更高的層級(jí)全貌看待問(wèn)題，看見(jiàn)曾經(jīng)被淹沒(méi)的數(shù)據(jù)價(jià)值，發(fā)現(xiàn)藏匿在整體中有趣的細(xì)節(jié)。因?yàn)閾碛腥炕驇缀跞康臄?shù)據(jù)，就能使我們獲得從不同的角度更細(xì)致更全面的觀察研究數(shù)據(jù)的可能性，從而使得大數(shù)據(jù)的分析過(guò)程成為驚喜的發(fā)現(xiàn)過(guò)程和問(wèn)題域的拓展過(guò)程。

       從“數(shù)據(jù)的精確性和結(jié)果的準(zhǔn)確性”到“數(shù)據(jù)的混雜性和結(jié)果的容錯(cuò)性”

       小數(shù)據(jù)時(shí)代，由于可獲得的數(shù)據(jù)量比較小，為此我們必須盡量準(zhǔn)確的記錄下所獲得的所有數(shù)據(jù)，從而引發(fā)了測(cè)量工具的優(yōu)化工作；由于數(shù)據(jù)處理手段的限制，能被我們利用的數(shù)據(jù)基本限于能適用于傳統(tǒng)數(shù)據(jù)庫(kù)的結(jié)構(gòu)化數(shù)據(jù)；由于采用的是隨機(jī)采樣，因此采樣過(guò)程的精確度被放在重要的地位。顯然，這種對(duì)精確性的執(zhí)著是信息缺乏時(shí)代和模擬時(shí)代的產(chǎn)物。

       大數(shù)據(jù)時(shí)代，海量數(shù)據(jù)的涌現(xiàn)一定會(huì)增加數(shù)據(jù)的混亂性且造成結(jié)果的不準(zhǔn)確性，如果仍然執(zhí)迷的依循準(zhǔn)確性，那么我們將無(wú)法應(yīng)對(duì)這個(gè)新的時(shí)代。與數(shù)據(jù)的混雜性可能帶來(lái)的結(jié)果錯(cuò)誤性的增加相比，由數(shù)據(jù)量的擴(kuò)張帶給我們的新洞察、新趨勢(shì)和新價(jià)值更有意義，因?yàn)榇髷?shù)據(jù)通常都用概率說(shuō)話，何況大數(shù)據(jù)的處理之前是可以對(duì)之進(jìn)行數(shù)據(jù)清洗從而減少部分的錯(cuò)誤數(shù)據(jù)。所以，與致力于避免錯(cuò)誤相比，對(duì)錯(cuò)誤的包容將會(huì)帶給我們更多信息。其實(shí)，允許數(shù)據(jù)的混雜性和容許結(jié)果的不精確性才是我們擁抱大數(shù)據(jù)的正確態(tài)度，只有讓步和接受甚至欣賞不精確性，才能看到大數(shù)據(jù)帶給我們的美好前景，未來(lái)我們應(yīng)當(dāng)習(xí)慣這種思維。

       從“復(fù)雜算法”到“簡(jiǎn)單算法”

       算法是挖掘數(shù)據(jù)價(jià)值的工具，因此算法的研究一直以來(lái)是提升數(shù)據(jù)利用效率的重要路徑。小數(shù)據(jù)時(shí)代，在數(shù)據(jù)的限制無(wú)法突破的情形下，對(duì)數(shù)據(jù)信息和價(jià)值的獲取渴求使得對(duì)算法的研究越來(lái)越深入，發(fā)明的算法越來(lái)越復(fù)雜。而事實(shí)表明，當(dāng)數(shù)據(jù)量以指數(shù)級(jí)擴(kuò)張時(shí)，原來(lái)在小數(shù)量級(jí)的數(shù)據(jù)中表現(xiàn)很差的簡(jiǎn)單算法，準(zhǔn)確率會(huì)大幅提高；與之相反的是，在少量數(shù)據(jù)情況下運(yùn)行得最好的復(fù)雜算法，在加入更多數(shù)據(jù)時(shí)，其算法的優(yōu)勢(shì)則不在顯現(xiàn)。為此，更多的數(shù)據(jù)比算法系統(tǒng)顯得更智能更重要，大數(shù)據(jù)的簡(jiǎn)單算法比小數(shù)據(jù)的復(fù)雜算法更有效。

       從“為什么”到“是什么”

       小數(shù)據(jù)時(shí)代，由于數(shù)據(jù)可獲得性和計(jì)算能力的有限性，使得我們對(duì)于問(wèn)題的研究需要在假設(shè)的基礎(chǔ)上進(jìn)行驗(yàn)證，并探究“為什么”,而始于假設(shè)的分析研究非常容易受偏見(jiàn)支配。

       大數(shù)據(jù)時(shí)代，快速發(fā)展的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)傳輸、數(shù)據(jù)獲取、數(shù)據(jù)處理等系列技術(shù)群，為我們對(duì)于問(wèn)題的研究提供了新的視野和有價(jià)值的預(yù)測(cè)，并使我們獲得更多以往所不曾被關(guān)注的聯(lián)系與動(dòng)態(tài)，探究“是什么”成為我們發(fā)現(xiàn)世界了解世界的更便捷的途徑，且不會(huì)受先驗(yàn)假設(shè)的偏見(jiàn)影響。

       從“因果關(guān)系”到“相關(guān)關(guān)系”

       小數(shù)據(jù)時(shí)代，信息的匱乏會(huì)使我們趨向于采用因果關(guān)系范式去快速理解問(wèn)題并做出決策，雖然這種因果關(guān)系可能并不存在，但這是我們理解和解釋世界的一條捷徑。在人類(lèi)力量有限性凸顯的時(shí)候，這種認(rèn)知捷徑往往能帶給我們一種認(rèn)知上的安慰感和安全感，仿佛世界就是因果性的存在著。

       由于大數(shù)據(jù)時(shí)代對(duì)于數(shù)據(jù)的研究不再拘泥于對(duì)因果關(guān)系的探究，這將會(huì)使我們完全有條件向關(guān)聯(lián)、非關(guān)聯(lián)等相關(guān)關(guān)系探究的轉(zhuǎn)變。類(lèi)似啤酒與尿布存在相關(guān)性的經(jīng)典案例不勝枚舉。海量數(shù)據(jù)不斷被制造與我們對(duì)于數(shù)據(jù)搜集、存儲(chǔ)、傳輸、處理能力的日益提高，是大數(shù)據(jù)時(shí)代的當(dāng)下特征?；诨ヂ?lián)網(wǎng)、云計(jì)算等現(xiàn)代化手段，對(duì)海量的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)性的搜索、比較、分析、歸納，我們會(huì)發(fā)現(xiàn)，原本似乎毫不相干的事物之間存在著較高的關(guān)聯(lián)度，這是傳統(tǒng)的因果分析、邏輯推理調(diào)研難以解釋也無(wú)法企及的。

       當(dāng)然，相關(guān)關(guān)系并不是大數(shù)據(jù)洞察的終結(jié)目標(biāo)。在很多情況下，一旦我們完成了對(duì)大數(shù)據(jù)的相關(guān)關(guān)系分析，而又不再滿足于僅僅“是什么”時(shí)，我們就會(huì)繼續(xù)朝向因果關(guān)系的研究，尋求“為什么”,并且基于相關(guān)關(guān)系的分析，進(jìn)一步尋求因果關(guān)系將會(huì)大大降低其分析成本。其實(shí)，因果關(guān)系就是一種特殊的相關(guān)關(guān)系。

       從“審慎的決策與行動(dòng)”到“快速的決策與行動(dòng)”

       小數(shù)據(jù)時(shí)代，我們基于對(duì)社會(huì)運(yùn)作情境的假設(shè)，通過(guò)收集和分析數(shù)據(jù)來(lái)驗(yàn)證這種假設(shè)；通過(guò)數(shù)據(jù)的檢驗(yàn)，原有假設(shè)不成立，意味著我們將重新開(kāi)始新的假設(shè)并重新收集和分析新的數(shù)據(jù)，直到我們的驗(yàn)證通過(guò)為止。因此，小數(shù)據(jù)時(shí)代，我們的決策與行動(dòng)是審慎的。

      大數(shù)據(jù)時(shí)代，我們不再受限于傳統(tǒng)的思維模式和隱含的假定，我們需要對(duì)大數(shù)據(jù)分析的工具理論，通過(guò)對(duì)大數(shù)據(jù)的分析，大數(shù)據(jù)會(huì)為我們呈現(xiàn)出新的深刻洞見(jiàn)和釋放出巨大的價(jià)值。我們?cè)诖髷?shù)據(jù)的指導(dǎo)下探索世界并且不再受制于各種假設(shè)，這將使我們勢(shì)必要以積極的姿態(tài)隨時(shí)接收著來(lái)自數(shù)據(jù)的洞察，并做出快速的決策與行動(dòng)，因?yàn)闄C(jī)會(huì)和價(jià)值很快就會(huì)被刷新，大數(shù)據(jù)的價(jià)值也正是在于將及時(shí)的信息及時(shí)的傳遞給及時(shí)需要的人手中并及時(shí)的做出決策和行動(dòng)?？梢灶A(yù)見(jiàn)的未來(lái)必然是，得數(shù)據(jù)者得天下。

       其實(shí)，我們只是站在一個(gè)很長(zhǎng)過(guò)程的起點(diǎn)上。

原文來(lái)自CIO信息網(wǎng)

泛普軟件分享（www.isoffice.cn）