大數(shù)據發(fā)展時代：七個挑戰(zhàn)和八大趨勢

申請免費試用、咨詢電話：400-8352-114

　　目前大數(shù)據的發(fā)展依然存在諸多挑戰(zhàn)，包括七大方面的挑戰(zhàn)：業(yè)務部門沒有清晰的大數(shù)據需求導致數(shù)據資產逐漸流失;企業(yè)內部數(shù)據孤島嚴重，導致數(shù)據價值不能充分挖掘;數(shù)據可用性低，數(shù)據質量差，導致數(shù)據無法利用;數(shù)據相關管理技術和架構落后，導致不具備大數(shù)據處理能力;數(shù)據安全能力和防范意識差，導致數(shù)據泄露;大數(shù)據人才缺乏導致大數(shù)據工作難以開展;大數(shù)據越開放越有價值，但缺乏大數(shù)據相關的政策法規(guī)，導致數(shù)據開放和隱私之間難以平衡，也難以更好的開放。

　　挑戰(zhàn)一：業(yè)務部門沒有清晰的大數(shù)據需求

　　很多企業(yè)業(yè)務部門不了解大數(shù)據，也不了解大數(shù)據的應用場景和價值，因此難以提出大數(shù)據的準確需求。由于業(yè)務部門需求不清晰，大數(shù)據部門又是非盈利部門，企業(yè)決策層擔心投入比較多的成本，導致了很多企業(yè)在搭建大數(shù)據部門時猶豫不決，或者很多企業(yè)都處于觀望嘗試的態(tài)度，從根本上影響了企業(yè)在大數(shù)據方向的發(fā)展，也阻礙了企業(yè)積累和挖掘自身的數(shù)據資產，甚至由于數(shù)據沒有應用場景，刪除很多有價值歷史數(shù)據，導致企業(yè)數(shù)據資產流失。因此，這方面需要大數(shù)據從業(yè)者和專家一起，推動和分享大數(shù)據應用場景，讓更多的業(yè)務人員了解大數(shù)據的價值。

　　挑戰(zhàn)二：企業(yè)內部數(shù)據孤島嚴重

　　企業(yè)啟動大數(shù)據最重要的挑戰(zhàn)是數(shù)據的碎片化。在很多企業(yè)中尤其是大型的企業(yè)，數(shù)據常常散落在不同部門，而且這些數(shù)據存在不同的數(shù)據倉庫中，不同部門的數(shù)據技術也有可能不一樣，這導致企業(yè)內部自己的數(shù)據都沒法打通。如果不打通這些數(shù)據，大數(shù)據的價值則非常難挖掘。大數(shù)據需要不同數(shù)據的關聯(lián)和整合才能更好的發(fā)揮理解客戶和理解業(yè)務的優(yōu)勢。如何將不同部門的數(shù)據打通，并且實現(xiàn)技術和工具共享，才能更好的發(fā)揮企業(yè)大數(shù)據的價值。

　　挑戰(zhàn)三：數(shù)據可用性低，數(shù)據質量差

　　很多中型以及大型企業(yè)，每時每刻也都在產生大量的數(shù)據，但很多企業(yè)在大數(shù)據的預處理階段很不重視，導致數(shù)據處理很不規(guī)范。大數(shù)據預處理階段需要抽取數(shù)據把數(shù)據轉化為方便處理的數(shù)據類型，對數(shù)據進行清洗和去噪，以提取有效的數(shù)據等操作。甚至很多企業(yè)在數(shù)據的上報就出現(xiàn)很多不規(guī)范不合理的情況。以上種種原因，導致企業(yè)的數(shù)據的可用性差，數(shù)據質量差，數(shù)據不準確。而大數(shù)據的意義不僅僅是要收集規(guī)模龐大的數(shù)據信息，還有對收集到的數(shù)據進行很好的預處理處理，才有可能讓數(shù)據分析和數(shù)據挖掘人員從可用性高的大數(shù)據中提取有價值的信息。Sybase的數(shù)據表明，高質量的數(shù)據的數(shù)據應用可以顯著提升企業(yè)的商業(yè)表現(xiàn)，數(shù)據可用性提高10%，企業(yè)的業(yè)績至少提升在10%以上。

　　挑戰(zhàn)四：數(shù)據相關管理技術和架構

　　技術架構的挑戰(zhàn)包含以下幾方面：(1)傳統(tǒng)的數(shù)據庫部署不能處理TB級別的數(shù)據，快速增長的數(shù)據量超越了傳統(tǒng)數(shù)據庫的管理能力。如何構建分布式的數(shù)據倉庫，并可以方便擴展大量的服務器成為很多傳統(tǒng)企業(yè)的挑戰(zhàn);(2)很多企業(yè)采用傳統(tǒng)的數(shù)據庫技術，在設計的開始就沒有考慮數(shù)據類別的多樣性，尤其是對結構化數(shù)據、半結構化和非結構化數(shù)據的兼容;(3)傳統(tǒng)企業(yè)的數(shù)據庫，對數(shù)據處理時間要求不高，這些數(shù)據的統(tǒng)計結果往往滯后一天或兩天才能統(tǒng)計出來。但大數(shù)據需要實時處理數(shù)據，進行分鐘級甚至是秒級計算。傳統(tǒng)的數(shù)據庫架構師缺乏實時數(shù)據處理的能力;(4)海量的數(shù)據需要很好的網絡架構，需要強大的數(shù)據中心來支撐，數(shù)據中心的運維工作也將成為挑戰(zhàn)。如何在保證數(shù)據穩(wěn)定、支持高并發(fā)的同時，減少服務器的低負載情況，成為海量數(shù)據中心運維的一個重點工作。

　　挑戰(zhàn)五：數(shù)據安全

　　網絡化生活使得犯罪分子更容易獲得關于人的信息，也有了更多不易被追蹤和防范的犯罪手段，可能會出現(xiàn)更高明的騙局。如何保證用戶的信息安全成為大數(shù)據時代非常重要的課題。在線數(shù)據越來越多，黑客犯罪的動機比以往都來的強烈，一些知名網站密碼泄露、系統(tǒng)漏洞導致用戶資料被盜等個人敏感信息泄露事件已經警醒我們，要加強大數(shù)據網絡安全的建設。另外，大數(shù)據的不斷增加，對數(shù)據存儲的物理安全性要求會越來越高，從而對數(shù)據的多副本與容災機制也提出更高的要求。目前很多傳統(tǒng)企業(yè)的數(shù)據安全令人擔憂。

　　挑戰(zhàn)六：大數(shù)據人才缺乏

　　大數(shù)據建設的每個環(huán)節(jié)都需要依靠專業(yè)人員完成，因此，必須培養(yǎng)和造就一支掌握大數(shù)據技術、懂管理、有大數(shù)據應用經驗的大數(shù)據建設專業(yè)隊伍。目前大數(shù)據相關人才的欠缺將阻礙大數(shù)據市場發(fā)展。據Gartner預測，到2015年，全球將新增440萬個與大數(shù)據相關的工作崗位，且會有25%的組織設立首席數(shù)據官職位。大數(shù)據的相關職位需要的是復合型人才，能夠對數(shù)學、統(tǒng)計學、數(shù)據分析、機器學習和自然語言處理等多方面知識綜合掌控。未來，大數(shù)據將會出現(xiàn)約100萬的人才缺口，在各個行業(yè)大數(shù)據中高端人才都會成為最炙手可熱的人才，涵蓋了大數(shù)據的數(shù)據開發(fā)工程師、大數(shù)據分析師、數(shù)據架構師、大數(shù)據后臺開發(fā)工程師、算法工程師等多個方向。因此需要高校和企業(yè)共同努力去培養(yǎng)和挖掘。目前最大的問題是很多高校缺乏大數(shù)據，所以擁有大數(shù)據的企業(yè)應該與學校聯(lián)合培養(yǎng)人才。

　　挑戰(zhàn)七：數(shù)據開放與隱私的權衡

　　在大數(shù)據應用日益重要的今天，數(shù)據資源的開放共享已經成為在數(shù)據大戰(zhàn)中保持優(yōu)勢的關鍵。商業(yè)數(shù)據和個人數(shù)據的共享應用，不僅能促進相關產業(yè)的發(fā)展，也能給我們的生活帶來巨大的便利。由于政府、企業(yè)和行業(yè)信息化系統(tǒng)建設往往缺少統(tǒng)一規(guī)劃，系統(tǒng)之間缺乏統(tǒng)一的標準，形成了眾多“信息孤島”，而且受行政壟斷和商業(yè)利益所限，數(shù)據開放程度較低，這給數(shù)據利用造成極大障礙。另外一個制約我國數(shù)據資源開放和共享的一個重要因素是政策法規(guī)不完善，大數(shù)據挖掘缺乏相應的立法。無法既保證共享又防止濫用。因此，建立一個良性發(fā)展的數(shù)據共享生態(tài)系統(tǒng)，是我國大數(shù)據發(fā)展需要邁過去的一道砍。同時，開放與隱私如何平衡，也是大數(shù)據開放過程中面臨的最大難題。如何在推動數(shù)據全面開放、應用和共享的同時有效地保護公民、企業(yè)隱私，逐步加強隱私立法，將是大數(shù)據時代的一個重大挑戰(zhàn)。

　　大數(shù)據發(fā)展趨勢

　　雖然大數(shù)據仍在起步階段，存在諸多挑戰(zhàn)，但未來的發(fā)展依然非常樂觀。大數(shù)據的發(fā)展呈現(xiàn)八大趨勢：數(shù)據資源化，將成為最有價值的資產;大數(shù)據在更多的傳統(tǒng)行業(yè)的企業(yè)管理落地;大數(shù)據和傳統(tǒng)商業(yè)智能融合，行業(yè)定制化解決方案將涌現(xiàn);數(shù)據將越來越開放，數(shù)據共享聯(lián)盟將出現(xiàn);大數(shù)據安全越來越受重視，大數(shù)據安全市場將愈發(fā)重要;大數(shù)據促進智慧城市發(fā)展，為智慧城市的引擎;大數(shù)據將催生一批新的工作崗位和相應的專業(yè);大數(shù)據在多方位改善我們的生活。

　　趨勢一：數(shù)據資源化，將成為最有價值的資產

　　隨著大數(shù)據應用的發(fā)展，大數(shù)據價值得以充分的體現(xiàn)，大數(shù)據在企業(yè)和社會層面成為重要的戰(zhàn)略資源，數(shù)據成為新的戰(zhàn)略制高點，是大家搶奪的新焦點?！度A爾街日報》在一份題為《大數(shù)據，大影響》的報告宣傳，數(shù)據已經成為一種新的資產類別，就像貨幣或黃金一樣。Google、Facebook、亞馬遜、騰訊、百度、阿里巴巴和360等企業(yè)正在運用大數(shù)據力量獲得商業(yè)上更大的成功，并且金融和電信企業(yè)也在運用大數(shù)據來提升自己的競爭力。我們有理由相信大數(shù)據將不斷成為機構和企業(yè)的資產，成為提升機構和企業(yè)競爭力的有力武器。

　　趨勢二：大數(shù)據在更多的傳統(tǒng)行業(yè)的企業(yè)管理落地

　　一種新的技術往往在少數(shù)行業(yè)應用取得了好的效果，對其他行業(yè)就有強烈的示范效應。目前大數(shù)據在大型互聯(lián)網企業(yè)已經得到較好的應用，其他行業(yè)的大數(shù)據尤其是電信和金融也逐漸在多種應用場景取得效果。因此，我們有理由相信，大數(shù)據作為一種從數(shù)據中創(chuàng)造新價值的工具，將會在許多行業(yè)的企業(yè)得到應用，帶來廣泛的社會價值。大數(shù)據將在幫助企業(yè)更好的理解和滿足客戶需求和潛在需求，更好的應用在業(yè)務運營智能監(jiān)控、精細化企業(yè)運營、客戶生命周期管理、精細化營銷、經營分析和戰(zhàn)略分析等方面。企業(yè)管理既有藝術也有科學，相信大數(shù)據在科學管理企業(yè)方面有更顯著的促進，讓更多擁抱大數(shù)據的企業(yè)實現(xiàn)智慧企業(yè)管理。

　　趨勢三：大數(shù)據和傳統(tǒng)商業(yè)智能融合，行業(yè)定制化解決方案將涌現(xiàn)

　　來自傳統(tǒng)商業(yè)智能領域者將大數(shù)據當成一個新增的數(shù)據源，而大數(shù)據從業(yè)者則認為傳統(tǒng)商業(yè)智能只是其領域中處理少量數(shù)據時的一種方法。大數(shù)據用戶更希望能獲得一種整體的解決方案，即不僅要能收集、處理和分析企業(yè)內部的業(yè)務數(shù)據，還希望能引入互聯(lián)網上的網絡瀏覽、微博、微信等非結構化數(shù)據。除此之外，還希望能結合移動設備的位置信息，這樣企業(yè)就可以形成一個全面、完整的數(shù)據價值發(fā)展平臺。畢竟，無論是大數(shù)據還是商業(yè)智能，目的都是為分析服務的，數(shù)據全面整合起來，更有利于發(fā)現(xiàn)新的商業(yè)機會，這就是大數(shù)據商業(yè)智能。同時，由于行業(yè)的差異性，很難研發(fā)出一套適用于各行業(yè)的大數(shù)據商業(yè)智能分析系統(tǒng)，因此，在一些規(guī)模較大的行業(yè)市場，大數(shù)據服務提供商將會以更加定制化的商業(yè)智能解決方案提供大數(shù)據服務。我們相信更多的大數(shù)據商業(yè)智能定制化解決方案將在電信、金融、零售等行業(yè)出現(xiàn)。

　　趨勢四：數(shù)據將越來越開放，數(shù)據共享聯(lián)盟將出現(xiàn)

　　大數(shù)據越關聯(lián)越有價值，越開放越有價值。尤其是公共事業(yè)和互聯(lián)網企業(yè)的數(shù)據開放數(shù)據將越來越多。我們看到，美國、英國、澳大利亞等國家的政府都在政府和公共事業(yè)上的數(shù)據做出努力。而國內的一些城市和部門也在逐漸開展數(shù)據開放的工作。比如北京市在2012年就開始試運行政務數(shù)據資源網，在2013年年底正式開放;上海在2012年啟動了政府數(shù)據資源開放試點工作，數(shù)據涉及地理位置、交通、經濟統(tǒng)計和資格資質等數(shù)據;2014年，貴州省也加入數(shù)據開放之列，10月份云上貴州正式上線。對于不同的行業(yè)，數(shù)據越共享也是越有價值。如果每一個醫(yī)院想獲得更多病情特征庫以及藥效信息，那么就需要全國，甚至全世界的醫(yī)療信息共享，從而可以通過平臺進行分析，獲取更大的價值。我們相信數(shù)據會呈現(xiàn)一種共享的趨勢，不同領域的數(shù)據聯(lián)盟將出現(xiàn)。

　　趨勢五：大數(shù)據安全越來越受重視，大數(shù)據安全市場將愈發(fā)重要

　　隨著數(shù)據的價值的越來越重要，大數(shù)據的安全穩(wěn)定也將會逐漸被重視。網絡和數(shù)字化生活也使得犯罪的分子更容易獲取關于他人的信息，也有更多的騙術和犯罪手段出現(xiàn)，所以，在大數(shù)據時代，無論對于數(shù)據本身的保護，還是對于由數(shù)據而演變的一些信息的安全，對大數(shù)據分析有較高要求的企業(yè)將至關重要。大數(shù)據安全是跟大數(shù)據業(yè)務相對應的，與傳統(tǒng)安全相比，大數(shù)據安全的最大區(qū)別是安全廠商在思考安全問題的時候首先要進行業(yè)務分析，并且找出針對大數(shù)據的業(yè)務的威脅，然后提出有針對性的解決方案。比如，對于數(shù)據存儲這個場景，目前很多企業(yè)采用開源軟件如Hadoop技術來解決大數(shù)據問題，由于其開源性，但是其安全問題也是突出的。因此，市場需要更多專業(yè)的安全廠商針對不同的大數(shù)據安全問題來提供專業(yè)的服務。

　　趨勢六：大數(shù)據促進智慧城市發(fā)展，為智慧城市的引擎

　　隨著大數(shù)據的發(fā)展，大數(shù)據在智慧城市將發(fā)揮著越來越重要的作用。由于人口聚集給城市帶來了交通、醫(yī)療、建筑等各方面的壓力，需要城市能夠更合理地進行資源布局和調配，而智慧城市正是城市治理轉型的最優(yōu)解決方案。智慧城市是通過物與物、物與人、人與人的互聯(lián)互通能力、全面感知能力和信息利用能力，通過物聯(lián)網、移動互聯(lián)網、云計算等新一代信息技術，實現(xiàn)城市高效的政府管理、便捷的民生服務、可持續(xù)的產業(yè)發(fā)展。智慧城市相對于之前數(shù)字城市概念，最大的區(qū)別在于對感知層獲取的信息進行了智慧的處理。由城市數(shù)字化到城市智慧化，關鍵是要實現(xiàn)對數(shù)字信息的智慧處理，其核心是引入了大數(shù)據處理技術。大數(shù)據是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧醫(yī)療、智慧城管等，都是以大數(shù)據為基礎的的智慧城市應用領域。

　　趨勢七：大數(shù)據將催生一批新的工作崗位和相應的專業(yè)

　　一個新行業(yè)的出現(xiàn)，必將在工作職位方面有新的需求，大數(shù)據的出現(xiàn)也將推出一批新的就業(yè)崗位，例如，大數(shù)據分析師、數(shù)據管理專家、大數(shù)據算法工程師、數(shù)據產品經理等等。具有有豐富經驗的數(shù)據分析人才將成為稀缺的資源，數(shù)據驅動型工作將呈現(xiàn)爆炸式的增長。而由于有強烈的市場需求，高校也將逐步開設大數(shù)據相關的專業(yè)，以培養(yǎng)相應的專業(yè)人才。企業(yè)也將和高校緊密合作，協(xié)助高校聯(lián)合培養(yǎng)大數(shù)據人才。如2014年，IBM 全面推進與高校在大數(shù)據領域的合作，引入強大的研發(fā)團隊和業(yè)務伙伴，推動“大數(shù)據平臺”和“大數(shù)據分析”的面向行業(yè)產學研創(chuàng)新合作以及系統(tǒng)化知識體系建設和高價值人才培養(yǎng)，建設符合中國教學特色及人才需求的大數(shù)據相關學分課程，為未來建設特色專業(yè)方向做準備。

　　趨勢八：大數(shù)據在多方位改善我們的生活

　　大數(shù)據不僅用于企業(yè)和政府，也應用于我們的生活。在健康方面：我們可以利用智能手環(huán)監(jiān)測，對我們的睡眠模式來進行追蹤，了解睡眠質量;我們可以利用智能血壓計、智能心率儀遠程的監(jiān)控身在異地的家里老人的健康情況，讓遠在他方的外出工作者更加放心;在出行方面：我們可以利用智能導航出行GPS數(shù)據了解交通狀況，并根據擁堵情況進行路線實時調優(yōu)。在居家生活方面：大數(shù)據將成為智能家居的核心，智能家電實現(xiàn)了擬人智能，產品通過傳感器和控制芯片來捕捉和處理信息，可以根據住宅空間環(huán)境和用戶需求自動設置控制，甚至提出優(yōu)化生活質量的建議，如我們的冰箱可能會在每天一大早建議我們當天的菜譜。