“大數(shù)據(jù)(big data)”是什么?要回答這個問題首先要看看數(shù)據(jù)是怎樣產(chǎn)生的。
在信息化時代里,我們每個人都在貢獻(xiàn)數(shù)據(jù)。上網(wǎng)、打電話、發(fā)短信、聽歌、拍照片、發(fā)帖子、看視頻,都會產(chǎn)生數(shù)據(jù)。就像涓涓細(xì)流匯聚成江河湖海,“大數(shù)據(jù)”出現(xiàn)了。
近年來,數(shù)據(jù)大爆炸的速度快得驚人,馬云曾感慨地說:“大家還沒搞清PC的時候,移動互聯(lián)網(wǎng)來了,還沒搞清移動互聯(lián)網(wǎng)的時候,大數(shù)據(jù)時代來了?!?/span>
大數(shù)據(jù)時代來得太快,以至于人們對大數(shù)據(jù)的定義都有N多種。
按照美國國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)發(fā)布的研究報告的定義:“大數(shù)據(jù)是用來描述在我們網(wǎng)絡(luò)的、數(shù)字的、遍布傳感器的、信息驅(qū)動的世界中呈現(xiàn)出數(shù)據(jù)泛濫的常用詞語。大量數(shù)據(jù)資源為解決以前不可能解決的問題帶來了可能性。”
按照業(yè)界權(quán)威高德納咨詢公司(Gartner)的定義:“大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)?!?/span>
根據(jù)百度百科詞條的定義:“大數(shù)據(jù),或稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具,在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。”
“大數(shù)據(jù)”到底有多大?目前通行說法,“大數(shù)據(jù)”至少要達(dá)到PB量級。其中,1PB=22.3萬張DVD光盤的容量,相當(dāng)于800個人類大腦記憶總量,或90個人身體細(xì)胞數(shù)目總和。1PB的Mp3歌曲可以連續(xù)播放2000年。
美國互聯(lián)網(wǎng)數(shù)據(jù)中心指出,互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長50%,每兩年便將翻一番,而目前世界上90%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。全世界的工業(yè)設(shè)備、汽車、電表等設(shè)備上有著無數(shù)的數(shù)碼傳感器,隨時測量和傳遞著有關(guān)位置、運(yùn)動、震動、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化,也產(chǎn)生著海量的數(shù)據(jù)信息。
早在1980年,著名未來學(xué)家阿爾文·托夫勒便在《第三次浪潮》一書中,將大數(shù)據(jù)贊頌為“第三次浪潮的華彩樂章”。不過,大約從2009年開始,“163大數(shù)據(jù)”才成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。
如今,大數(shù)據(jù)技術(shù)可以幫助人們做很多以前做不到的事情。比如,國外某警察局利用大數(shù)據(jù)預(yù)測犯罪的發(fā)生幾率,可以精確到街區(qū)500平方英尺的范圍內(nèi),有針對性地預(yù)防,從而使該地區(qū)犯罪率明顯下降;某統(tǒng)計學(xué)家利用大數(shù)據(jù)預(yù)測總統(tǒng)選舉結(jié)果;某大學(xué)利用手機(jī)定位數(shù)據(jù)和交通數(shù)據(jù)建立城市規(guī)劃等。
大數(shù)據(jù)時代,海量的數(shù)據(jù)已經(jīng)成為一種“礦藏”。據(jù)測算,3年前,2011年全球大數(shù)據(jù)產(chǎn)值51億美元;預(yù)計3年后,2017年全球大數(shù)據(jù)產(chǎn)值將達(dá)到534億美元。目前大量“掘金者”在數(shù)據(jù)的海洋里挖掘、采集、提純、分析,從而得出有價值的信息提供給政務(wù)的、商務(wù)的以及各個領(lǐng)域的買家,從而形成了大數(shù)據(jù)產(chǎn)業(yè)生態(tài)圈。
書同文,車同軌。任何新興產(chǎn)業(yè)要健康發(fā)展,首先要盡快建立大家共同遵守的標(biāo)準(zhǔn)。目前國內(nèi)外大數(shù)據(jù)標(biāo)準(zhǔn)化工作已經(jīng)起步。全國信標(biāo)委已經(jīng)對標(biāo)準(zhǔn)化工作進(jìn)行梳理,從基礎(chǔ)、技術(shù)、產(chǎn)品、應(yīng)用等不同角度及進(jìn)行分析,形成了大數(shù)據(jù)標(biāo)準(zhǔn)體系框架,并發(fā)布了《大數(shù)據(jù)標(biāo)準(zhǔn)化白皮書》。