在農(nóng)業(yè)領域,硅谷有個氣候公司,從美國氣象局等數(shù)據(jù)庫中獲得幾十年的天氣數(shù)據(jù),將各地降雨、氣溫、土壤狀況與歷年農(nóng)作物產(chǎn)量的相關度做成精密圖表,預測農(nóng)場來年產(chǎn)量,向農(nóng)戶出售個性化保險。在商業(yè)領域,沃爾瑪公司通過分析銷售數(shù)據(jù),了解顧客購物習慣,得出適合搭配在一起出售的商品,還可從中細分顧客群體,提供個性化服務。在金融領域,華爾街“德溫特資本市場”公司分析3.4億微博賬戶留言,判斷民眾情緒,依據(jù)人們高興時買股票、焦慮時拋售股票的規(guī)律,決定公司股票的買入或賣出。阿里公司根據(jù)在淘寶網(wǎng)上中小企業(yè)的交易狀況篩選出財務健康和講究誠信的企業(yè),對他們發(fā)放無需擔保的貸款。目前已放貸300多億元,壞賬率僅0.3%。
在醫(yī)療保健領域,“谷歌流感趨勢”項目依據(jù)網(wǎng)民搜索內(nèi)容分析全球范圍內(nèi)流感等病疫傳播狀況,與美國疾病控制和預防中心提供的報告對比,追蹤疾病的精確率達到97%。社交網(wǎng)絡為許多慢性病患者提供臨床癥狀交流和診治經(jīng)驗分享平臺,醫(yī)生借此可獲得在醫(yī)院通常得不到的臨床效果統(tǒng)計數(shù)據(jù)。基于對人體基因的大數(shù)據(jù)分析,可以實現(xiàn)對癥下藥的個性化治療。在社會安全管理領域,通過對手機數(shù)據(jù)的挖掘,可以分析實時動態(tài)的流動人口來源、出行,實時交通客流信息及擁堵情況。利用短信、微博、微信和搜索引擎,可以收集熱點事件,挖掘輿情,還可以追蹤造謠信息的源頭。美國麻省理工學院通過對十萬多人手機的通話、短信和空間位置等信息進行處理,提取人們行為的時空規(guī)律性,進行犯罪預測。在科學研究領域,基于密集數(shù)據(jù)分析的科學發(fā)現(xiàn)成為繼實驗科學、理論科學和計算科學之后的第四個范例,基于大數(shù)據(jù)分析的材料基因組學和合成生物學等正在興起。
麥肯錫公司2011年報告推測,如果把大數(shù)據(jù)用于美國的醫(yī)療保健,一年產(chǎn)生潛在價值3000億美元,用于歐洲的公共管理可獲得年度潛在價值2500億歐元;服務提供商利用個人位置數(shù)據(jù)可獲得潛在的消費者年度盈余6000億美元;利用大數(shù)據(jù)分析,零售商可增加運營利潤60%,制造業(yè)設備裝配成本會減少50%。
大數(shù)據(jù)技術的挑戰(zhàn)和啟示
目前,大數(shù)據(jù)技術的運用仍存在一些困難與挑戰(zhàn),體現(xiàn)在大數(shù)據(jù)挖掘的四個環(huán)節(jié)中。首先在數(shù)據(jù)收集方面。要對來自網(wǎng)絡包括物聯(lián)網(wǎng)和機構信息系統(tǒng)的數(shù)據(jù)附上時空標志,去偽存真,盡可能收集異源甚至是異構的數(shù)據(jù),必要時還可與歷史數(shù)據(jù)對照,多角度驗證數(shù)據(jù)的全面性和可信性。其次是數(shù)據(jù)存儲。要達到低成本、低能耗、高可靠性目標,通常要用到冗余配置、分布化和云計算技術,在存儲時要按照一定規(guī)則對數(shù)據(jù)進行分類,通過過濾和去重,減少存儲量,同時加入便于日后檢索的標簽。第三是數(shù)據(jù)處理。有些行業(yè)的數(shù)據(jù)涉及上百個參數(shù),其復雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身,更體現(xiàn)在多源異構、多實體和多空間之間的交互動態(tài)性,難以用傳統(tǒng)的方法描述與度量,處理的復雜度很大,需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理,利用上下文關聯(lián)進行語義分析,從大量動態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息,并導出可理解的內(nèi)容。第四是結果的可視化呈現(xiàn),使結果更直觀以便于洞察。目前,盡管計算機智能化有了很大進步,但還只能針對小規(guī)模、有結構或類結構的數(shù)據(jù)進行分析,談不上深層次的數(shù)據(jù)挖掘,現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。
大數(shù)據(jù)技術的運用前景是十分光明的。當前,我國正處在全面建成小康社會征程中,工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務很重,建設下一代信息基礎設施,發(fā)展現(xiàn)代信息技術產(chǎn)業(yè)體系,健全信息安全保障體系,推進信息網(wǎng)絡技術廣泛運用,是實現(xiàn)四化同步發(fā)展的保證。大數(shù)據(jù)分析對我們深刻領會世情和國情,把握規(guī)律,實現(xiàn)科學發(fā)展,做出科學決策具有重要意義,我們必須重新認識數(shù)據(jù)的重要價值。