轉眼間，自己研究大數據已經五年了。應媒體之約，做個官樣文章。原載《中國電子報》（2017-8-22），修訂后重發(fā)。
過去五年，大數據理念已經深入人心，“用數據說話”的已經成為所有人的共識，數據成了堪比石油、黃金、鉆石的戰(zhàn)略資源。人們對大數據的認識也更加具體化，數據無所謂大不大，有用最重要；數據是基礎，但分析挖掘和應用才是根本。
五年來，不僅對大數據的認識經歷了螺旋上升，而且實踐逐漸落地，國內的大數據產業(yè)政策日漸完善，技術、應用和產業(yè)都取得了非常明顯的進展。
1.政策持續(xù)完善。在頂層設計上，國務院《促進大數據發(fā)展行動綱要》對政務數據共享開放、產業(yè)發(fā)展和安全三方面做了總體部署。數據開放共享方面的《政務信息資源共享管理暫行辦法》、產業(yè)方面的工信部《大數據產業(yè)發(fā)展規(guī)劃(2016-2020)》、數據安全方面的《中華人民共和國網絡安全法》等也都已出臺。衛(wèi)計、農業(yè)、檢察、稅務等部門還出臺了領域大數據發(fā)展的具體政策。此外，17個省市發(fā)布大數據發(fā)展規(guī)劃，十幾個省市設立了大數據管理局，8個國家大數據綜合試驗區(qū)、11個國家工程實驗室啟動建設。可以說，適應大數據發(fā)展的政策環(huán)境已經初步形成。
2.技術穩(wěn)步提升。開源給國內產業(yè)界提供了一個跳板，讓我們與國際上大數據技術先進水平的差距在不斷縮小。2014-2016年，百度、阿里和騰訊先后拿下國際上知名的Sort Benchmark大賽冠軍。這個競賽全面比拼分布式系統(tǒng)軟件架構能力，包括如海量數據分布式存儲、計算任務切片調度、節(jié)點通信協(xié)調同步、數據計算監(jiān)控、硬件架構等方面的能力。而這一賽事2014年之前的冠軍均被微軟、Yahoo、亞馬遜等包攬。這從一個側面反映了我國產業(yè)界在大大數據處理技術水平的快速提升。與此同時，還有像一批國產化的商用大數據平臺產品崛起，底層技術越來越扎實。
3.應用逐漸落地。比如，在金融領域，2016年商業(yè)銀行全面部署大數據基礎設施，五大國有銀行、股份制、城商行和農商行已經逐步開始了從傳統(tǒng)數據倉庫架構向大數據平臺架構的轉型改造過程，基于大數據風控的“秒貸”業(yè)務越來越普及，不僅提升了貸款效率，還擴大的普惠金融的覆蓋面。在電信領域，中國電信的大數據平臺已經擴展到31個省，匯聚了全國的基礎數據形成了“天翼大數據”服務能力；中國聯(lián)通也實現(xiàn)了數據整合，大數據產品體系已經推出征信、指數、營銷等六大產品種類。
4.產業(yè)快速崛起。圍繞數據的產生、匯聚、處理、應用等環(huán)節(jié)的產業(yè)生態(tài)從無到有，不斷壯大。中國信息通信研究院發(fā)布的《中國大數據產業(yè)調查報告（2017年）》顯示，2016年中國大數據核心產業(yè)（軟件、硬件及服務）的市場規(guī)模為168億元，較2015年增速達45%，預計到2020年將達到578億元。2016年獲得融資的企業(yè)數量達到400多家，2017年前三個月就有150多家企業(yè)獲得融資，其中半數為中國公司，資本源源不斷的投向大數據領域。
隨著新一代人工智能浪潮的興起，善于炒作者一定會迅速奔向下一個風口，估計大數據很快就要“退燒”了。不能怪大家不專一，只怪熱點輪動太快，讓人目不暇接。
大數據，代表了一種現(xiàn)象，即:數據的指數增長超過了人們管理、處理和應用數據的能力的增長，產生了一個“剪刀差”，而且這個“剪刀差”無疑將長期存在。無論是對一個國家還是一個企業(yè)，誰能在縮小大數據剪刀差上拔得頭籌，把數據用好，就能占有競爭優(yōu)勢。
在IT圈，五年已太長，離七年之癢不遠了，用我們領導的話說，要么成功，要么換殼。
五年又太短，大數據剛剛炒熱，前景還很廣闊，堅持下去才是真愛，前面還有很多問題（機遇）等著解決（捕獲），比如以下幾點：
1.打破數據孤島。人人都想要別人的數據，但都不愿意把自己的數據給別人，這是人的天性。以前信息系統(tǒng)建設都從一個個“煙囪”開始，數據缺乏互通的技術基礎，這卻是“人禍”。從國家層面到企業(yè)內部，情況大同小異。麥肯錫2016年底的一份報告顯示，大數據在很多領域沒有達到預期效果，很重要的原因就是數據割裂。這些年，推動數據開放共享的政策舉措在一直在加強，政策已經很給力了，但效果與預期相差甚遠，碰到了瓶頸。開放共享政策再往前“推”，仿佛遇到一堵高高的墻，這時就需要技術“拉”一把。的確，這些年數據共享技術供應有些滯后了。
未來，如果同態(tài)加密（homomorphic encryption）、差分隱私（differential privacy）、多方安全計算（secure multi-party computation）、零知識證明（zero-knowledge proof）等技術能取得突破，數據共享就能再前進一大步。區(qū)塊鏈的共享賬本、集體維護、難以篡改特性，也有望能助推數據共享。
2.數據資產管理。數據分析工作，往往有80%的時間和精力都耗費在搜集、清洗和加工數據上。數據質量不過關，也會讓數據分析效果大打折扣，甚至讓分析結果謬以千里。很多單位大數據應用效果不佳，多半問題出在數據管理上。大家都同意把數據當做資產，甚至認為有朝一日數據會計入資產負債表。但如果對比桌椅板凳這些實物資產，我們對數據資產的管理，還處于非常原始的階段。我們往往對自己的數據資產有哪些、有多少都不兩眼一抹黑，更別說數據質量、數據安全、資產評估、資產交換交易等精細管理、價值挖掘和持續(xù)運營了。
然而，數據資產管理不像數據分析挖掘那么光鮮亮麗，就像城市的“下水道工程”，短期只有投入看不見產出。但長期又不得不做，是戰(zhàn)略層面的事，當前不做未來返工的成本巨大。以后每個企業(yè)都將成為數據驅動的企業(yè)，打基礎的事情要盡早。
3.深化領域應用。雖然大數據的應用取得了一定進展，在互聯(lián)網、金融、電信等領域產生了實實在在的效益，醫(yī)療、工業(yè)領域也正在加速。但總體上只能說剛剛走出了小半步。一類是“平行替代”，如用金融和電信行業(yè)用Hadoop來重構原來的昂貴的數據倉庫。另一類則是“補課”，如政務、醫(yī)療、工業(yè)等領域，正在做的工作是在原有業(yè)務系統(tǒng)之外，新建本來早該建設的數據平臺。
這些大數據應用，顯然還不夠高大上，是物理反應，是量變而非質變，但的確也是發(fā)展必經的階段。隨著這些“替代”型或“補課”型應用的深入，未來業(yè)務與數據將加深融合，越來越多數據驅動的新模式、新業(yè)態(tài)值得所有人期待。也只有這樣，數據強國戰(zhàn)略才能落到實處。
