要想考察巨量資料最好同時考察巨量資料背後的技術、商業和社會維度。從發展成熟度來看，技術維度走的最遠、商業維度有所發展但不算全面成熟，社會維度發展最差。所以雖然已經談了很久巨量資料，但除了孕育出巨量資料自身的幾個領域比如搜索等，其它領域卻並沒有從巨量資料中獲得可見的收益。大多時候人們還是處在覺得這裡肯定有金子，但需要更多的耐心的狀態。這篇文章則嘗試對巨量資料本身的特徵做點挖掘，對未來的發展趨勢做點預測。
巨量資料上的深度和廣度
如果把巨量資料對應到海量的資料，那它就是非常含糊的概念，相當於變成信息的同義詞，顯然也就很難回答信息到底能幹什麼這樣的問題。
這時候為了推進思考通常需要先分類。如果把時間空間作為最基本的視角，那首先要區分的就是巨量資料的深度和廣度。從時間的角度看巨量資料是完整的歷史，從空間的角度看巨量資料是全球活動的痕迹。前者可以看成一種深度，後者可以看成一種廣度，不同的場景對深度和廣度的側重有所不同。
對於有些垂直的行業，比如醫療，巨量資料的深度更重要，所有的歷史都可以在資料上得到找到之後，人們就可以更好的認知並優化相應的行業。
對社會而言，很多時候廣度則更重要，具體到某個場景我們只有一鱗半爪的消息，但當這種信息足夠多，範圍足夠廣，就有可能描述出相對及時的全貌。經常舉的Google預測傳染病的例子依賴的就是這種廣度。
這點決定了巨量資料的應用發展趨勢，在深度重要的地方，公司這類組織需要成為主體，困難是如何跨越資料所有權的邊界。對於醫院而言，顯然把所有治療案例資料化並共享是有好處的，但如果只有一個醫院這麼做，那對這一家醫院而言更多的可能是隱私上反彈所帶來的壞處。
在廣度重要的地方，雖然在搜索這樣的領域裡公司也可以受益，但真正可以從巨量資料全面受益的機構其實是政府。資料越廣，其所描述的主體就越大，而如果描述的是整個社會，那顯然應該是社會的主要責任人會從中受益。這是個常識問題，就和看病的時候不會吃了醫生給別人開的葯自己反倒好了差不多。有的時候央視會播放百度做的春節期間人員流動圖，這件事情也正好可以從側面說明這問題。這種人員流動地圖對能做出地圖的人公司幫助遠沒有對政府的幫助大。
簡單總結下就是：深度和廣度兩個方向對資料的要求不同，前者需要更為詳盡、有質量的資料源後者則對此要求不高，但兩者在應用的時候都會面臨付出回報不對等問題。巨量資料傾向於描述整體，而有能力收集或處理巨量資料的往往是個體，個體的回報在整體的提升中並不容易獲得清晰體現。
所以說現在巨量資料發展的瓶頸不是技術，而是背後所需要的分配關係的建立。這種關係理不順，資料就會停留在孤島層面，每個組織都有自己的東西，並把它命名為「巨量資料」。而為了理順這種關係則要回到一個非常經典的問題，「公地」到底可不可以建立。
資料公地的設想
巨量資料其實有點像公地，在經濟學裡非常出名的一個論點是公地悲劇。《美國經濟史》舉了一個非常易懂的例子來說什麼是公地悲劇：
…這些經濟推理命題有利於解釋集體所有制和產出的共享（平分或固定份額）如何導致「免費搭車者」問題。為了說明這一點，考慮共享土地所有權，且共同生產了100蒲式耳玉米的10個工人，平均每人消費10蒲式耳玉米。假設一個工人開始偷懶並將其勞動努力減半，從而導致產出減少5蒲式耳。由於產出共享制度的安排，偷懶者的消費量和其它工人一樣，現在都是9.5蒲式耳。儘管他的努力已經下降了50%，但他的消費量只下降了5%。偷懶者是在搭他人勞動的便車。…
這背後有非常深刻的人性問題，即使我們可以通過努力協作創造更多的財富，個人也可以從中分享更多，但在群體里明顯的個人傾向則是自己工作更少但分享更多。這與囚徒困境其實是相通的。
基於實物的世界裡眼下看不到徹底解決這問題的方法，只能依賴於某種被大家基本認可的分配秩序，比如：以前的血統現在的物競天擇，但基於比特的數字財富眼下看卻有解決這問題的可能。
基於比特的資料與實物最大的區別是資料並非是你拿走我就沒有的東西，並且硬體的價格在飛速下降，開源又使資料的訪問工具基本免費。這幾者疊加在一起，使資料公地成為可能。
這裡面很有意思的問題是如果大家更在意我拿到的東西是不是絕對值變大了那資料公地的形成可能性就大些，因為如果存在資料公地，那每個人(企業)一定收穫更多，但如果大家更在意我是不是比你多，那資料公地的建設就會多很多障礙，因為公地其實是讓相關人員站到同樣的競爭起點上。
巨量資料的問題，在資料分析上是技術問題，但在資料源上其實是社會經濟問題，後者更難，所以巨量資料應用的發展不取決於技術的發展而取決於社會經濟方式的變革速度。在有限的領域裡，比如搜索、電商、雲計算，技術已經得到比較充分的發展，眼下來看誰付出誰受益的問題是把小資料變成巨量資料過程中最主要的問題。
巨量資料的路往那裡走？
資料的內在發展動力是資料越全價值越大，其實這也是一種網路效應，這種內在動力導致宏觀來看資料所有權的發展只有兩種趨勢：
一種是像現在移動端一樣，每個人都有自己的私有資料源，接下來開始你死我活的競爭，最終有一家活下來，這也可以達成資料統一的終極目標。
另一種則是在競爭中開始聯合，建設上面所說的資料公地。
如前所述行業資料和全社會的資料性質上差別很大所以要分開來探討。
對於行業資料而言，競爭對手間彼此的坦誠合作除非有極為特別的人物出現，否則是不太可能的。這種情況下最簡單的辦法是引入第三方。
比如說每家運營商都握有幾乎所有網民的行動資料，但要想讓運營商彼此間開誠布公的合作把這些資料整合在一起創造某種價值，這就很難。這時候如果有第三方介入，制定好利益分配方案那就是可能的。
如果這點可以達成，那唯一的關鍵點就是相應的商業模式是不是可以超越資料處理的成本。這點必須強調下的是，巨量資料的價值密度是很稀疏的，很多東西有價值但並不一定值得做，視頻網站之所以賺不到錢一個關鍵原因就是帶寬和存儲的成本比較高，而對巨量資料而言商業模式找不好，情形可能比視頻網站還差。挖礦的成本怎麼也要小於挖礦所得挖礦才有價值。
上述問題在行業資料里可能問題還不是太大，一般來講行業資料的價值密度終究會大一些，並且因為相對比較垂直，總量終究有限制。所以巨量資料的行業應用比較容易發展。
但對社會性的資料，這在很多時候就是個問題。我們都知道樣本的全面性比資料的多少更有價值，但是如果多是確保樣本全面性的唯一手段的話，那就意味必須有全的資料做一件事情才有意義。
社會化的資料有兩種應用方向，一種就是企業可以搞定的比如Google，一種則是屬於社會層面，很難單獨屬於某個企業的比如智慧城市相關的人的活動資料。後者則需要上面所說的資料公地來做支撐。
從資料的視角來看，現在有兩種資料存放形式：一種是Google這樣的企業擁有整個社會某個橫截面上的全部資料，這應該是種特例，並且資料會局限在公開信息；一種則是被割裂的各種與人行為相關的資料，比如購物相關的在電商，與人相關的在社交網路和IM，線下服務相關的則在O2O企業，鐵路相關的在12306等。Google這種擁有全的資料，但並不擁有人的行為，所以說Google這種企業相當於擁有整個社會的一個橫截面的資料。而所有其它企業則只擁有某個垂直領域的資料。
如果依賴於企業做這種資料統一的嘗試，在前者就會有投資200億做O2O類的舉動，因為這會補全資料，在後者就會有做電商的想做社交，做社交的想做電商這類事發生。類似的故事還可以在終端上發生，所有這些行為的終極目標都是一家企業搞定所有這些事情，但這是不可能的，這種不可能還不單是經濟原因。而資料不能打通，那就只能在割裂的資料上做自以為是巨量資料的巨量資料。
所以說這骨子裡是資料公地究竟能不能建立的問題，而要想建立資料公地，那至少要解決誰來做的問題，對此開源給出的啟示有兩點非常關鍵：第一這不能是個盈利組織；第二這要能獲得眾多企業的支持。因為資料會牽涉隱私，所以同開源相比那就一定還要有比較清晰的界定資料使用的規則。
小結
在有一種切實的辦法解決資料所有和使用權之前，巨量資料的應用應該還都是局部的。因為它的深度應用牽涉社會很多部分的彼此協調，所以這個過程可能是非常漫長的。這裡面有意思的事情是，巨量資料的出現直接推動了機器智能的發展，而機器智能產生影響的速度可能會遠快於巨量資料本身。
4500+企業選擇FineReport報表與 BI 商業智慧工具【免費下載】
opensource開發，類excel設計，全方位異質資料庫整合，資料填報、Flash列印、權限控制、行动應用、客制化、交互分析、報表協同作業管理系統。
分享自：李志勇
