我們正從一個低信息的時代，走進一個高信息時代。

低信息時代，我們看到的東西其實充滿了偏見和未知，比如在沒有谷歌地圖、百度地圖之前，我們并不知道今天是否會堵車，交通狀況到底如何。

我們擁有了前所未有的深度學習算法，也擁有前所未有的數(shù)據(jù)。

當我們把數(shù)據(jù)連接起來之后，我們看到的世界，與以前完全不同。那是一個以往并沒有感知到的，比較客觀的真實世界。

在高信息的時代，我們可以還原一個真實、客觀的世界，可以對自己、企業(yè)、城市做出一個更好的一個預判。

但現(xiàn)實與理想總有差距，我們發(fā)現(xiàn)，在實際解決某個問題的時候，我們所擁有的數(shù)據(jù)是遠遠不夠的。

每天每個企業(yè)里面收集了大量的數(shù)據(jù)回來，其中有很多是垃圾數(shù)據(jù)，并不能使用。

 

 

一面是龐大的數(shù)據(jù)在每天產(chǎn)生，一面是數(shù)據(jù)嚴重不夠使用，為什么會出現(xiàn)這種兩極化情況呢?

過去在做數(shù)據(jù)的時候，我們有兩套打法，其中一種打法是，從問題出發(fā)去找足夠的數(shù)據(jù)來解決問題。比如淘寶要設計一個推薦引擎，最好的方法是同時拿到淘寶和天貓的數(shù)據(jù)，只有這樣才能達到很好的效果。

所以解決問題的邏輯是：因為需要做推薦引擎，所以我要打通數(shù)據(jù)，要有一個把數(shù)據(jù)匯總的方法或者架構。這是以“用”作為前提，打通數(shù)據(jù)、匯聚數(shù)據(jù)，即從問題出發(fā)看數(shù)據(jù)。

當數(shù)據(jù)量足夠的時候，我們也可以反過來看。比如我們發(fā)現(xiàn)，在淘寶里面居然有人在11月買夏天的衣服。我們看了數(shù)據(jù)之后才發(fā)現(xiàn)，這些人其實在三四線城市里做小批發(fā)的，他們并不是純C端的人。所以，當你沒有這么大量的數(shù)據(jù)的時候，你是沒有辦法去還原客觀事實的。

 

 

所以匯—通—用，到用—通—匯，這種兩種打法所需要的數(shù)據(jù)架構是不一樣的。

當問題很清楚，數(shù)據(jù)很中心化時，數(shù)據(jù)量越大，我們對一個東西的判斷的精準度會越高。

反過來說，問題是很清晰的，但是數(shù)據(jù)很離散的時候，我們治理數(shù)據(jù)的成本就會升高，把碎片化的數(shù)據(jù)組織在一起，這個成本比產(chǎn)出的價值可能更貴。

 

 

今天，我們已經(jīng)進入了一個數(shù)字化的社會。目前，全世界有77億人口，其中66%在使用移動手機，有56%是互聯(lián)網(wǎng)的用戶，社交媒體、移動社交的用戶也幾近過半。線上購物、線上視頻、音樂，幾乎每個人都用過此類應用，可以說，在這個地球上有一半的人生活在數(shù)字化的世界里。

 

 

我們回顧這十幾年整個大數(shù)據(jù)的進程，可以分為幾個階段——

2009年，我們開始聽見大數(shù)據(jù)這個詞;2013年、2014年，這是數(shù)據(jù)的蠻荒的年代，很多大數(shù)據(jù)產(chǎn)生并被企業(yè)使用，甚至從來沒有用過數(shù)據(jù)的企業(yè)，開始會使用大數(shù)據(jù)并從中得到價值;2017年、2018年，我們已經(jīng)開始認知數(shù)據(jù)安全這一問題，我們意識到，如果要整個數(shù)據(jù)行業(yè)、數(shù)據(jù)科學的可持續(xù)發(fā)展的話，我們必須要有更好的監(jiān)管。

2012年，十二五國家的戰(zhàn)略里面，已經(jīng)開始對整個人工智能、大數(shù)據(jù)產(chǎn)業(yè)給予一些指導方針。

一直到2015年，幾乎已經(jīng)形成了一個中國大數(shù)據(jù)的頂層架構。

我們可以很明確地認識到，在整個智能+時代到底可以做什么。直到此時，智能手機的滲透率已經(jīng)非常高，同樣還有5G網(wǎng)絡和云計算。

 

 

未來我們需要做些什么?

我們發(fā)現(xiàn)有一個領域是缺位的——開源技術生態(tài)，國內(nèi)與美國相比，還差得很遠。而開源技術生態(tài)的缺位，使得我們無法出現(xiàn)類似Hadoop 、Spark等等可以影響到數(shù)據(jù)科學與人工智能的平臺。

另一個值得關注的缺位是數(shù)據(jù)的監(jiān)管。

很多互聯(lián)網(wǎng)的圖片被拿去做深度學習，里面也許會有一張你的照片，但是你并不知道你的照片被人用了，你連沒有反對的機會都沒有。當無人汽車遇到突發(fā)狀況的時候，如何處理，決策權也不在你。

如果說這些離生活太遙遠，那么下面的案例就與我們息息相關。

第一是排序系統(tǒng)。當你在查找某項信息的時候，為什么你需要的沒有排在前面，反而是與它不相關的會排得更高呢?

第二是推薦系統(tǒng)。為什么一些人會被推薦到某家公司面試，而另一些人卻不在里面?其實這種算法每天都在幫助你獲得更好的工作，或者是讓你沒有辦法獲得某種工作。

第三，協(xié)同過濾。為什么上個月忘了交電話費，突然之間你的某某指數(shù)就變低了?之后連貸款的能力也變小了呢?這些其實是我們無法控制的，卻與我們未來的生活息息相關。

某種角度上來說，人工智能和大數(shù)據(jù)其實充滿了傲慢，充滿了偏見。一方面它還原了一個更真實的世界，另一方面，它又導致了一個更加“偏見”的世界。我們在未來要不要像這個人一樣拿把傘，讓這些東西不會傷害我們就足夠呢?

也許我們今天沒有答案，但是我們已經(jīng)看到了一些好的方面，有的公司已經(jīng)推出這樣的廣告(這也許是最微妙而美好的狀態(tài))——

 

 

Your phone knows a lot about you, but we don’t.

你的手機知道很多關于你的數(shù)據(jù)，但我們不知道。

作者：車品覺

標簽： 垃圾數(shù)據(jù)  數(shù)據(jù)架構

版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。