我們正從一個(gè)低信息的時(shí)代，走進(jìn)一個(gè)高信息時(shí)代。

低信息時(shí)代，我們看到的東西其實(shí)充滿了偏見(jiàn)和未知，比如在沒(méi)有谷歌地圖、百度地圖之前，我們并不知道今天是否會(huì)堵車，交通狀況到底如何。

我們擁有了前所未有的深度學(xué)習(xí)算法，也擁有前所未有的數(shù)據(jù)。

當(dāng)我們把數(shù)據(jù)連接起來(lái)之后，我們看到的世界，與以前完全不同。那是一個(gè)以往并沒(méi)有感知到的，比較客觀的真實(shí)世界。

在高信息的時(shí)代，我們可以還原一個(gè)真實(shí)、客觀的世界，可以對(duì)自己、企業(yè)、城市做出一個(gè)更好的一個(gè)預(yù)判。

但現(xiàn)實(shí)與理想總有差距，我們發(fā)現(xiàn)，在實(shí)際解決某個(gè)問(wèn)題的時(shí)候，我們所擁有的數(shù)據(jù)是遠(yuǎn)遠(yuǎn)不夠的。

每天每個(gè)企業(yè)里面收集了大量的數(shù)據(jù)回來(lái)，其中有很多是垃圾數(shù)據(jù)，并不能使用。

 

 

一面是龐大的數(shù)據(jù)在每天產(chǎn)生，一面是數(shù)據(jù)嚴(yán)重不夠使用，為什么會(huì)出現(xiàn)這種兩極化情況呢?

過(guò)去在做數(shù)據(jù)的時(shí)候，我們有兩套打法，其中一種打法是，從問(wèn)題出發(fā)去找足夠的數(shù)據(jù)來(lái)解決問(wèn)題。比如淘寶要設(shè)計(jì)一個(gè)推薦引擎，最好的方法是同時(shí)拿到淘寶和天貓的數(shù)據(jù)，只有這樣才能達(dá)到很好的效果。

所以解決問(wèn)題的邏輯是：因?yàn)樾枰�做推薦引擎，所以我要打通數(shù)據(jù)，要有一個(gè)把數(shù)據(jù)匯總的方法或者架構(gòu)。這是以“用”作為前提，打通數(shù)據(jù)、匯聚數(shù)據(jù)，即從問(wèn)題出發(fā)看數(shù)據(jù)。

當(dāng)數(shù)據(jù)量足夠的時(shí)候，我們也可以反過(guò)來(lái)看。比如我們發(fā)現(xiàn)，在淘寶里面居然有人在11月買夏天的衣服。我們看了數(shù)據(jù)之后才發(fā)現(xiàn)，這些人其實(shí)在三四線城市里做小批發(fā)的，他們并不是純C端的人。所以，當(dāng)你沒(méi)有這么大量的數(shù)據(jù)的時(shí)候，你是沒(méi)有辦法去還原客觀事實(shí)的。

 

 

所以匯—通—用，到用—通—匯，這種兩種打法所需要的數(shù)據(jù)架構(gòu)是不一樣的。

當(dāng)問(wèn)題很清楚，數(shù)據(jù)很中心化時(shí)，數(shù)據(jù)量越大，我們對(duì)一個(gè)東西的判斷的精準(zhǔn)度會(huì)越高。

反過(guò)來(lái)說(shuō)，問(wèn)題是很清晰的，但是數(shù)據(jù)很離散的時(shí)候，我們治理數(shù)據(jù)的成本就會(huì)升高，把碎片化的數(shù)據(jù)組織在一起，這個(gè)成本比產(chǎn)出的價(jià)值可能更貴。

 

 

今天，我們已經(jīng)進(jìn)入了一個(gè)數(shù)字化的社會(huì)。目前，全世界有77億人口，其中66%在使用移動(dòng)手機(jī)，有56%是互聯(lián)網(wǎng)的用戶，社交媒體、移動(dòng)社交的用戶也幾近過(guò)半。線上購(gòu)物、線上視頻、音樂(lè)，幾乎每個(gè)人都用過(guò)此類應(yīng)用，可以說(shuō)，在這個(gè)地球上有一半的人生活在數(shù)字化的世界里。

 

 

我們回顧這十幾年整個(gè)大數(shù)據(jù)的進(jìn)程，可以分為幾個(gè)階段——

2009年，我們開始聽見(jiàn)大數(shù)據(jù)這個(gè)詞;2013年、2014年，這是數(shù)據(jù)的蠻荒的年代，很多大數(shù)據(jù)產(chǎn)生并被企業(yè)使用，甚至從來(lái)沒(méi)有用過(guò)數(shù)據(jù)的企業(yè)，開始會(huì)使用大數(shù)據(jù)并從中得到價(jià)值;2017年、2018年，我們已經(jīng)開始認(rèn)知數(shù)據(jù)安全這一問(wèn)題，我們意識(shí)到，如果要整個(gè)數(shù)據(jù)行業(yè)、數(shù)據(jù)科學(xué)的可持續(xù)發(fā)展的話，我們必須要有更好的監(jiān)管。

2012年，十二五國(guó)家的戰(zhàn)略里面，已經(jīng)開始對(duì)整個(gè)人工智能、大數(shù)據(jù)產(chǎn)業(yè)給予一些指導(dǎo)方針。

一直到2015年，幾乎已經(jīng)形成了一個(gè)中國(guó)大數(shù)據(jù)的頂層架構(gòu)。

我們可以很明確地認(rèn)識(shí)到，在整個(gè)智能+時(shí)代到底可以做什么。直到此時(shí)，智能手機(jī)的滲透率已經(jīng)非常高，同樣還有5G網(wǎng)絡(luò)和云計(jì)算。

 

 

未來(lái)我們需要做些什么?

我們發(fā)現(xiàn)有一個(gè)領(lǐng)域是缺位的——開源技術(shù)生態(tài)，國(guó)內(nèi)與美國(guó)相比，還差得很遠(yuǎn)。而開源技術(shù)生態(tài)的缺位，使得我們無(wú)法出現(xiàn)類似Hadoop 、Spark等等可以影響到數(shù)據(jù)科學(xué)與人工智能的平臺(tái)。

另一個(gè)值得關(guān)注的缺位是數(shù)據(jù)的監(jiān)管。

很多互聯(lián)網(wǎng)的圖片被拿去做深度學(xué)習(xí)，里面也許會(huì)有一張你的照片，但是你并不知道你的照片被人用了，你連沒(méi)有反對(duì)的機(jī)會(huì)都沒(méi)有。當(dāng)無(wú)人汽車遇到突發(fā)狀況的時(shí)候，如何處理，決策權(quán)也不在你。

如果說(shuō)這些離生活太遙遠(yuǎn)，那么下面的案例就與我們息息相關(guān)。

第一是排序系統(tǒng)。當(dāng)你在查找某項(xiàng)信息的時(shí)候，為什么你需要的沒(méi)有排在前面，反而是與它不相關(guān)的會(huì)排得更高呢?

第二是推薦系統(tǒng)。為什么一些人會(huì)被推薦到某家公司面試，而另一些人卻不在里面?其實(shí)這種算法每天都在幫助你獲得更好的工作，或者是讓你沒(méi)有辦法獲得某種工作。

第三，協(xié)同過(guò)濾。為什么上個(gè)月忘了交電話費(fèi)，突然之間你的某某指數(shù)就變低了?之后連貸款的能力也變小了呢?這些其實(shí)是我們無(wú)法控制的，卻與我們未來(lái)的生活息息相關(guān)。

某種角度上來(lái)說(shuō)，人工智能和大數(shù)據(jù)其實(shí)充滿了傲慢，充滿了偏見(jiàn)。一方面它還原了一個(gè)更真實(shí)的世界，另一方面，它又導(dǎo)致了一個(gè)更加“偏見(jiàn)”的世界。我們?cè)谖磥?lái)要不要像這個(gè)人一樣拿把傘，讓這些東西不會(huì)傷害我們就足夠呢?

也許我們今天沒(méi)有答案，但是我們已經(jīng)看到了一些好的方面，有的公司已經(jīng)推出這樣的廣告(這也許是最微妙而美好的狀態(tài))——

 

 

Your phone knows a lot about you, but we don’t.

你的手機(jī)知道很多關(guān)于你的數(shù)據(jù)，但我們不知道。

作者：車品覺(jué)

標(biāo)簽： 垃圾數(shù)據(jù)  數(shù)據(jù)架構(gòu)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。