來(lái)源： 智能工業(yè)智庫(kù)

在PaaS層中一個(gè)復(fù)雜的通用應(yīng)用就是大數(shù)據(jù)平臺(tái)。大數(shù)據(jù)是如何一步一步融入云計(jì)算的呢?首先我們來(lái)看一下大數(shù)據(jù)里面的數(shù)據(jù)，就分三種類型，一種叫結(jié)構(gòu)化的數(shù)據(jù)，一種叫非結(jié)構(gòu)化的數(shù)據(jù)，還有一種叫半結(jié)構(gòu)化的數(shù)據(jù)。

大數(shù)據(jù)擁抱云計(jì)算

在PaaS層中一個(gè)復(fù)雜的通用應(yīng)用就是大數(shù)據(jù)平臺(tái)。大數(shù)據(jù)是如何一步一步融入云計(jì)算的呢?

1、數(shù)據(jù)不大也包含智慧

一開始這個(gè)大數(shù)據(jù)并不大。原來(lái)才有多少數(shù)據(jù)?現(xiàn)在大家都去看電子書，上網(wǎng)看新聞了，在我們80后小時(shí)候，信息量沒(méi)有那么大，也就看看書、看看報(bào)，一個(gè)星期的報(bào)紙加起來(lái)才有多少字?如果你不在一個(gè)大城市，一個(gè)普通的學(xué)校的圖書館加起來(lái)也沒(méi)幾個(gè)書架，是后來(lái)隨著信息化的到來(lái)，信息才會(huì)越來(lái)越多。

首先我們來(lái)看一下大數(shù)據(jù)里面的數(shù)據(jù)，就分三種類型，一種叫結(jié)構(gòu)化的數(shù)據(jù)，一種叫非結(jié)構(gòu)化的數(shù)據(jù)，還有一種叫半結(jié)構(gòu)化的數(shù)據(jù)。結(jié)構(gòu)化的數(shù)據(jù)：即有固定格式和有限長(zhǎng)度的數(shù)據(jù)。例如填的表格就是結(jié)構(gòu)化的數(shù)據(jù)，國(guó)籍：中華人民共和國(guó)，民族：漢，性別：男，這都叫結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化的數(shù)據(jù)：現(xiàn)在非結(jié)構(gòu)化的數(shù)據(jù)越來(lái)越多，就是不定長(zhǎng)、無(wú)固定格式的數(shù)據(jù)，例如網(wǎng)頁(yè)，有時(shí)候非常長(zhǎng)，有時(shí)候幾句話就沒(méi)了;例如語(yǔ)音，視頻都是非結(jié)構(gòu)化的數(shù)據(jù)。半結(jié)構(gòu)化數(shù)據(jù)：是一些XML或者HTML的格式的，不從事技術(shù)的可能不了解，但也沒(méi)有關(guān)系。

其實(shí)數(shù)據(jù)本身不是有用的，必須要經(jīng)過(guò)一定的處理。例如你每天跑步帶個(gè)手環(huán)收集的也是數(shù)據(jù)，網(wǎng)上這么多網(wǎng)頁(yè)也是數(shù)據(jù)，我們稱為Data。數(shù)據(jù)本身沒(méi)有什么用處，但數(shù)據(jù)里面包含一個(gè)很重要的東西，叫做信息(Information)。

所以數(shù)據(jù)的應(yīng)用分這四個(gè)步驟：數(shù)據(jù)、信息、知識(shí)、智慧。

最終的階段是很多商家都想要的。你看我收集了這么多的數(shù)據(jù)，能不能基于這些數(shù)據(jù)來(lái)幫我做下一步的決策，改善我的產(chǎn)品。例如讓用戶看視頻的時(shí)候旁邊彈出廣告，正好是他想買的東西;再如讓用戶聽音樂(lè)時(shí)，另外推薦一些他非常想聽的其他音樂(lè)。

用戶在我的應(yīng)用或者網(wǎng)站上隨便點(diǎn)點(diǎn)鼠標(biāo)，輸入文字對(duì)我來(lái)說(shuō)都是數(shù)據(jù)，我就是要將其中某些東西提取出來(lái)、指導(dǎo)實(shí)踐、形成智慧，讓用戶陷入到我的應(yīng)用里面不可自拔，上了我的網(wǎng)就不想離開，手不停地點(diǎn)、不停地買。

很多人說(shuō)雙十一我都想斷網(wǎng)了，我老婆在上面不斷地買買買，買了A又推薦B，老婆大人說(shuō)，“哎呀，B也是我喜歡的啊，老公我要買”。你說(shuō)這個(gè)程序怎么這么牛，這么有智慧，比我還了解我老婆，這件事情是怎么做到的呢?

 

 

2、數(shù)據(jù)如何升華為智慧

數(shù)據(jù)的處理分幾個(gè)步驟，完成了才最后會(huì)有智慧。

第一個(gè)步驟叫數(shù)據(jù)的收集。首先得有數(shù)據(jù)，數(shù)據(jù)的收集有兩個(gè)方式：

第一個(gè)方式是拿，專業(yè)點(diǎn)的說(shuō)法叫抓取或者爬取。例如搜索引擎就是這么做的：它把網(wǎng)上的所有的信息都下載到它的數(shù)據(jù)中心，然后你一搜才能搜出來(lái)。比如你去搜索的時(shí)候，結(jié)果會(huì)是一個(gè)列表，這個(gè)列表為什么會(huì)在搜索引擎的公司里面?就是因?yàn)樗�把�?shù)據(jù)都拿下來(lái)了，但是你一點(diǎn)鏈接，點(diǎn)出來(lái)這個(gè)網(wǎng)站就不在搜索引擎它們公司了。比如說(shuō)新浪有個(gè)新聞，你拿百度搜出來(lái)，你不點(diǎn)的時(shí)候，那一頁(yè)在百度數(shù)據(jù)中心，一點(diǎn)出來(lái)的網(wǎng)頁(yè)就是在新浪的數(shù)據(jù)中心了。

第二個(gè)方式是推送，有很多終端可以幫我收集數(shù)據(jù)。比如說(shuō)小米手環(huán)，可以將你每天跑步的數(shù)據(jù)，心跳的數(shù)據(jù)，睡眠的數(shù)據(jù)都上傳到數(shù)據(jù)中心里面。

第二個(gè)步驟是數(shù)據(jù)的傳輸。一般會(huì)通過(guò)隊(duì)列方式進(jìn)行，因?yàn)閿?shù)據(jù)量實(shí)在是太大了，數(shù)據(jù)必須經(jīng)過(guò)處理才會(huì)有用�？上到y(tǒng)處理不過(guò)來(lái)，只好排好隊(duì)，慢慢處理。

第三個(gè)步驟是數(shù)據(jù)的存儲(chǔ)�，F(xiàn)在數(shù)據(jù)就是金錢，掌握了數(shù)據(jù)就相當(dāng)于掌握了錢。要不然網(wǎng)站怎么知道你想買什么?就是因?yàn)樗�有你歷史的交易的數(shù)據(jù)，這個(gè)信息可不能給別人，十分寶貴，所以需要存儲(chǔ)下來(lái)。

第四個(gè)步驟是數(shù)據(jù)的處理和分析。上面存儲(chǔ)的數(shù)據(jù)是原始數(shù)據(jù)，原始數(shù)據(jù)多是雜亂無(wú)章的，有很多垃圾數(shù)據(jù)在里面，因而需要清洗和過(guò)濾，得到一些高質(zhì)量的數(shù)據(jù)。對(duì)于高質(zhì)量的數(shù)據(jù)，就可以進(jìn)行分析，從而對(duì)數(shù)據(jù)進(jìn)行分類，或者發(fā)現(xiàn)數(shù)據(jù)之間的相互關(guān)系，得到知識(shí)。

比如盛傳的沃爾瑪超市的啤酒和尿布的故事，就是通過(guò)對(duì)人們的購(gòu)買數(shù)據(jù)進(jìn)行分析，發(fā)現(xiàn)了男人一般買尿布的時(shí)候，會(huì)同時(shí)購(gòu)買啤酒，這樣就發(fā)現(xiàn)了啤酒和尿布之間的相互關(guān)系，獲得知識(shí)，然后應(yīng)用到實(shí)踐中，將啤酒和尿布的柜臺(tái)弄的很近，就獲得了智慧。

第五個(gè)步驟是對(duì)于數(shù)據(jù)的檢索和挖掘。檢索就是搜索，所謂外事不決問(wèn)Google，內(nèi)事不決問(wèn)百度。內(nèi)外兩大搜索引擎都是將分析后的數(shù)據(jù)放入搜索引擎，因此人們想尋找信息的時(shí)候，一搜就有了。

另外就是挖掘，僅僅搜索出來(lái)已經(jīng)不能滿足人們的要求了，還需要從信息中挖掘出相互的關(guān)系。比如財(cái)經(jīng)搜索，當(dāng)搜索某個(gè)公司股票的時(shí)候，該公司的高管是不是也應(yīng)該被挖掘出來(lái)呢?如果僅僅搜索出這個(gè)公司的股票發(fā)現(xiàn)漲的特別好，于是你就去買了，其實(shí)其高管發(fā)了一個(gè)聲明，對(duì)股票十分不利，第二天就跌了，這不坑害廣大股民么?所以通過(guò)各種算法挖掘數(shù)據(jù)中的關(guān)系，形成知識(shí)庫(kù)，十分重要。

 

 

 

 

3、大數(shù)據(jù)時(shí)代，眾人拾柴火焰高

當(dāng)數(shù)據(jù)量很小時(shí)，很少的幾臺(tái)機(jī)器就能解決。慢慢的，當(dāng)數(shù)據(jù)量越來(lái)越大，最牛的服務(wù)器都解決不了問(wèn)題時(shí)，怎么辦呢?這時(shí)就要聚合多臺(tái)機(jī)器的力量，大家齊心協(xié)力一起把這個(gè)事搞定，眾人拾柴火焰高。

對(duì)于數(shù)據(jù)的收集：就IoT來(lái)講，外面部署這成千上萬(wàn)的檢測(cè)設(shè)備，將大量的溫度、濕度、監(jiān)控、電力等數(shù)據(jù)統(tǒng)統(tǒng)收集上來(lái);就互聯(lián)網(wǎng)網(wǎng)頁(yè)的搜索引擎來(lái)講，需要將整個(gè)互聯(lián)網(wǎng)所有的網(wǎng)頁(yè)都下載下來(lái)。這顯然一臺(tái)機(jī)器做不到，需要多臺(tái)機(jī)器組成網(wǎng)絡(luò)爬蟲系統(tǒng)，每臺(tái)機(jī)器下載一部分，同時(shí)工作，才能在有限的時(shí)間內(nèi)，將海量的網(wǎng)頁(yè)下載完畢。

 

 

對(duì)于數(shù)據(jù)的傳輸：一個(gè)內(nèi)存里面的隊(duì)列肯定會(huì)被大量的數(shù)據(jù)擠爆掉，于是就產(chǎn)生了基于硬盤的分布式隊(duì)列，這樣隊(duì)列可以多臺(tái)機(jī)器同時(shí)傳輸，隨你數(shù)據(jù)量多大，只要我的隊(duì)列足夠多，管道足夠粗，就能夠撐得住。

 

 

對(duì)于數(shù)據(jù)的存儲(chǔ)：一臺(tái)機(jī)器的文件系統(tǒng)肯定是放不下的，所以需要一個(gè)很大的分布式文件系統(tǒng)來(lái)做這件事情，把多臺(tái)機(jī)器的硬盤打成一塊大的文件系統(tǒng)。

 

 

對(duì)于數(shù)據(jù)的分析：可能需要對(duì)大量的數(shù)據(jù)做分解、統(tǒng)計(jì)、匯總，一臺(tái)機(jī)器肯定搞不定，處理到猴年馬月也分析不完。于是就有分布式計(jì)算的方法，將大量的數(shù)據(jù)分成小份，每臺(tái)機(jī)器處理一小份，多臺(tái)機(jī)器并行處理，很快就能算完。例如著名的Terasort對(duì)1個(gè)TB的數(shù)據(jù)排序，相當(dāng)于1000G，如果單機(jī)處理，怎么也要幾個(gè)小時(shí)，但并行處理209秒就完成了。

 

 

 

 

所以說(shuō)什么叫做大數(shù)據(jù)?說(shuō)白了就是一臺(tái)機(jī)器干不完，大家一起干。可是隨著數(shù)據(jù)量越來(lái)越大，很多不大的公司都需要處理相當(dāng)多的數(shù)據(jù)，這些小公司沒(méi)有這么多機(jī)器可怎么辦呢?

4、大數(shù)據(jù)需要云計(jì)算，云計(jì)算需要大數(shù)據(jù)

說(shuō)到這里，大家想起云計(jì)算了吧。當(dāng)想要干這些活時(shí)，需要很多的機(jī)器一塊做，真的是想什么時(shí)候要就什么時(shí)候要，想要多少就要多少。

例如大數(shù)據(jù)分析公司的財(cái)務(wù)情況，可能一周分析一次，如果要把這一百臺(tái)機(jī)器或者一千臺(tái)機(jī)器都在那放著，一周用一次非常浪費(fèi)。那能不能需要計(jì)算的時(shí)候，把這一千臺(tái)機(jī)器拿出來(lái);不算的時(shí)候，讓這一千臺(tái)機(jī)器去干別的事情?

誰(shuí)能做這個(gè)事兒呢?只有云計(jì)算，可以為大數(shù)據(jù)的運(yùn)算提供資源層的靈活性。而云計(jì)算也會(huì)部署大數(shù)據(jù)放到它的PaaS平臺(tái)上，作為一個(gè)非常非常重要的通用應(yīng)用。因?yàn)榇髷?shù)據(jù)平臺(tái)能夠使得多臺(tái)機(jī)器一起干一個(gè)事兒，這個(gè)東西不是一般人能開發(fā)出來(lái)的，也不是一般人玩得轉(zhuǎn)的，怎么也得雇個(gè)幾十上百號(hào)人才能把這個(gè)玩起來(lái)。

所以說(shuō)就像數(shù)據(jù)庫(kù)一樣，其實(shí)還是需要有一幫專業(yè)的人來(lái)玩這個(gè)東西�，F(xiàn)在公有云上基本上都會(huì)有大數(shù)據(jù)的解決方案了，一個(gè)小公司需要大數(shù)據(jù)平臺(tái)的時(shí)候，不需要采購(gòu)一千臺(tái)機(jī)器，只要到公有云上一點(diǎn)，這一千臺(tái)機(jī)器都出來(lái)了，并且上面已經(jīng)部署好了的大數(shù)據(jù)平臺(tái)，只要把數(shù)據(jù)放進(jìn)去算就可以了。

云計(jì)算需要大數(shù)據(jù)，大數(shù)據(jù)需要云計(jì)算，二者就這樣結(jié)合了。

人工智能擁抱大數(shù)據(jù)機(jī)器什么時(shí)候才能懂人心

雖說(shuō)有了大數(shù)據(jù)，人的欲望卻不能夠滿足。雖說(shuō)在大數(shù)據(jù)平臺(tái)里面有搜索引擎這個(gè)東西，想要什么東西一搜就出來(lái)了。但也存在這樣的情況：我想要的東西不會(huì)搜，表達(dá)不出來(lái)，搜索出來(lái)的又不是我想要的。

例如音樂(lè)軟件推薦了一首歌，這首歌我沒(méi)聽過(guò)，當(dāng)然不知道名字，也沒(méi)法搜。但是軟件推薦給我，我的確喜歡，這就是搜索做不到的事情。當(dāng)人們使用這種應(yīng)用時(shí)，會(huì)發(fā)現(xiàn)機(jī)器知道我想要什么，而不是說(shuō)當(dāng)我想要時(shí)，去機(jī)器里面搜索。這個(gè)機(jī)器真像我的朋友一樣懂我，這就有點(diǎn)人工智能的意思了。

人們很早就在想這個(gè)事情了。最早的時(shí)候，人們想象，要是有一堵墻，墻后面是個(gè)機(jī)器，我給它說(shuō)話，它就給我回應(yīng)。如果我感覺(jué)不出它那邊是人還是機(jī)器，那它就真的是一個(gè)人工智能的東西了。讓機(jī)器學(xué)會(huì)推理

怎么才能做到這一點(diǎn)呢?人們就想：我首先要告訴計(jì)算機(jī)人類的推理的能力。你看人重要的是什么?人和動(dòng)物的區(qū)別在什么?就是能推理。要是把我這個(gè)推理的能力告訴機(jī)器，讓機(jī)器根據(jù)你的提問(wèn)，推理出相應(yīng)的回答，這樣多好?

其實(shí)目前人們慢慢地讓機(jī)器能夠做到一些推理了，例如證明數(shù)學(xué)公式。這是一個(gè)非常讓人驚喜的一個(gè)過(guò)程，機(jī)器竟然能夠證明數(shù)學(xué)公式。但慢慢又發(fā)現(xiàn)其實(shí)這個(gè)結(jié)果也沒(méi)有那么令人驚喜。因?yàn)榇蠹野l(fā)現(xiàn)了一個(gè)問(wèn)題：數(shù)學(xué)公式非常嚴(yán)謹(jǐn)，推理過(guò)程也非常嚴(yán)謹(jǐn)，而且數(shù)學(xué)公式很容易拿機(jī)器來(lái)進(jìn)行表達(dá)，程序也相對(duì)容易表達(dá)。教給機(jī)器知識(shí)

因此，僅僅告訴機(jī)器嚴(yán)格的推理是不夠的，還要告訴機(jī)器一些知識(shí)。但告訴機(jī)器知識(shí)這個(gè)事情，一般人可能就做不來(lái)了。可能專家可以，比如語(yǔ)言領(lǐng)域的專家或者財(cái)經(jīng)領(lǐng)域的專家。

語(yǔ)言領(lǐng)域和財(cái)經(jīng)領(lǐng)域知識(shí)能不能表示成像數(shù)學(xué)公式一樣稍微嚴(yán)格點(diǎn)呢?例如語(yǔ)言專家可能會(huì)總結(jié)出主謂賓定狀補(bǔ)這些語(yǔ)法規(guī)則，主語(yǔ)后面一定是謂語(yǔ)，謂語(yǔ)后面一定是賓語(yǔ)，將這些總結(jié)出來(lái)，并嚴(yán)格表達(dá)出來(lái)不就行了嗎?后來(lái)發(fā)現(xiàn)這個(gè)不行，太難總結(jié)了，語(yǔ)言表達(dá)千變?nèi)f化。

人工智能這個(gè)階段叫做專家系統(tǒng)。專家系統(tǒng)不易成功，一方面是知識(shí)比較難總結(jié)，另一方面總結(jié)出來(lái)的知識(shí)難以交給計(jì)算機(jī)。因?yàn)槟阕约哼�迷迷糊糊，覺(jué)得似乎有規(guī)律，就是說(shuō)不出來(lái)，又怎么能夠通過(guò)編程教給計(jì)算機(jī)呢?算了，教不會(huì)你自己學(xué)吧

于是人們想到：機(jī)器是和人完全不一樣的物種，干脆讓機(jī)器自己學(xué)習(xí)好了。

標(biāo)簽： 大數(shù)據(jù)平臺(tái)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。