編者按：大數(shù)據(jù)和人工智能的浪潮正在席卷全球，眾多熱門詞匯蜂擁而至：人工智能（Artificial Intelligence）、大數(shù)據(jù)（Big Data）、云計(jì)算（Cloud Computing）、機(jī)器學(xué)習(xí)（Machine Learning）、數(shù)據(jù)挖掘（Data Mining）、深度學(xué)習(xí)（Deep Learning）、強(qiáng)化學(xué)習(xí)（Reinforcement Learning）和數(shù)據(jù)庫(kù)（Databases）。不少人對(duì)這些高頻詞匯的含義及其背后的關(guān)系總是似懂非懂、一知半解。

為了幫助大家更好地理解人工智能，我們邀請(qǐng)到微軟亞洲研究院資深研究員鄭宇博士用最簡(jiǎn)單的語(yǔ)言來(lái)解釋這些詞匯的含義，理清它們之間的關(guān)系，希望對(duì)剛?cè)腴T的同學(xué)們有所幫助。

人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)

首先來(lái)看一下人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)之間的關(guān)系。如圖一所示，我們可以大致認(rèn)為深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中的一種學(xué)習(xí)方法，而機(jī)器學(xué)習(xí)則可以被認(rèn)為是人工智能的一個(gè)分支。

人工智能： 人工智能涵蓋的領(lǐng)域很廣，除了機(jī)器學(xué)習(xí)外，還包括專家系統(tǒng)、進(jìn)化計(jì)算、模糊邏輯、粗糙集、多代理、規(guī)劃問(wèn)題等。最近幾年，人工智能的發(fā)展主要得益于機(jī)器學(xué)習(xí)領(lǐng)域的推動(dòng)，尤其是深度學(xué)習(xí)取得的突破，其他領(lǐng)域的進(jìn)展相對(duì)較小。人工智能分為弱人工智能和強(qiáng)人工智能，前者讓機(jī)器具備觀察和感知的能力，可以做到一定程度的理解和推理。目前的科研都集中在弱人工智能這部分，并很有希望在近期取得重大突破。而強(qiáng)人工智能期待讓機(jī)器獲得自適應(yīng)能力，解決一些之前沒(méi)有遇到過(guò)的問(wèn)題。電影里的人工智能多半都是在描繪強(qiáng)人工智能，而這部分在目前的現(xiàn)實(shí)世界里難以真正實(shí)現(xiàn)。

機(jī)器學(xué)習(xí)： 從學(xué)習(xí)方法上來(lái)分，機(jī)器可以分為監(jiān)督學(xué)習(xí)（如分類問(wèn)題）、無(wú)監(jiān)督學(xué)習(xí)（如聚類問(wèn)題）、半監(jiān)督學(xué)習(xí)、集成學(xué)習(xí)、深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。深度學(xué)習(xí)本來(lái)并不是一種獨(dú)立的學(xué)習(xí)方法，其本身也會(huì)用到有監(jiān)督和無(wú)監(jiān)督的學(xué)習(xí)方法來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。但由于近幾年該領(lǐng)域發(fā)展迅猛，一些特有的學(xué)習(xí)手段相繼被提出（如殘差網(wǎng)絡(luò)），因此越來(lái)越多的人將其單獨(dú)看作一種學(xué)習(xí)的方法。按照學(xué)習(xí)目的來(lái)分，機(jī)器學(xué)習(xí)涵蓋了回歸、分類、聚類、異常監(jiān)測(cè)、量綱學(xué)習(xí)和因果分析等。

深度學(xué)習(xí) ：最初的深度學(xué)習(xí)是利用深度神經(jīng)網(wǎng)絡(luò)來(lái)解決特征表達(dá)的一種學(xué)習(xí)過(guò)程。深度神經(jīng)網(wǎng)絡(luò)本身并不是一個(gè)全新的概念，可大致理解為隱含層很多的一個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。為了提高深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果，人們對(duì)神經(jīng)元的連接方法和激活函數(shù)等方面做出相應(yīng)的調(diào)整。其實(shí)有不少想法早年間也曾有過(guò)，但由于當(dāng)時(shí)訓(xùn)練數(shù)據(jù)量不足、計(jì)算單元落后，因此最終的效果不盡如人意。

強(qiáng)化學(xué)習(xí)： 強(qiáng)化學(xué)習(xí)為一個(gè)代理（Agent）在一個(gè)環(huán)境里設(shè)計(jì)一系列動(dòng)作（Actions）以獲得最優(yōu)的未來(lái)長(zhǎng)期回報(bào)（Reward）。走迷宮常被用來(lái)作為解釋強(qiáng)化學(xué)習(xí)的例子。因?yàn)閷W(xué)習(xí)方法復(fù)雜，早年間強(qiáng)化學(xué)習(xí)只能解決一些非常簡(jiǎn)單（狀態(tài)空間小、動(dòng)作選擇少）的問(wèn)題。直到深度學(xué)習(xí)的出現(xiàn)，使得我們可以用深度神經(jīng)網(wǎng)絡(luò)去逼近一個(gè)近似的價(jià)值和策略函數(shù)，強(qiáng)化學(xué)習(xí)才取得很大的進(jìn)展（如在AlphaGo里的價(jià)值判斷網(wǎng)絡(luò)），人們稱其為深度強(qiáng)化學(xué)習(xí)（Deep Reinforcement Learning）。與其說(shuō)是強(qiáng)化學(xué)習(xí)的進(jìn)展，不如說(shuō)是在強(qiáng)化學(xué)習(xí)的框架里，深度學(xué)習(xí)貢獻(xiàn)了巨大的力量。

數(shù)據(jù)挖掘、人工智能、大數(shù)據(jù)和云計(jì)算

如圖二所示， 數(shù)據(jù)挖掘是從數(shù)據(jù)中發(fā)掘知識(shí)的過(guò)程，在這個(gè)過(guò)程中人工智能和數(shù)據(jù)庫(kù)技術(shù)可以作為挖掘工具，數(shù)據(jù)可以被看作是土壤，云平臺(tái)可以看作是承載數(shù)據(jù)和挖掘算法的基礎(chǔ)設(shè)施 。

數(shù)據(jù)挖掘： 數(shù)據(jù)挖掘是從數(shù)據(jù)中發(fā)掘知識(shí)的過(guò)程，在挖掘數(shù)據(jù)的過(guò)程中需要用到一些挖掘工具和方法（如圖二第二個(gè)層面所示）。這些工具可以是基于數(shù)據(jù)庫(kù)的挖掘方法，比如頻發(fā)模式發(fā)掘（Frequent Pattern Mining）和關(guān)聯(lián)規(guī)則。大家經(jīng)常聽(tīng)說(shuō)的啤酒和尿布的例子就是基于數(shù)據(jù)庫(kù)技術(shù)的頻繁模式發(fā)掘。數(shù)據(jù)挖掘也可以用到機(jī)器學(xué)習(xí)的方法，比如各種分類模型（如Decision trees和SVM）、概率圖模型（Probabilistic Graphical Models）以及深度學(xué)習(xí)的方法。數(shù)據(jù)挖掘同樣也可以用到人工智能里非機(jī)器學(xué)習(xí)的方法，比如遺傳算法和粗糙集等。當(dāng)數(shù)量非常大時(shí)，數(shù)據(jù)挖掘需要借助云平臺(tái)來(lái)承載數(shù)據(jù)，并利用云平臺(tái)中的分布式計(jì)算單元來(lái)提高數(shù)據(jù)挖掘效率。當(dāng)挖掘完畢后，數(shù)據(jù)挖掘還需要對(duì)知識(shí)進(jìn)行可視化和展現(xiàn)。

云計(jì)算： 云計(jì)算平臺(tái)一般是由第三方IT公司建立的涵蓋基礎(chǔ)設(shè)施、計(jì)算資源和平臺(tái)操作系統(tǒng)的集成體。云平臺(tái)解決了傳統(tǒng)公司各自搭建機(jī)器集群所產(chǎn)生的建設(shè)周期長(zhǎng)、升級(jí)換代慢、維護(hù)成本高的痛點(diǎn)，讓其他公司可以從搭建計(jì)算平臺(tái)的繁重任務(wù)中解脫出來(lái)而專注于自己的業(yè)務(wù)。云平臺(tái)用戶可以高效、靈活的調(diào)整自己的資源配置（比如用多少臺(tái)虛擬機(jī)、多少個(gè)計(jì)算節(jié)點(diǎn)等），第三方公司根據(jù)用戶使用的資源來(lái)收取相應(yīng)的費(fèi)用。打一個(gè)通俗的比喻，就好比不用每家每戶弄一個(gè)發(fā)電機(jī)，而是集中建一個(gè)發(fā)電廠，每家只需要插上插頭就可以用電，根據(jù)用電的多少來(lái)計(jì)費(fèi)。用戶不用關(guān)心發(fā)電廠建在哪里、如何發(fā)電，也不用操心如何維護(hù)發(fā)電廠本身的運(yùn)轉(zhuǎn)和安全。

云計(jì)算平臺(tái)本身為大數(shù)據(jù)的存儲(chǔ)和分析提供了很好的基礎(chǔ)設(shè)施（如storage和Hadoop、Spark和Storm等分布式計(jì)算環(huán)境），但默認(rèn)的云平臺(tái)上并沒(méi)有自帶強(qiáng)大的機(jī)器學(xué)習(xí)和人工智能能力，也缺乏高效的索引機(jī)制（如時(shí)空索引算法）。因此，云平臺(tái)并不等于大數(shù)據(jù)平臺(tái)。近期不少公司在積極地開(kāi)發(fā)基于云平臺(tái)的機(jī)器學(xué)習(xí)工具（如AzureML）和人工智能平臺(tái)。圖三是我們基于Azure搭建的城市大數(shù)據(jù)平臺(tái)，其中時(shí)空索引、針對(duì)時(shí)空數(shù)據(jù)的機(jī)器學(xué)習(xí)算法和多源數(shù)據(jù)融合算法都是以前的云平臺(tái)所不具備的。

?

大數(shù)據(jù)： 大數(shù)據(jù)是一種從數(shù)據(jù)的采集、管理、分析挖掘到服務(wù)提供的端到端的、解決行業(yè)問(wèn)題的綜合實(shí)力，是從數(shù)據(jù)生命周期這個(gè)維度來(lái)看的知識(shí)獲取過(guò)程（數(shù)據(jù)庫(kù)、機(jī)器學(xué)習(xí)和人工智能技術(shù)可以成為其中的一個(gè)環(huán)節(jié)），也是一種基于數(shù)據(jù)的思維方式。通常講大數(shù)據(jù)都會(huì)提到4個(gè)V，Volume（量大）、Velocity（速度快）、Variety（多樣性）、Value（價(jià)值）。但實(shí)際上，除了Variety（多樣性）以外，其他幾個(gè)屬性很難界定，比如多大才叫大，一直很難給出一個(gè)嚴(yán)格的定義。而只要是數(shù)據(jù)就有其價(jià)值，關(guān)鍵是如何利用數(shù)據(jù)。因此，大數(shù)據(jù)不是指一個(gè)體量很大的單一數(shù)據(jù)，其關(guān)鍵在于多源數(shù)據(jù)融合（即把來(lái)自不同領(lǐng)域的數(shù)據(jù)的知識(shí)相互結(jié)合，形成1 1>2的合力），這是大數(shù)據(jù)的戰(zhàn)略制高點(diǎn)，不是單單在“數(shù)據(jù)”前加個(gè)“大”字那么簡(jiǎn)單。

多源數(shù)據(jù)的融合給數(shù)據(jù)管理、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能帶來(lái)了很多新興課題。當(dāng)數(shù)據(jù)挖掘被用來(lái)挖掘和融合多源數(shù)據(jù)中蘊(yùn)含的知識(shí)時(shí)，數(shù)據(jù)挖掘就跟大數(shù)據(jù)有了完美的結(jié)合。如果數(shù)據(jù)挖掘還在挖掘單一數(shù)據(jù)，那就是傳統(tǒng)的數(shù)據(jù)挖掘或者是早年間研究的“海量數(shù)據(jù)挖掘”。作為數(shù)據(jù)挖掘的工具，分布式機(jī)器學(xué)習(xí)的重點(diǎn)是解決海量數(shù)據(jù)挖掘的問(wèn)題，而不是解決多源數(shù)據(jù)融合的問(wèn)題。要想融合多源數(shù)據(jù)，我們就需要在機(jī)器學(xué)習(xí)中設(shè)計(jì)新的多源數(shù)據(jù)融合算法（[1]是一篇關(guān)于多源數(shù)據(jù)融合的機(jī)器學(xué)習(xí)算法的綜述），并為云平臺(tái)設(shè)計(jì)特別的管理和索引方法。

圖四以城市大數(shù)據(jù)為例，說(shuō)明了大數(shù)據(jù)和數(shù)據(jù)挖掘以及人工智能之間的關(guān)系。城市大數(shù)據(jù)就是從城市數(shù)據(jù)的感知、管理、分析到服務(wù)提供的端到端的、解決行業(yè)（如交通、環(huán)境等）問(wèn)題的綜合實(shí)力。在解決一個(gè)問(wèn)題時(shí)，我們通常需要同時(shí)用到來(lái)自于多個(gè)領(lǐng)域的數(shù)據(jù)（如預(yù)測(cè)空氣質(zhì)量需要考慮氣象、交通和地理信息等），如何融合多源數(shù)據(jù)中的知識(shí)就是一個(gè)難點(diǎn)。這需要在數(shù)據(jù)挖掘過(guò)程中設(shè)計(jì)相應(yīng)的數(shù)據(jù)管理算法和機(jī)器學(xué)習(xí)算法。因此，可以大致理解在圖四的第二、三（管理和分析）層面是在做數(shù)據(jù)挖掘的事情，而在第三層里，又需要用到一些改良的機(jī)器學(xué)習(xí)和人工智能算法。更多細(xì)節(jié)將在《Urban Computing》[2]一書(shū)中介紹。

[1] Yu Zheng, Methodologiesfor Cross-Domain Data Fusion: An Overview,in IEEE Transactions on Big Data 

[2] Yu Zheng, Urban Computing, MIT Press (預(yù)計(jì)2018年初出版)

作者介紹

鄭宇博士，微軟亞洲研究院城市計(jì)算領(lǐng)域負(fù)責(zé)人，上海交通大學(xué)講座教授、博導(dǎo)，香港科技大學(xué)客座教授；提出了“城市計(jì)算”的理念，以主作者身份在大數(shù)據(jù)和人工智能領(lǐng)域頂尖國(guó)際會(huì)議和刊物上發(fā)表相關(guān)論文50余篇，論文被引用14,000余次，H-Index：56；擔(dān)任人工智能頂尖國(guó)際期刊（SCI一區(qū)）ACM Transactions on Intelligent Systems and Technology（ACM TIST）的Editor-in-Chief（TIST近五年影響因子10.47，在所有ACM期刊中排名第一）、ACM數(shù)據(jù)挖掘中國(guó)分會(huì)秘書(shū)長(zhǎng)，以及大數(shù)據(jù)領(lǐng)域知名國(guó)際會(huì)議ICDE2014 和CIKM2017的工業(yè)界主席；2013年，他因在城市計(jì)算領(lǐng)域的貢獻(xiàn)被《MIT科技評(píng)論》評(píng)為全球杰出青年創(chuàng)新者（TR35），2016年被評(píng)為美國(guó)計(jì)算機(jī)學(xué)會(huì)杰出科學(xué)家 (ACM Distinguished Scientist)。

 

來(lái)自：http://blog.sina.com.cn/s/blog_4caedc7a0102wz4a.html

 

標(biāo)簽： 安全 大數(shù)據(jù) 大數(shù)據(jù)和云計(jì)算 大數(shù)據(jù)平臺(tái) 排名 數(shù)據(jù)庫(kù) 網(wǎng)絡(luò) 云計(jì)算 云計(jì)算平臺(tái)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。