編者按：大數(shù)據(jù)和人工智能的浪潮正在席卷全球，眾多熱門詞匯蜂擁而至：人工智能（Artificial Intelligence）、大數(shù)據(jù)（Big Data）、云計算（Cloud Computing）、機器學(xué)習(xí)（Machine Learning）、數(shù)據(jù)挖掘（Data Mining）、深度學(xué)習(xí)（Deep Learning）、強化學(xué)習(xí)（Reinforcement Learning）和數(shù)據(jù)庫（Databases）。不少人對這些高頻詞匯的含義及其背后的關(guān)系總是似懂非懂、一知半解。

為了幫助大家更好地理解人工智能，我們邀請到微軟亞洲研究院資深研究員鄭宇博士用最簡單的語言來解釋這些詞匯的含義，理清它們之間的關(guān)系，希望對剛?cè)腴T的同學(xué)們有所幫助。

人工智能、機器學(xué)習(xí)、深度學(xué)習(xí)和強化學(xué)習(xí)

首先來看一下人工智能、機器學(xué)習(xí)和深度學(xué)習(xí)之間的關(guān)系。如圖一所示，我們可以大致認為深度學(xué)習(xí)是機器學(xué)習(xí)中的一種學(xué)習(xí)方法，而機器學(xué)習(xí)則可以被認為是人工智能的一個分支。

人工智能： 人工智能涵蓋的領(lǐng)域很廣，除了機器學(xué)習(xí)外，還包括專家系統(tǒng)、進化計算、模糊邏輯、粗糙集、多代理、規(guī)劃問題等。最近幾年，人工智能的發(fā)展主要得益于機器學(xué)習(xí)領(lǐng)域的推動，尤其是深度學(xué)習(xí)取得的突破，其他領(lǐng)域的進展相對較小。人工智能分為弱人工智能和強人工智能，前者讓機器具備觀察和感知的能力，可以做到一定程度的理解和推理。目前的科研都集中在弱人工智能這部分，并很有希望在近期取得重大突破。而強人工智能期待讓機器獲得自適應(yīng)能力，解決一些之前沒有遇到過的問題。電影里的人工智能多半都是在描繪強人工智能，而這部分在目前的現(xiàn)實世界里難以真正實現(xiàn)。

機器學(xué)習(xí)： 從學(xué)習(xí)方法上來分，機器可以分為監(jiān)督學(xué)習(xí)（如分類問題）、無監(jiān)督學(xué)習(xí)（如聚類問題）、半監(jiān)督學(xué)習(xí)、集成學(xué)習(xí)、深度學(xué)習(xí)和強化學(xué)習(xí)。深度學(xué)習(xí)本來并不是一種獨立的學(xué)習(xí)方法，其本身也會用到有監(jiān)督和無監(jiān)督的學(xué)習(xí)方法來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。但由于近幾年該領(lǐng)域發(fā)展迅猛，一些特有的學(xué)習(xí)手段相繼被提出（如殘差網(wǎng)絡(luò)），因此越來越多的人將其單獨看作一種學(xué)習(xí)的方法。按照學(xué)習(xí)目的來分，機器學(xué)習(xí)涵蓋了回歸、分類、聚類、異常監(jiān)測、量綱學(xué)習(xí)和因果分析等。

深度學(xué)習(xí) ：最初的深度學(xué)習(xí)是利用深度神經(jīng)網(wǎng)絡(luò)來解決特征表達的一種學(xué)習(xí)過程。深度神經(jīng)網(wǎng)絡(luò)本身并不是一個全新的概念，可大致理解為隱含層很多的一個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。為了提高深層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果，人們對神經(jīng)元的連接方法和激活函數(shù)等方面做出相應(yīng)的調(diào)整。其實有不少想法早年間也曾有過，但由于當(dāng)時訓(xùn)練數(shù)據(jù)量不足、計算單元落后，因此最終的效果不盡如人意。

強化學(xué)習(xí)： 強化學(xué)習(xí)為一個代理（Agent）在一個環(huán)境里設(shè)計一系列動作（Actions）以獲得最優(yōu)的未來長期回報（Reward）。走迷宮常被用來作為解釋強化學(xué)習(xí)的例子。因為學(xué)習(xí)方法復(fù)雜，早年間強化學(xué)習(xí)只能解決一些非常簡單（狀態(tài)空間小、動作選擇少）的問題。直到深度學(xué)習(xí)的出現(xiàn)，使得我們可以用深度神經(jīng)網(wǎng)絡(luò)去逼近一個近似的價值和策略函數(shù)，強化學(xué)習(xí)才取得很大的進展（如在AlphaGo里的價值判斷網(wǎng)絡(luò)），人們稱其為深度強化學(xué)習(xí)（Deep Reinforcement Learning）。與其說是強化學(xué)習(xí)的進展，不如說是在強化學(xué)習(xí)的框架里，深度學(xué)習(xí)貢獻了巨大的力量。

數(shù)據(jù)挖掘、人工智能、大數(shù)據(jù)和云計算

如圖二所示， 數(shù)據(jù)挖掘是從數(shù)據(jù)中發(fā)掘知識的過程，在這個過程中人工智能和數(shù)據(jù)庫技術(shù)可以作為挖掘工具，數(shù)據(jù)可以被看作是土壤，云平臺可以看作是承載數(shù)據(jù)和挖掘算法的基礎(chǔ)設(shè)施 。

數(shù)據(jù)挖掘： 數(shù)據(jù)挖掘是從數(shù)據(jù)中發(fā)掘知識的過程，在挖掘數(shù)據(jù)的過程中需要用到一些挖掘工具和方法（如圖二第二個層面所示）。這些工具可以是基于數(shù)據(jù)庫的挖掘方法，比如頻發(fā)模式發(fā)掘（Frequent Pattern Mining）和關(guān)聯(lián)規(guī)則。大家經(jīng)常聽說的啤酒和尿布的例子就是基于數(shù)據(jù)庫技術(shù)的頻繁模式發(fā)掘。數(shù)據(jù)挖掘也可以用到機器學(xué)習(xí)的方法，比如各種分類模型（如Decision trees和SVM）、概率圖模型（Probabilistic Graphical Models）以及深度學(xué)習(xí)的方法。數(shù)據(jù)挖掘同樣也可以用到人工智能里非機器學(xué)習(xí)的方法，比如遺傳算法和粗糙集等。當(dāng)數(shù)量非常大時，數(shù)據(jù)挖掘需要借助云平臺來承載數(shù)據(jù)，并利用云平臺中的分布式計算單元來提高數(shù)據(jù)挖掘效率。當(dāng)挖掘完畢后，數(shù)據(jù)挖掘還需要對知識進行可視化和展現(xiàn)。

云計算： 云計算平臺一般是由第三方IT公司建立的涵蓋基礎(chǔ)設(shè)施、計算資源和平臺操作系統(tǒng)的集成體。云平臺解決了傳統(tǒng)公司各自搭建機器集群所產(chǎn)生的建設(shè)周期長、升級換代慢、維護成本高的痛點，讓其他公司可以從搭建計算平臺的繁重任務(wù)中解脫出來而專注于自己的業(yè)務(wù)。云平臺用戶可以高效、靈活的調(diào)整自己的資源配置（比如用多少臺虛擬機、多少個計算節(jié)點等），第三方公司根據(jù)用戶使用的資源來收取相應(yīng)的費用。打一個通俗的比喻，就好比不用每家每戶弄一個發(fā)電機，而是集中建一個發(fā)電廠，每家只需要插上插頭就可以用電，根據(jù)用電的多少來計費。用戶不用關(guān)心發(fā)電廠建在哪里、如何發(fā)電，也不用操心如何維護發(fā)電廠本身的運轉(zhuǎn)和安全。

云計算平臺本身為大數(shù)據(jù)的存儲和分析提供了很好的基礎(chǔ)設(shè)施（如storage和Hadoop、Spark和Storm等分布式計算環(huán)境），但默認的云平臺上并沒有自帶強大的機器學(xué)習(xí)和人工智能能力，也缺乏高效的索引機制（如時空索引算法）。因此，云平臺并不等于大數(shù)據(jù)平臺。近期不少公司在積極地開發(fā)基于云平臺的機器學(xué)習(xí)工具（如AzureML）和人工智能平臺。圖三是我們基于Azure搭建的城市大數(shù)據(jù)平臺，其中時空索引、針對時空數(shù)據(jù)的機器學(xué)習(xí)算法和多源數(shù)據(jù)融合算法都是以前的云平臺所不具備的。

?

大數(shù)據(jù)： 大數(shù)據(jù)是一種從數(shù)據(jù)的采集、管理、分析挖掘到服務(wù)提供的端到端的、解決行業(yè)問題的綜合實力，是從數(shù)據(jù)生命周期這個維度來看的知識獲取過程（數(shù)據(jù)庫、機器學(xué)習(xí)和人工智能技術(shù)可以成為其中的一個環(huán)節(jié)），也是一種基于數(shù)據(jù)的思維方式。通常講大數(shù)據(jù)都會提到4個V，Volume（量大）、Velocity（速度快）、Variety（多樣性）、Value（價值）。但實際上，除了Variety（多樣性）以外，其他幾個屬性很難界定，比如多大才叫大，一直很難給出一個嚴格的定義。而只要是數(shù)據(jù)就有其價值，關(guān)鍵是如何利用數(shù)據(jù)。因此，大數(shù)據(jù)不是指一個體量很大的單一數(shù)據(jù)，其關(guān)鍵在于多源數(shù)據(jù)融合（即把來自不同領(lǐng)域的數(shù)據(jù)的知識相互結(jié)合，形成1 1>2的合力），這是大數(shù)據(jù)的戰(zhàn)略制高點，不是單單在“數(shù)據(jù)”前加個“大”字那么簡單。

多源數(shù)據(jù)的融合給數(shù)據(jù)管理、數(shù)據(jù)挖掘、機器學(xué)習(xí)和人工智能帶來了很多新興課題。當(dāng)數(shù)據(jù)挖掘被用來挖掘和融合多源數(shù)據(jù)中蘊含的知識時，數(shù)據(jù)挖掘就跟大數(shù)據(jù)有了完美的結(jié)合。如果數(shù)據(jù)挖掘還在挖掘單一數(shù)據(jù)，那就是傳統(tǒng)的數(shù)據(jù)挖掘或者是早年間研究的“海量數(shù)據(jù)挖掘”。作為數(shù)據(jù)挖掘的工具，分布式機器學(xué)習(xí)的重點是解決海量數(shù)據(jù)挖掘的問題，而不是解決多源數(shù)據(jù)融合的問題。要想融合多源數(shù)據(jù)，我們就需要在機器學(xué)習(xí)中設(shè)計新的多源數(shù)據(jù)融合算法（[1]是一篇關(guān)于多源數(shù)據(jù)融合的機器學(xué)習(xí)算法的綜述），并為云平臺設(shè)計特別的管理和索引方法。

圖四以城市大數(shù)據(jù)為例，說明了大數(shù)據(jù)和數(shù)據(jù)挖掘以及人工智能之間的關(guān)系。城市大數(shù)據(jù)就是從城市數(shù)據(jù)的感知、管理、分析到服務(wù)提供的端到端的、解決行業(yè)（如交通、環(huán)境等）問題的綜合實力。在解決一個問題時，我們通常需要同時用到來自于多個領(lǐng)域的數(shù)據(jù)（如預(yù)測空氣質(zhì)量需要考慮氣象、交通和地理信息等），如何融合多源數(shù)據(jù)中的知識就是一個難點。這需要在數(shù)據(jù)挖掘過程中設(shè)計相應(yīng)的數(shù)據(jù)管理算法和機器學(xué)習(xí)算法。因此，可以大致理解在圖四的第二、三（管理和分析）層面是在做數(shù)據(jù)挖掘的事情，而在第三層里，又需要用到一些改良的機器學(xué)習(xí)和人工智能算法。更多細節(jié)將在《Urban Computing》[2]一書中介紹。

[1] Yu Zheng, Methodologiesfor Cross-Domain Data Fusion: An Overview,in IEEE Transactions on Big Data 

[2] Yu Zheng, Urban Computing, MIT Press (預(yù)計2018年初出版)

作者介紹

鄭宇博士，微軟亞洲研究院城市計算領(lǐng)域負責(zé)人，上海交通大學(xué)講座教授、博導(dǎo)，香港科技大學(xué)客座教授；提出了“城市計算”的理念，以主作者身份在大數(shù)據(jù)和人工智能領(lǐng)域頂尖國際會議和刊物上發(fā)表相關(guān)論文50余篇，論文被引用14,000余次，H-Index：56；擔(dān)任人工智能頂尖國際期刊（SCI一區(qū)）ACM Transactions on Intelligent Systems and Technology（ACM TIST）的Editor-in-Chief（TIST近五年影響因子10.47，在所有ACM期刊中排名第一）、ACM數(shù)據(jù)挖掘中國分會秘書長，以及大數(shù)據(jù)領(lǐng)域知名國際會議ICDE2014 和CIKM2017的工業(yè)界主席；2013年，他因在城市計算領(lǐng)域的貢獻被《MIT科技評論》評為全球杰出青年創(chuàng)新者（TR35），2016年被評為美國計算機學(xué)會杰出科學(xué)家 (ACM Distinguished Scientist)。

 

來自：http://blog.sina.com.cn/s/blog_4caedc7a0102wz4a.html

 

標簽： 安全 大數(shù)據(jù) 大數(shù)據(jù)和云計算 大數(shù)據(jù)平臺 排名 數(shù)據(jù)庫 網(wǎng)絡(luò) 云計算 云計算平臺

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。