麻省理工科技評論在1月25日發(fā)布的一篇文章中，分析了截至2018年11月18日，論文數(shù)據(jù)庫中arXiv的16625份關(guān)于AI的論文。從分析結(jié)果看，“AI”概念的風(fēng)靡，有三個典型時期：90年代末21世紀(jì)初機器學(xué)習(xí)興起，2010年代初神經(jīng)網(wǎng)絡(luò)概念復(fù)辟，近幾年強化學(xué)習(xí)概念卷土重來。

值得注意的是，arXiv的AI論文模塊始于1993年，而“人工智能”的概念可以追溯到1950年，因此這一只能反饋近26年以來的AI研究。而且，arXiv每年收錄的論文，也僅代表當(dāng)時人工智能領(lǐng)域的一部分研究。不過，它仍然是觀測AI行業(yè)研究趨勢的最佳窗口。

我們接下來就來看一下，16625份論文提供了哪些信息。

起點：解救程序員

基于知識的系統(tǒng)，由人類將知識賦予計算機，而計算機承擔(dān)知識的存儲和管理功能，幫助人類解決問題。轉(zhuǎn)變?yōu)闄C器學(xué)習(xí)后，計算機可以自主學(xué)習(xí)所有的人類知識。這是21世紀(jì)以來AI研究最大的轉(zhuǎn)變。

在相關(guān)論文提及率最高的100個單詞中，“邏輯”“約束”“規(guī)則”等基于知識系統(tǒng)的詞語，自90年代以來出現(xiàn)率顯著下降，而“數(shù)據(jù)”“網(wǎng)絡(luò)”“性能”增長最為明顯。

 

 

麻省理工科技評論稱，這種變化的原因非常好理解。上世紀(jì)80年代，基于知識的系統(tǒng)廣受歡迎，但各種各樣的項目推進的同時，研究者遇到了一個問題：需要編寫太多太多的規(guī)則，才能讓計算機作出有效決策，這種成本太過高昂，研究者的動力也就隨之減少。

機器學(xué)習(xí)實際上是解決這個問題的方案。機器學(xué)習(xí)讓計算機從一系列數(shù)據(jù)中提取規(guī)則，把程序員從編碼“邏輯”“規(guī)則”“約束”中解救了出來。

神經(jīng)網(wǎng)絡(luò)井噴

機器學(xué)習(xí)開始登上舞臺，但是向深度學(xué)習(xí)的轉(zhuǎn)變并沒有馬上出現(xiàn)。神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的核心機制，但麻省理工科技評論對16625篇論文關(guān)鍵字檢索的結(jié)果顯示，研究者還嘗試了各種其他“提取規(guī)則”的方法，包括貝葉斯網(wǎng)絡(luò)、馬爾可夫模型、進化算法和支持向量機(support vector machines，SVM)等。

 

 

 

 

上世紀(jì)90年代到21世紀(jì)初，這些方法都在相互競爭。一直到2012年，視覺識別領(lǐng)域一年一度的ImageNet競賽中，多倫多大學(xué)的Geoffrey Hinton教授和兩個學(xué)生(Ilya Sutskever 和Alex Krizhevsky)的AlexNet橫空出世，把圖像識別的Top-5錯誤率(給出的前N個答案中有一個是正確答案的概率)降低到了15.3%，比亞軍的26.5%低了41%)。

為了構(gòu)建識別成千上萬圖像的系統(tǒng)，該團隊采用了卷積神經(jīng)網(wǎng)絡(luò)。為避免數(shù)據(jù)過度擬合，AlexNet采用的神經(jīng)網(wǎng)絡(luò)還使用了數(shù)據(jù)擴充(平移、翻轉(zhuǎn)等)，以及隨機(概率為0.5)“刪除”(dropout)一些神經(jīng)元來減少工作量等。

Geoffrey Hinton教授當(dāng)時強調(diào)，深度對最終的識別精度尤為重要。深度學(xué)習(xí)技術(shù)由此引起了廣泛關(guān)注。它從圖像識別領(lǐng)域逐漸擴展開來，神經(jīng)網(wǎng)絡(luò)概念也隨之井噴。

 

 

強化學(xué)習(xí)興起

在深度學(xué)習(xí)推廣數(shù)年后，人工智能發(fā)生了迄今為止的最后一次重要轉(zhuǎn)變，即強化學(xué)習(xí)的興起。

機器學(xué)習(xí)算法可以分為三種：有監(jiān)督的學(xué)習(xí)，無監(jiān)督的學(xué)習(xí)，以及強化學(xué)習(xí)。

有監(jiān)督的學(xué)習(xí)給機器提供已經(jīng)標(biāo)記過的數(shù)據(jù)，機器學(xué)習(xí)的那些行為都是正確的行為。例如，標(biāo)記過的花卉數(shù)據(jù)集告訴正在學(xué)習(xí)的機器模型，哪些照片分別是玫瑰、雛菊和水仙。而在給出一張測試圖像時，機器應(yīng)該把它和學(xué)習(xí)的數(shù)據(jù)進行對比，判斷那是玫瑰、雛菊還是水仙。

有監(jiān)督的學(xué)習(xí)最適用于解決有參照背景的問題。例如物品分類，或是基于面積、位置和公交便利程度判斷住宅價格。所以，它是是最常用的也是最實用的機器學(xué)習(xí)算法。

標(biāo)記數(shù)據(jù)集并不容易，所以也有無監(jiān)督的學(xué)習(xí)。提供給無監(jiān)督學(xué)習(xí)的數(shù)據(jù)集沒有特定的期望結(jié)果，或是正確答案。機器需要自己提取特征和規(guī)律，來理解數(shù)據(jù)。

無監(jiān)督學(xué)習(xí)的應(yīng)用場景，包括銀行通過賬戶異常行為判斷虛假交易，電商通過已經(jīng)加入到購物車的產(chǎn)品，推薦相關(guān)的其他產(chǎn)品等。

過去幾年里，強化學(xué)習(xí)在研究領(lǐng)域的出現(xiàn)頻率迅速提高。強化學(xué)習(xí)同樣也采用未經(jīng)標(biāo)記的數(shù)據(jù)，但與無監(jiān)督學(xué)習(xí)不同地是，強化學(xué)習(xí)還模擬了訓(xùn)練動物地過程，對進行學(xué)習(xí)的機器提供“獎懲機制”，在執(zhí)行最優(yōu)解時提供反饋。

 

 

和深度學(xué)習(xí)一樣地，強化學(xué)習(xí)也是通過里程碑式的突破，才引起了研究者的注意。2015年，DeepMind的AlphaGo在強化學(xué)習(xí)訓(xùn)練下，成長為可以擊敗代表人類最高水平的圍棋棋手，讓埋沒數(shù)十年地強化學(xué)習(xí)再次走到大眾視線中。

而游戲本身，也是強化學(xué)習(xí)最好的渠道——它的獎勵機制足夠明確。在機器作出了正確選擇后，它會獲得“勝利”的反饋，而這樣的反饋越多，機器越能選擇正確的策略。

下一個十年的AI趨勢

從過去二十多年的經(jīng)驗來看，人工智能領(lǐng)域并沒有出現(xiàn)什么明顯的新技術(shù)。各種技術(shù)在研究界的地位起起落落，但熱門的種種技術(shù)，許多都起源于同一時間，即上世紀(jì)50年代左右。

以神經(jīng)網(wǎng)絡(luò)為例，它在60年代統(tǒng)治AI屆，80年代也有些存在感，而在2012年卷土重來之前，這一概念瀕臨滅絕。

每一個10年里，都有不同的技術(shù)統(tǒng)領(lǐng)AI研究，華盛頓大學(xué)教授、The Master Alogrithm一書作者Pedro Domingos 稱，2020年代也不會有什么不同，意味著深度學(xué)習(xí)的時代可能也很快就要終結(jié)。

參考資料

Karen Hao, MIT Technology Review, We analyzed 16,625 papers to figure out where AI is headed next, January 25, 2019

Geoffrey Hinton, Ilya Sutskever, Alex Krizhevsky, ImageNet Classification with Deep Convolutional Neural Networks, 2012

Isha Salian, NVIDIA blog, SuperVize Me: What’s the Difference Between Supervised, Unsupervised, Semi-Supervised and Reinforcement Learning?, August 2, 2018

自 華爾街見聞

標(biāo)簽： 電商 數(shù)據(jù)庫 推廣 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。