麻省理工科技評(píng)論在1月25日發(fā)布的一篇文章中，分析了截至2018年11月18日，論文數(shù)據(jù)庫(kù)中arXiv的16625份關(guān)于AI的論文。從分析結(jié)果看，“AI”概念的風(fēng)靡，有三個(gè)典型時(shí)期：90年代末21世紀(jì)初機(jī)器學(xué)習(xí)興起，2010年代初神經(jīng)網(wǎng)絡(luò)概念復(fù)辟，近幾年強(qiáng)化學(xué)習(xí)概念卷土重來(lái)。

值得注意的是，arXiv的AI論文模塊始于1993年，而“人工智能”的概念可以追溯到1950年，因此這一只能反饋近26年以來(lái)的AI研究。而且，arXiv每年收錄的論文，也僅代表當(dāng)時(shí)人工智能領(lǐng)域的一部分研究。不過(guò)，它仍然是觀測(cè)AI行業(yè)研究趨勢(shì)的最佳窗口。

我們接下來(lái)就來(lái)看一下，16625份論文提供了哪些信息。

起點(diǎn)：解救程序員

基于知識(shí)的系統(tǒng)，由人類(lèi)將知識(shí)賦予計(jì)算機(jī)，而計(jì)算機(jī)承擔(dān)知識(shí)的存儲(chǔ)和管理功能，幫助人類(lèi)解決問(wèn)題。轉(zhuǎn)變?yōu)闄C(jī)器學(xué)習(xí)后，計(jì)算機(jī)可以自主學(xué)習(xí)所有的人類(lèi)知識(shí)。這是21世紀(jì)以來(lái)AI研究最大的轉(zhuǎn)變。

在相關(guān)論文提及率最高的100個(gè)單詞中，“邏輯”“約束”“規(guī)則”等基于知識(shí)系統(tǒng)的詞語(yǔ)，自90年代以來(lái)出現(xiàn)率顯著下降，而“數(shù)據(jù)”“網(wǎng)絡(luò)”“性能”增長(zhǎng)最為明顯。

 

 

麻省理工科技評(píng)論稱(chēng)，這種變化的原因非常好理解。上世紀(jì)80年代，基于知識(shí)的系統(tǒng)廣受歡迎，但各種各樣的項(xiàng)目推進(jìn)的同時(shí)，研究者遇到了一個(gè)問(wèn)題：需要編寫(xiě)太多太多的規(guī)則，才能讓計(jì)算機(jī)作出有效決策，這種成本太過(guò)高昂，研究者的動(dòng)力也就隨之減少。

機(jī)器學(xué)習(xí)實(shí)際上是解決這個(gè)問(wèn)題的方案。機(jī)器學(xué)習(xí)讓計(jì)算機(jī)從一系列數(shù)據(jù)中提取規(guī)則，把程序員從編碼“邏輯”“規(guī)則”“約束”中解救了出來(lái)。

神經(jīng)網(wǎng)絡(luò)井噴

機(jī)器學(xué)習(xí)開(kāi)始登上舞臺(tái)，但是向深度學(xué)習(xí)的轉(zhuǎn)變并沒(méi)有馬上出現(xiàn)。神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的核心機(jī)制，但麻省理工科技評(píng)論對(duì)16625篇論文關(guān)鍵字檢索的結(jié)果顯示，研究者還嘗試了各種其他“提取規(guī)則”的方法，包括貝葉斯網(wǎng)絡(luò)、馬爾可夫模型、進(jìn)化算法和支持向量機(jī)(support vector machines，SVM)等。

 

 

 

 

上世紀(jì)90年代到21世紀(jì)初，這些方法都在相互競(jìng)爭(zhēng)。一直到2012年，視覺(jué)識(shí)別領(lǐng)域一年一度的ImageNet競(jìng)賽中，多倫多大學(xué)的Geoffrey Hinton教授和兩個(gè)學(xué)生(Ilya Sutskever 和Alex Krizhevsky)的AlexNet橫空出世，把圖像識(shí)別的Top-5錯(cuò)誤率(給出的前N個(gè)答案中有一個(gè)是正確答案的概率)降低到了15.3%，比亞軍的26.5%低了41%)。

為了構(gòu)建識(shí)別成千上萬(wàn)圖像的系統(tǒng)，該團(tuán)隊(duì)采用了卷積神經(jīng)網(wǎng)絡(luò)。為避免數(shù)據(jù)過(guò)度擬合，AlexNet采用的神經(jīng)網(wǎng)絡(luò)還使用了數(shù)據(jù)擴(kuò)充(平移、翻轉(zhuǎn)等)，以及隨機(jī)(概率為0.5)“刪除”(dropout)一些神經(jīng)元來(lái)減少工作量等。

Geoffrey Hinton教授當(dāng)時(shí)強(qiáng)調(diào)，深度對(duì)最終的識(shí)別精度尤為重要。深度學(xué)習(xí)技術(shù)由此引起了廣泛關(guān)注。它從圖像識(shí)別領(lǐng)域逐漸擴(kuò)展開(kāi)來(lái)，神經(jīng)網(wǎng)絡(luò)概念也隨之井噴。

 

 

強(qiáng)化學(xué)習(xí)興起

在深度學(xué)習(xí)推廣數(shù)年后，人工智能發(fā)生了迄今為止的最后一次重要轉(zhuǎn)變，即強(qiáng)化學(xué)習(xí)的興起。

機(jī)器學(xué)習(xí)算法可以分為三種：有監(jiān)督的學(xué)習(xí)，無(wú)監(jiān)督的學(xué)習(xí)，以及強(qiáng)化學(xué)習(xí)。

有監(jiān)督的學(xué)習(xí)給機(jī)器提供已經(jīng)標(biāo)記過(guò)的數(shù)據(jù)，機(jī)器學(xué)習(xí)的那些行為都是正確的行為。例如，標(biāo)記過(guò)的花卉數(shù)據(jù)集告訴正在學(xué)習(xí)的機(jī)器模型，哪些照片分別是玫瑰、雛菊和水仙。而在給出一張測(cè)試圖像時(shí)，機(jī)器應(yīng)該把它和學(xué)習(xí)的數(shù)據(jù)進(jìn)行對(duì)比，判斷那是玫瑰、雛菊還是水仙。

有監(jiān)督的學(xué)習(xí)最適用于解決有參照背景的問(wèn)題。例如物品分類(lèi)，或是基于面積、位置和公交便利程度判斷住宅價(jià)格。所以，它是是最常用的也是最實(shí)用的機(jī)器學(xué)習(xí)算法。

標(biāo)記數(shù)據(jù)集并不容易，所以也有無(wú)監(jiān)督的學(xué)習(xí)。提供給無(wú)監(jiān)督學(xué)習(xí)的數(shù)據(jù)集沒(méi)有特定的期望結(jié)果，或是正確答案。機(jī)器需要自己提取特征和規(guī)律，來(lái)理解數(shù)據(jù)。

無(wú)監(jiān)督學(xué)習(xí)的應(yīng)用場(chǎng)景，包括銀行通過(guò)賬戶(hù)異常行為判斷虛假交易，電商通過(guò)已經(jīng)加入到購(gòu)物車(chē)的產(chǎn)品，推薦相關(guān)的其他產(chǎn)品等。

過(guò)去幾年里，強(qiáng)化學(xué)習(xí)在研究領(lǐng)域的出現(xiàn)頻率迅速提高。強(qiáng)化學(xué)習(xí)同樣也采用未經(jīng)標(biāo)記的數(shù)據(jù)，但與無(wú)監(jiān)督學(xué)習(xí)不同地是，強(qiáng)化學(xué)習(xí)還模擬了訓(xùn)練動(dòng)物地過(guò)程，對(duì)進(jìn)行學(xué)習(xí)的機(jī)器提供“獎(jiǎng)懲機(jī)制”，在執(zhí)行最優(yōu)解時(shí)提供反饋。

 

 

和深度學(xué)習(xí)一樣地，強(qiáng)化學(xué)習(xí)也是通過(guò)里程碑式的突破，才引起了研究者的注意。2015年，DeepMind的AlphaGo在強(qiáng)化學(xué)習(xí)訓(xùn)練下，成長(zhǎng)為可以擊敗代表人類(lèi)最高水平的圍棋棋手，讓埋沒(méi)數(shù)十年地強(qiáng)化學(xué)習(xí)再次走到大眾視線中。

而游戲本身，也是強(qiáng)化學(xué)習(xí)最好的渠道——它的獎(jiǎng)勵(lì)機(jī)制足夠明確。在機(jī)器作出了正確選擇后，它會(huì)獲得“勝利”的反饋，而這樣的反饋越多，機(jī)器越能選擇正確的策略。

下一個(gè)十年的AI趨勢(shì)

從過(guò)去二十多年的經(jīng)驗(yàn)來(lái)看，人工智能領(lǐng)域并沒(méi)有出現(xiàn)什么明顯的新技術(shù)。各種技術(shù)在研究界的地位起起落落，但熱門(mén)的種種技術(shù)，許多都起源于同一時(shí)間，即上世紀(jì)50年代左右。

以神經(jīng)網(wǎng)絡(luò)為例，它在60年代統(tǒng)治AI屆，80年代也有些存在感，而在2012年卷土重來(lái)之前，這一概念瀕臨滅絕。

每一個(gè)10年里，都有不同的技術(shù)統(tǒng)領(lǐng)AI研究，華盛頓大學(xué)教授、The Master Alogrithm一書(shū)作者Pedro Domingos 稱(chēng)，2020年代也不會(huì)有什么不同，意味著深度學(xué)習(xí)的時(shí)代可能也很快就要終結(jié)。

參考資料

Karen Hao, MIT Technology Review, We analyzed 16,625 papers to figure out where AI is headed next, January 25, 2019

Geoffrey Hinton, Ilya Sutskever, Alex Krizhevsky, ImageNet Classification with Deep Convolutional Neural Networks, 2012

Isha Salian, NVIDIA blog, SuperVize Me: What’s the Difference Between Supervised, Unsupervised, Semi-Supervised and Reinforcement Learning?, August 2, 2018

自 華爾街見(jiàn)聞

標(biāo)簽： 電商 數(shù)據(jù)庫(kù) 推廣 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。