唐杰老師學(xué)生幫忙整理的Deep Learning模型最近若干年的重要進(jìn)展。有4條脈絡(luò)，整理很不錯。分享一下。

track1 cv/tensor

1943年出現(xiàn)雛形，1958年研究認(rèn)知的心理學(xué)家Frank發(fā)明了感知機，當(dāng)時掀起一股熱潮。后來Marvin Minsky(人工智能大師)和Seymour Papert發(fā)現(xiàn)感知機的缺陷：不能處理異或回路、計算能力不足以處理大型神經(jīng)網(wǎng)絡(luò)。停滯!

1986年hinton正式地提出反向傳播訓(xùn)練MLP，盡管之前有人實際上這么做。

1979年，F(xiàn)ukushima 提出Neocognitron，有了卷積和池化的思想。

1998年，以Yann LeCun為首的研究人員實現(xiàn)了一個七層的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5以識別手寫數(shù)字。

后來svm興起，這些方法沒有很受重視。

2012年，Hinton組的AlexNet在ImageNet上以巨大優(yōu)勢奪冠，興起深度學(xué)習(xí)的熱潮。其實Alexnet是一個設(shè)計精巧的CNN，加上relu、dropout等技巧，并且更大。

這條思路被后人發(fā)展，出現(xiàn)了vgg、GooLenet等。

2016年，青年計算機視覺科學(xué)家何愷明在層次之間加入跳躍連接，Resnet極大增加了網(wǎng)絡(luò)深度，效果有很大提升。一個將這個思路繼續(xù)發(fā)展下去的是去年cvpr best paper densenet。

cv領(lǐng)域的特定任務(wù)出現(xiàn)了各種各樣的模型(Mask-RCNN等)，這里不一一介紹。

2017年，hinton認(rèn)為反省傳播和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)有缺陷，提出Capsule Net。但是目前在cifar等數(shù)據(jù)集上效果一半，這個思路還需要繼續(xù)驗證和發(fā)展。

track2 生成模型

傳統(tǒng)的生成模型是要預(yù)測聯(lián)合概率分布P(x,y)。

rbm這個模型其實是一個基于能量的模型，1986年的時候就有，他在2006年的時候重新拿出來作為一個生成模型，并且將其堆疊成為deep belief network，使用逐層貪婪或者wake-sleep的方法訓(xùn)練，不過這個模型效果也一般現(xiàn)在已經(jīng)沒什么人提了。但是從此開始hinton等人開始使用深度學(xué)習(xí)重新包裝神經(jīng)網(wǎng)絡(luò)。

Auto-Encoder也是上個世紀(jì)80年代hinton就提出的模型，此時由于計算能力的進(jìn)步也重新登上舞臺。bengio等人又搞了denoise Auto-Encoder。

Max welling等人使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練一個有一層隱變量的圖模型，由于使用了變分推斷，并且最后長得跟auto-encoder有點像，被稱為Variational auto-encoder。此模型中可以通過隱變量的分布采樣，經(jīng)過后面的decoder網(wǎng)絡(luò)直接生成樣本。

GAN是2014年提出的非�；鸬哪Ｐ�，他是一個隱的生成模型，通過一個判別器和生成器的對抗訓(xùn)練，直接使用神經(jīng)網(wǎng)絡(luò)G隱式建模樣本整體的概率分布，每次運行相當(dāng)于從分布中采樣。

DCGAN是一個相當(dāng)好的卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)，WGAN是通過維爾斯特拉斯距離替換原來的JS散度來度量分布之間的相似性的工作，使得訓(xùn)練穩(wěn)定。PGGAN逐層增大網(wǎng)絡(luò)，生成機器逼真的人臉。

track3 sequence learning

1982年出現(xiàn)的hopfield network有了遞歸網(wǎng)絡(luò)的思想。1997年Jürgen Schmidhuber發(fā)明LSTM，并做了一系列的工作。但是更有影響力的是2013年還是hinton組使用RNN做的語音識別工作，比傳統(tǒng)方法高出一大截。

文本方面bengio在svm最火的時期提出了一種基于神經(jīng)網(wǎng)絡(luò)的語言模型，后來google提出的word2vec也有一些反向傳播的思想。在機器翻譯等任務(wù)上逐漸出現(xiàn)了以RNN為基礎(chǔ)的seq2seq模型，通過一個encoder把一句話的語義信息壓成向量再通過decoder輸出，當(dāng)然更多的要和attention的方法結(jié)合。

后來前幾年大家發(fā)現(xiàn)使用以字符為單位的CNN模型在很多語言任務(wù)也有不俗的表現(xiàn)，而且時空消耗更少。self-attention實際上就是采取一種結(jié)構(gòu)去同時考慮同一序列局部和全局的信息，google有一篇聳人聽聞的attention is all you need的文章。

track4：deep reinforcement learning

這個領(lǐng)域最出名的是deep mind，這里列出的David Silver是一直研究rl的高管。

q-learning是很有名的傳統(tǒng)rl算法，deep q-learning將原來的q值表用神經(jīng)網(wǎng)絡(luò)代替，做了一個打磚塊的任務(wù)很有名。后來有測試很多游戲，發(fā)在Nature。這個思路有一些進(jìn)展double dueling，主要是Qlearning的權(quán)重更新時序上。

DeepMind的其他工作DDPG、A3C也非常有名，他們是基于policy gradient和神經(jīng)網(wǎng)絡(luò)結(jié)合的變種(但是我實在是沒時間去研究)。

一個應(yīng)用是AlphaGo大家都知道，里面其實用了rl的方法也有傳統(tǒng)的蒙特卡洛搜索技巧。Alpha Zero 是他們搞了一個用alphago框架打其他棋類游戲的游戲，吊打。

 

本文作者：丁銘，唐杰

標(biāo)簽： Google vps 搜索 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。