深度神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)是既強(qiáng)大又受歡迎的算法。這兩種算法取得的成功主要?dú)w功于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的巧妙設(shè)計(jì)。

我們來回顧一下，神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)在過去幾年以及在深度學(xué)習(xí)中的發(fā)展歷程。

這篇文章對(duì)所有網(wǎng)絡(luò)進(jìn)行了一次更為深入的分析和比較，詳情請(qǐng)閱讀我們發(fā)表的文章：

https://arxiv.org/abs/1605.07678

這是文章中的一張具有代表性的圖表，如下所示：

在多種受歡迎的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，大部分的操作需要進(jìn)行一個(gè)簡單的向前推算，從而得出單一的 Top-1 準(zhǔn)確率。

LeNet5

LeNet5 網(wǎng)絡(luò)于1994年問世，是最早的卷積神經(jīng)網(wǎng)絡(luò)之一，推動(dòng)了深度學(xué)習(xí)領(lǐng)域的發(fā)展。自1988年起，在經(jīng)過多次先前成功的迭代發(fā)展之后，揚(yáng)·勒丘恩(Yann LeCun)開創(chuàng)性的研發(fā)出了 LeNet5 網(wǎng)絡(luò)。

LeNet5 結(jié)構(gòu)是非�；�礎(chǔ)的 ，特別是觀察那些分布在整個(gè)圖像上的圖像特征時(shí)，其可以利用卷積神經(jīng)網(wǎng)絡(luò)中可學(xué)參數(shù)在多位置上利用少量參數(shù)有效地抽取相似特點(diǎn)。與此同時(shí)，這里沒有 GPU 幫助訓(xùn)練，而且 CPUs 運(yùn)行速度也非常緩慢。因此，LeNet5 最為重要的優(yōu)勢就是能夠精簡參數(shù)和計(jì)算。

這與把每個(gè)像素當(dāng)做一個(gè)龐大多層神經(jīng)網(wǎng)絡(luò)的單獨(dú)輸入的理念完全相悖。 LeNet5 結(jié)構(gòu)表明，不應(yīng)該在第一層中使用像素，因?yàn)閳D像與空間相關(guān)度非常高，所以把圖像的單獨(dú)像素作為單獨(dú)輸入特性將導(dǎo)致無法使用相關(guān)的圖像。

LeNet5 結(jié)構(gòu)特點(diǎn)如下：

• 卷積神經(jīng)網(wǎng)絡(luò)利用3個(gè)層式的序列：卷積，池以及非線性——根據(jù)這篇文章所講述的內(nèi)容，我們知道這可能就是深度學(xué)習(xí)中圖像的關(guān)鍵特性；

• 利用卷積網(wǎng)絡(luò)提取空間特征；

• 子樣品利用空間平均地圖；

• tanh 和 signoids 函數(shù)的非線性特征；

• 多層神經(jīng)網(wǎng)絡(luò)（MLP）作為最終分類器；

• 在層式之間放置零星的連接矩陣來規(guī)避大量計(jì)算。

總體來說，LeNet5 結(jié)構(gòu)不但是近代大部分神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的鼻祖，而且也極大地鼓舞著該領(lǐng)域的研究工作人員。

The gap

從1998年到2010年，這段時(shí)間神經(jīng)網(wǎng)絡(luò)處于蓄勢待發(fā)的狀態(tài)。因?yàn)樵S多其他領(lǐng)域研究人員的研究進(jìn)展緩慢，所以大部分人沒有留意神經(jīng)網(wǎng)絡(luò)的功能日益強(qiáng)大。由于手機(jī)相機(jī)和廉價(jià)數(shù)碼相機(jī)的興起，神經(jīng)網(wǎng)絡(luò)獲得了越來越多的數(shù)據(jù)。同時(shí)，計(jì)算能力有所提高，CPU 運(yùn)行速度加快，GPU 也成為了通用的計(jì)算工具。

Dan Ciresan Net

2010年，Dan Claudiu Ciresan 和 JurgenSchmidhuber 聯(lián)合發(fā)布了其中一個(gè)最早問世的 GPU 神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。實(shí)現(xiàn)了在一個(gè)運(yùn)行高達(dá)九層神經(jīng)網(wǎng)絡(luò)的 NVIDIA GTX 280 圖形處理器中執(zhí)行前向和后向推算的功能。

AlexNet

2012年， Alex Krizhevsky 發(fā)布了比 LeNet 網(wǎng)絡(luò)功能更強(qiáng)大的 AlexNet 網(wǎng)絡(luò) ，并且 AlexNet 網(wǎng)絡(luò)在高難度的 ImageNet 比賽中以絕對(duì)的優(yōu)勢獲勝。

AlexNet 網(wǎng)絡(luò)將 LeNet 網(wǎng)絡(luò)改造成了一個(gè)更為龐大的神經(jīng)網(wǎng)絡(luò)，這樣 AlexNet 網(wǎng)絡(luò)就能夠用于學(xué)習(xí)更為復(fù)雜的對(duì)象以及對(duì)象的層次結(jié)構(gòu)。以下是 AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)的貢獻(xiàn)：

• 把被修正的線性單元(ReLU)當(dāng)作非線性。

• 在進(jìn)行訓(xùn)練時(shí)，利用 dropout 技術(shù)有選擇性的忽略單個(gè)神經(jīng)元，避免模型過度擬合。

• 疊加 max pooling，避免平均 pooling 的平均效應(yīng)。

• 利用 GPUs（圖形處理器） NVIDIA GTX 580 來縮短訓(xùn)練時(shí)間。

此時(shí)，GPU 所提供的內(nèi)核數(shù)量遠(yuǎn)大于 CPU 并且將培訓(xùn)時(shí)間縮減成了原來的十分一，也就是說，此時(shí)我們可以使用更大的數(shù)據(jù)集和圖像了。

AlexNet 網(wǎng)絡(luò)的成功掀起了一場小型的革命。卷積神經(jīng)網(wǎng)絡(luò)成為“能解決現(xiàn)今有意義任務(wù)的大型神經(jīng)網(wǎng)絡(luò)”的新名稱。如今，卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的研究主力。

Overfeat

2013年12月， Yann LeCun 在紐約大學(xué)實(shí)驗(yàn)室提出了 AlexNet 網(wǎng)絡(luò)的衍生品 Overfeat 算法 。本篇文章還建議學(xué)習(xí)之后經(jīng)常在其它相同課題的文章中出現(xiàn)的邊界盒。我覺得最好還是去學(xué)習(xí)分割對(duì)象而不是學(xué)習(xí)人工邊界盒。

VGG

由牛津大學(xué)提出來的 VGG 網(wǎng)絡(luò)是首款在每層卷積網(wǎng)絡(luò)中使用比 3*3 還要小的過濾器的網(wǎng)絡(luò)，而且還把它們組合成了一系列的卷積。

這看起來與 LeNet 網(wǎng)絡(luò)利用大量的卷積捕捉圖像中相似特征的原則相悖。過濾器開始變得越來越小，LeNet 網(wǎng)絡(luò)想要避免越靠近 infamous1*1 卷積就越危險(xiǎn)的情況，至少不能在在網(wǎng)絡(luò)第一層中發(fā)生這種狀況，所以只能替換掉 AlexNet 網(wǎng)絡(luò) 9*9 或者 11*11 的過濾器。但是，VGG 網(wǎng)絡(luò)的優(yōu)勢在于可以觀察按照一定次序多重 3*3 的卷積來仿真諸如 5*5 和 7*7 這樣更大的接受域的效果。在 Inception 和 ResNet 這樣較新的網(wǎng)絡(luò)結(jié)構(gòu)中也會(huì)應(yīng)用到這些想法。

VGG 網(wǎng)絡(luò)利用多重 3*3 卷積層來呈現(xiàn)復(fù)雜的特性。請(qǐng)注意 VGG-E 模塊 3、4、5 的數(shù)值分別是 256*256 和 512*512，在序列里多次使用 3*3 過濾器來提取更為復(fù)雜的特性以及這些特性的組合。實(shí)際上，這就像是利用3層獲得了大的 512*512 分類器。這就是卷積！這顯然是大量參數(shù)以及學(xué)習(xí)力共同作用的結(jié)果。但是訓(xùn)練這些網(wǎng)絡(luò)非常困難，而且必須把這些網(wǎng)絡(luò)分解成更小的神經(jīng)網(wǎng)絡(luò)，對(duì)他們進(jìn)行逐層訓(xùn)練。這么做的原因就是缺少強(qiáng)力有效地辦法來調(diào)整模型或者在某種程度上是對(duì)利用大量的參數(shù)來提高大量搜索空間的辦法予以限制。

VGG 網(wǎng)絡(luò)在許多層都使用了大特征尺寸，因此在運(yùn)行期間，推斷造成的損耗異常嚴(yán)重。如 Inception 瓶頸效應(yīng)那樣，減少特性的數(shù)量會(huì)縮減計(jì)算成本。

Network-in-network

Network-in-network(NiN)能夠簡便有效地觀察利用 1*1 卷積給卷積層特性提供更強(qiáng)的組合力量。

NiN 結(jié)構(gòu)在每個(gè)卷積后使用MLP空間層是為了在另一個(gè)層中更好的組合特性。舊事重提，有人可能想起 1*1 卷積與 LeNet 初始原則相悖，可是，實(shí)際上，這兩種結(jié)構(gòu)用更好的方式幫助組合卷積特性，單純的堆積更多的卷積層是不可能完成這項(xiàng)任務(wù)的。這就是利用原生像素輸入到下一層的不同之處。在這里，卷積之后，利用 1*1 卷積在特性圖譜上進(jìn)行空間性的組合特性，所以他們有效地使用了少量參數(shù)，分享了這些特性的所有像素！

MLP 的性能通過把這些卷積特性組合成更為復(fù)雜的群組來大大的提高單個(gè)卷積特性的有效性。這一想法近期將會(huì)被應(yīng)用在諸如 ResNet、Inception 以及相關(guān)衍生品的最新結(jié)構(gòu)中。

NiN 還利用平均池化層(average pooling layer)作為最終分離器的一部分，另外一項(xiàng)活動(dòng)就會(huì)變得普通。這樣做是為了在分類之前使平均網(wǎng)絡(luò)對(duì)輸入的圖片進(jìn)行多路回應(yīng)。

GoogLeNet 和 Inception

Google 公司的 Christian Szegedy 進(jìn)行一項(xiàng)致力于減輕深度神經(jīng)網(wǎng)絡(luò)的計(jì)算負(fù)擔(dān)研究，然后設(shè)計(jì)了首款名為 GoogLeNet 的 Inception 結(jié)構(gòu)。

到2014年的秋天為止，深度學(xué)習(xí)模塊分類在圖像內(nèi)容和視頻幀方面表現(xiàn)的非常優(yōu)異。大部分的懷疑者都已經(jīng)承認(rèn)，深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的熱潮已經(jīng)回來了。如果了解這些技術(shù)所能發(fā)揮的作用，那么像 Goolge 這樣的互聯(lián)網(wǎng)巨頭就會(huì)非常有興趣在他們的服務(wù)器農(nóng)場中大規(guī)模的部署這些有效地結(jié)構(gòu)。

Christian 想出了許多既能保證運(yùn)行的性能，又能減輕深度神經(jīng)網(wǎng)絡(luò)計(jì)算負(fù)擔(dān)的方法（比如在 ImageNet 上）。又或者，在提升性能的同時(shí)保持計(jì)算成本不變。

Christian 和他的團(tuán)隊(duì)研究出了 inception 模塊，如圖所示：

基本上，第一眼看到的就是平行組合的 1*1、3*3 以及 5*5 的卷積過濾器。但是 inception 模塊的觀察力杰出是因?yàn)樵谙�耗平行塊之前就已經(jīng)利用了1*1卷積塊(NiN)來減少特性的數(shù)量。我們通常將其稱為“瓶頸”。這需要單獨(dú)講解：請(qǐng)閱讀下面“瓶頸層”的相關(guān)內(nèi)容。

Google 選取 stem 以及與 NiN 相似的平均池化(average pooling)和 softmax 分類器作為初始層，而未選用 inception 模塊。與 AlexNet 和 VGG 中的分類器相比，softmax 分類器的操作數(shù)量非常低。這要?dú)w功于一個(gè)非常有效的網(wǎng)絡(luò)設(shè)計(jì)。

Bottleneck layer（瓶頸層）

受到 NiN 網(wǎng)絡(luò)的啟發(fā)，Inception 的瓶頸層正在削減每一層的特性數(shù)量以及操作步驟，所以能夠持續(xù)縮短推理時(shí)間。在還沒有把數(shù)據(jù)傳輸?shù)较�耗卷積模塊中的時(shí)候，特性的數(shù)量就銳減到了原來的 1/4。這就使得計(jì)算成本得以大幅度縮減，同時(shí)又推動(dòng)了這種結(jié)構(gòu)的成功。

讓我們來仔細(xì)的檢查一下。假設(shè)有256個(gè)特性輸入，又有256個(gè)特性輸出，而且 Inception 層只能運(yùn)行3*3卷積。那么256*256*3*3卷積必須執(zhí)行（使用乘法累加器或者 MAC 操作所得結(jié)果是589000s）。這可能就不只是計(jì)算負(fù)擔(dān)的問題，需要在 Google 的服務(wù)器上以0.5毫秒的速度來運(yùn)行這一個(gè)層。反其道行之，我們決定通過卷起這些特性的方法來消減其數(shù)量，也就是說256變成64。假若如此，我們首次運(yùn)行256-> 64 1×1卷積后，Inception 的所有分支都是64個(gè)特性的卷積，然后我們?cè)僖淮卫��?*1卷積從64個(gè)特性變回到256個(gè)特性。操作過程如下：

• 256 × 64 × 1 × 1 = 16,000s

• 64 × 64 × 3 × 3 = 36,000s

• 64 × 256 × 1 × 1 = 16,000s

我們之前的計(jì)算成本約為 600,000，而現(xiàn)在只有 70,000！竟相差了近十倍！

雖然計(jì)算成本減少了，但是我們并沒有丟棄這個(gè)層里的普遍性。事實(shí)上，瓶頸層已經(jīng)被證明是執(zhí)行 ImageNet 數(shù)據(jù)集中的先有技術(shù)，比如說，瓶頸層稍后也會(huì)應(yīng)用在諸如 ResNet 這樣的結(jié)構(gòu)中。

成功的原因是輸入的特性相互關(guān)聯(lián)，而后通過利用 1*1 卷積來合理的組合特性從而清除冗余。然后，卷集成數(shù)量更少的特性以后，這些特性可以在下一層再次放大進(jìn)行有意義的組合。

Inception V3 (and V2)

Christian 和其團(tuán)隊(duì)成員的研究效率非常高。2015年2月，Batchnormalized Inception被引進(jìn)，稱為 Inception V2。Batchnormalized Inception 負(fù)責(zé)計(jì)算平均值和每層輸出中所有特征圖譜的標(biāo)準(zhǔn)偏差，而且還規(guī)范化了數(shù)值之間的回應(yīng)。這相當(dāng)于“美化”數(shù)據(jù)，然后使所有的神經(jīng)圖反應(yīng)一致，最后調(diào)到零均值。因?yàn)橄乱粚硬槐貙W(xué)習(xí)輸入數(shù)據(jù)中的偏移而且能夠?qū)Ｗ⒂谌绾涡纬勺罴烟匦越M合，所以這有助于訓(xùn)練。

2015年12月，他們發(fā)布了最新版的 Inception 模塊和相關(guān)結(jié)構(gòu)。這篇文章（網(wǎng)址：http://arxiv.org/abs/1512.00567）更好的解釋了初始的 GoogleNet 結(jié)構(gòu)，并且給出了許多設(shè)計(jì)選擇方面更為詳細(xì)的建議。初始想法列表：

• 最大化信息涌入網(wǎng)絡(luò)，通過精心構(gòu)建網(wǎng)絡(luò)來保持深度和寬度的平衡。在構(gòu)建pooling 之前，需要先增加特征圖譜。

• 當(dāng)深度加深，特性的數(shù)量或者層的寬度也會(huì)隨之按一定規(guī)律增長。

• 在下一層之前，利用每層的寬度增長來提高特性的組合。

• 已知 5*5 和 7*7 的過濾器能用多層 3*3 分解，如果可以的話，只使用 3*3 卷積。請(qǐng)看下圖：

• 新版的inception模塊是這樣的，如圖所示：

• 過濾器通過卷積壓縮精簡也能被分解進(jìn)入更為復(fù)雜的模塊，如圖所示：

• 在運(yùn)行inception計(jì)算時(shí)，通過支持poolinginception模塊也能縮減數(shù)據(jù)的大小。這基本上與同時(shí)利用跨度和一個(gè)簡單的pooling層運(yùn)行卷積的原理相同，如圖所示：

Inception 仍然使用 pooling 層和 softmax 作為其最終的分類器。

ResNet

2015年12月，一場革命悄然而至，Inception V3 也在此時(shí)問世。ResNet 有一個(gè)簡單想法就是：同時(shí)供應(yīng)兩個(gè)連續(xù)的卷積層輸出，同時(shí)繞開下一層的輸入！

這是與這個(gè)相似的老想法，網(wǎng)址：

http://yann.lecun.com/exdb/publis/pdf/sermanet-ijcnn-11.pdf

但是，在這里，他們繞開兩層并且被應(yīng)用到大尺度上。因?yàn)槔@開單層無法獲得大幅度的提高，所以繞開兩層就成了關(guān)鍵點(diǎn)�？梢园堰@兩層看作一個(gè)小的過濾器或者是一個(gè)網(wǎng)中網(wǎng)。

這是首次出現(xiàn)大于百層的網(wǎng)絡(luò)，需要訓(xùn)練的層甚至達(dá)到了 1000 層。

擁有大量層的 ResNet 開始利用與 Inception 瓶頸相似的瓶頸層，如圖所示：

這種層消減特性數(shù)量就是在每層通過利用 1*1 卷積伴隨著更小的輸出（通常是1/4的輸入），然后是一個(gè) 3*3 的層，接下來再用 1*1 卷積獲得相對(duì)大量的特性。就像在 Inception 模塊中，雖然支持豐富的特征組合，但是卻保持了低的計(jì)算成本�？赐赀^“GoogLeNet and Inception”這部分之后，請(qǐng)閱讀“瓶頸層”。

ResNet 在輸入時(shí)采用了一個(gè)相當(dāng)簡單的初始層(stem)：一個(gè)7*7卷積層附帶著一個(gè)標(biāo)記為2的pool層。我們可以將其與更為復(fù)雜更為不直觀的 Inception V3、 V4 做一下對(duì)比。

ResNet 還是利用一個(gè) pooling 層外加 softmax 作為最終過濾器。

ResNet 結(jié)構(gòu)每天都會(huì)有新的見解：

• ResNet既可以被看做是平行模塊也可以被看做是系列模塊，這是因?yàn)楹芏噙M(jìn)出的模塊都是平行的，然而每個(gè)模塊的輸出都是串聯(lián)的。

• ResNet還可以被認(rèn)為是平行或者連續(xù)模塊的多種集成。

• 我們已經(jīng)發(fā)現(xiàn)，ResNet經(jīng)�？梢栽谙鄬�(duì)較低（大約20-30）的深度塊上運(yùn)行，運(yùn)行的時(shí)候是平行的，而不是連續(xù)涌入貫穿整個(gè)網(wǎng)絡(luò)。

• 當(dāng)ResNet輸出信息把消息反饋給輸入信息時(shí)，如果在RNN中，那么網(wǎng)絡(luò)可以被看作是更好的皮質(zhì)生物仿真模塊。

Inception V4

Christian 和他的團(tuán)隊(duì)在此基礎(chǔ)上再次推出了新版的 Inception。

Inception 模塊與 Inception V3 中的 stem 非常相似，如圖所示：

Christian 和他的團(tuán)隊(duì)還把 Inception 模塊和 ResNet 模塊組合在一起，如圖所示：

在我看來，Christian 和他的團(tuán)隊(duì)這次想出來的解決辦法雖然不是那么前沿，反而會(huì)更加復(fù)雜些，但是卻能減少使用試探法的次數(shù)。很難理解為何做出如此選擇，而且研發(fā)者也很難對(duì)此做出判斷。

就這一點(diǎn)而言，獎(jiǎng)勵(lì)應(yīng)該頒發(fā)給像 ResNet 這樣的清晰簡單且易于理解和調(diào)整的網(wǎng)絡(luò)。

SqueezeNet

近期發(fā)布了 SqueezeNet，它對(duì) ResNet 和 Inception 的許多理念進(jìn)行了優(yōu)化。與此同時(shí)它也表明了，一個(gè)更好的結(jié)構(gòu)設(shè)計(jì)無需復(fù)雜的壓縮算法也能減少網(wǎng)絡(luò)的尺寸和相關(guān)的參數(shù)。

ENet

我們團(tuán)隊(duì)打算把近期所有的結(jié)構(gòu)特性整合成一個(gè)非常有效且輕質(zhì)的網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)利用非常少的參數(shù)和計(jì)算就能夠取得先前的技術(shù)成果。這款網(wǎng)絡(luò)結(jié)構(gòu)被命名為 ENet，它是由 Adam Paszke 設(shè)計(jì)的。我們已經(jīng)利用該網(wǎng)絡(luò)對(duì)圖片添加標(biāo)簽并對(duì)情景進(jìn)行分析。在這里你可以看到 ENet 中的一些視頻正在運(yùn)行（網(wǎng)址：https://www.youtube.com/watchv=3jq4FnO5Nco&list=PLNgy4gid0G9c4qiVBrERE_5v_b1pu-5pQ）。這些視頻不是訓(xùn)練數(shù)據(jù)集的一部分。

這是 ENet 的技術(shù)報(bào)告，網(wǎng)址：

https://arxiv.org/abs/1606.02147

ENet 是由編碼器和解碼器組成的網(wǎng)絡(luò)。編碼器是為 CNN 分類設(shè)計(jì)的普通軟件，但是解碼器是上采樣網(wǎng)為了把種類回傳到分割的原圖尺寸中而設(shè)計(jì)的。這項(xiàng)工作只用到了神經(jīng)網(wǎng)絡(luò)，無需使用其他的算法來執(zhí)行圖像分割。

正如你在圖表中看到的，ENet 的每個(gè)參數(shù)都具有極高的準(zhǔn)確性，并沒有使用任何其他的神經(jīng)網(wǎng)絡(luò)。

ENet 的設(shè)計(jì)初衷就是盡可能的減少資源的使用量。正如它取得的小小的成績，編碼和解碼網(wǎng)絡(luò)利用fp16精度同時(shí)運(yùn)行只占用了0.7MB。

暫用空間如此小，ENet 與上述其他神經(jīng)網(wǎng)絡(luò)解決切分正確率的辦法相似。

模塊分析

CNN 的模塊系統(tǒng)評(píng)估已經(jīng)有結(jié)果了。發(fā)現(xiàn)使用的模塊優(yōu)勢在于：

• 在不利用批量處理規(guī)范的情況下使用ELU的非線性特征，或者在利用批處理規(guī)范的同時(shí)使用ReLU。

• 應(yīng)用RGB學(xué)習(xí)色彩轉(zhuǎn)換。

• 利用線性學(xué)習(xí)率使規(guī)則衰退。

• 大量使用平均層和最高 pooling 層。

• 使用大約128或者256的 mini-batch。對(duì)于你的 GPU 來說，如果這個(gè)數(shù)據(jù)太大的話，可以適當(dāng)?shù)亟档蛯W(xué)習(xí)率以適應(yīng)批的大小。

• 利用全層對(duì)最后決定的預(yù)測進(jìn)行卷積和平均。

• 如果你不能增大輸入圖片的大小，那么減緩在順向?qū)又械目缍龋�這與上一條中所說的方法效果大致相同。

• 如果你的網(wǎng)絡(luò)擁有諸如 GoolgeNet 這樣既復(fù)雜又高度優(yōu)化的結(jié)構(gòu)，那么請(qǐng)注意小心地對(duì)待這些結(jié)構(gòu)的變形。

Xception

Xception 網(wǎng)絡(luò)是利用一個(gè)像 ResNet 和 InceptionV4 網(wǎng)絡(luò)這樣既簡單又更為優(yōu)雅的結(jié)構(gòu)對(duì) inception 模塊和結(jié)構(gòu)進(jìn)行優(yōu)化而來。

Xception 模塊，如圖所示：

任何人都會(huì)喜歡這款具有簡單優(yōu)雅結(jié)構(gòu)的網(wǎng)絡(luò)，如圖所示：

這個(gè)結(jié)構(gòu)有36個(gè)卷積階段，與 ResNet-34 非常相似。但是，其模塊和代碼跟 ResNet 一樣簡單，而且比 Inception V4 更易于理解。

Xception 網(wǎng)絡(luò)能夠?qū)崿F(xiàn) Torch7。也能實(shí)現(xiàn) Keras 或者 TF。

有趣的是，新版 Xception 結(jié)構(gòu)還是受到了我們所研究的分離卷積過濾器的啟發(fā)。

其它著名的結(jié)構(gòu)

FractalNet 網(wǎng)絡(luò)利用了遞歸結(jié)構(gòu)，可是其并未在 ImageNet 中進(jìn)行測試，F(xiàn)ractalNet 網(wǎng)絡(luò)是 ResNet 網(wǎng)絡(luò)的衍生品或者可以說是更為通用的 ResNet 網(wǎng)絡(luò)。

未來

我們相信講解神經(jīng)網(wǎng)絡(luò)機(jī)構(gòu)對(duì)深度學(xué)習(xí)的發(fā)展至關(guān)重要。我們團(tuán)隊(duì)建議大家仔細(xì)閱讀和理解這個(gè)帖子上所有的文章。

但是，現(xiàn)在大家可能會(huì)奇怪為什么我們花費(fèi)這么多時(shí)間講解結(jié)構(gòu)，而沒有利用數(shù)據(jù)告知大家如何選用這些網(wǎng)絡(luò)以及如何組模型。這是一個(gè)循序漸進(jìn)的過程，需要一步一步地進(jìn)行。以上我在文章中向大家呈現(xiàn)的內(nèi)容就是初期比較有趣的研究成功。

在這里大家還需要注意，我們主要討論的是計(jì)算視角下的結(jié)構(gòu)。這與源于其他領(lǐng)域的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)相似，而且學(xué)習(xí)其它任務(wù)的結(jié)構(gòu)進(jìn)化也是很有趣的。

本文作者

Eugenio Culurciello

在2004年，獲得了約翰霍普金斯大學(xué)電氣工程的博士學(xué)位，是威爾頓生物醫(yī)學(xué)工程學(xué)院、電氣與計(jì)算機(jī)工程學(xué)院和健康與人文科學(xué)學(xué)院的副教授。在2013年，Culurciello 博士創(chuàng)立了 TeraDeep ，一家專注于移動(dòng)協(xié)處理器和神經(jīng)網(wǎng)絡(luò)硬件設(shè)計(jì)的公司。

原文地址：

https://medium.com/towards-data-science/neural-network-architectures-156e5bad51ba

熱文推薦

環(huán)境搭建 | 深度學(xué)習(xí)愛好者如何配置帶GPU電腦環(huán)境

多圖｜入門必看：萬字長文帶你輕松了解LSTM全貌

最實(shí)用的機(jī)器學(xué)習(xí)算法優(yōu)缺點(diǎn)分析，沒有比這篇說得更好了

Chatbot大牛推薦：AI、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)必看9大入門視頻

一文讀懂Attention：臉書曾拿CNN秒殺谷歌，如今谷歌拿它秒殺所有人

活動(dòng)預(yù)告 ：中國國內(nèi)級(jí)別最高、規(guī)模最大的人工智能大會(huì)——中國人工智能大會(huì)（CCAI）將于7.22-7.23在杭州舉行，趕快掃描下方圖片中的二維碼或點(diǎn)擊【閱讀原文】火速搶票吧。

關(guān)于CCAI

中國人工智能大會(huì)（CCAI），由中國人工智能學(xué)會(huì)發(fā)起，目前已成功舉辦兩屆，是中國國內(nèi)級(jí)別最高、規(guī)模最大的人工智能大會(huì)。秉承前兩屆大會(huì)宗旨，由中國人工智能學(xué)會(huì)、阿里巴巴集團(tuán) & 螞蟻金服主辦，CSDN、中國科學(xué)院自動(dòng)化研究所承辦的第三屆中國人工智能大會(huì)（CCAI 2017）將于 7 月 22-23 日在杭州召開。

作為中國國內(nèi)高規(guī)格、規(guī)�？涨暗娜斯ぶ悄艽髸�(huì)，本次大會(huì)由中國科學(xué)院院士、中國人工智能學(xué)會(huì)副理事長譚鐵牛，阿里巴巴技術(shù)委員會(huì)主席王堅(jiān)，香港科技大學(xué)計(jì)算機(jī)系主任、AAAI Fellow 楊強(qiáng)，螞蟻金服副總裁、首席數(shù)據(jù)科學(xué)家漆遠(yuǎn)，南京大學(xué)教授、AAAI Fellow 周志華共同甄選出在人工智能領(lǐng)域本年度海內(nèi)外最值得關(guān)注的學(xué)術(shù)與研發(fā)進(jìn)展，匯聚了超過 40 位頂級(jí)人工智能專家，帶來 9 場權(quán)威主題報(bào)告，以及“語言智能與應(yīng)用論壇”、“智能金融論壇”、“人工智能科學(xué)與藝術(shù)論壇”、“人工智能青年論壇”4 大專題論壇，屆時(shí)將有超過 2000 位人工智能專業(yè)人士參與。

 

標(biāo)簽： Google 代碼 服務(wù)器 谷歌 互聯(lián)網(wǎng) 互聯(lián)網(wǎng)巨頭 金融 搜索 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。