人工智能和深度學(xué)習(xí)太火了，火得一塌糊涂，有很多人想從事這個行業(yè)。網(wǎng)絡(luò)上也有很多教程可供大家開始深度學(xué)習(xí)。如果你完全是一個小白，那么你可以在入行時選擇使用極好的斯坦福課程CS221或[CS224]()，F(xiàn)ast AI課程或深度學(xué)習(xí)AI課程。除了深度學(xué)習(xí)AI之外的課程，其它的課程都可以在家中舒適地免費學(xué)習(xí)。此外，你只需要一臺好的計算機（最好使用Nvidia GPU），就可以正式地邁出深度學(xué)習(xí)的第一步。

然而，本文內(nèi)容并沒有解決絕對的初學(xué)者問題，一旦你對深度學(xué)習(xí)算法的工作方式有了一些感覺，你可能會想要進一步地了解整個過程是如何運作的。雖然深度學(xué)習(xí)中的大多數(shù)工作是添加像卷積層（Conv2d）這樣的層、在ADAM等不同類型的優(yōu)化策略中更改超參數(shù)或者通過編寫一行命令來改變使用Batchnorm。深度學(xué)習(xí)方法一直被人稱為是一個“黑匣子”，很多人可能會想知道背后發(fā)生的事情。本文是一個資源列表，可能會幫助你了解背后的過程，比方說放置卷積層或在Theano中調(diào)用T.grad時發(fā)生的過程。

 

論文|General Treatise

 

深度學(xué)習(xí)花書（Deep Learning Book）是最知名的資源，一直占據(jù)各大電商相關(guān)書籍排行榜的第一位。其他很好的資源是Charniak教授的課程和論文，主要是關(guān)于深度學(xué)習(xí)技術(shù)的介紹。如果還想從特定的角度理解事物，還有其他的一些資源可能需要學(xué)習(xí)。例如，本教程是從應(yīng)用數(shù)學(xué)家的角度編寫的，如果你只是想在沒有任何理論基礎(chǔ)的情況下開始編程實踐，那么請閱讀這個資源。另外推薦的一個資源是關(guān)于PyTorch的深度學(xué)習(xí)課程，該課程將自下而上地對內(nèi)容進行討論，幫助你開闊視角。

 

關(guān)于反向傳播的問題|Backpropogation

 

在很多時候，進入深度學(xué)習(xí)領(lǐng)域前，需要掌握的第一個算法就是反向傳播（Backpropogation）算法，這是因為神經(jīng)網(wǎng)絡(luò)中的參數(shù)更新方法過程大多數(shù)是反向傳播算法。當(dāng)你不知道“梯度下降和反向傳播有什么關(guān)聯(lián)？”或“鏈?zhǔn)椒▌t和反向傳播究竟是什么？”時，為了理解基礎(chǔ)知識，我們可以選擇去閱讀Rumelhart、Hinton和Williams的原始論文，這篇論文是一篇非常簡單易懂的文章。

其他一些非常有用的資源可以在此閱讀完原始論文的基礎(chǔ)上，進一步閱讀Karpathy關(guān)于反向推導(dǎo)的博客和解釋反向推導(dǎo)的視頻。

 

線性代數(shù)和其他數(shù)學(xué)|Linear Algebra & other Maths

 

任何有志于學(xué)習(xí)線性代數(shù)的人都會人轉(zhuǎn)向?qū)W習(xí)Strang教授的課程，這個課程可能是市面上學(xué)習(xí)線性代數(shù)的最佳資源。類似于Boyd教授的優(yōu)化課程或矢量微積分的微積分書（可以在網(wǎng)絡(luò)上找到pdf電子版）。 然而，人們并不需要完全地學(xué)會這些資源，深度學(xué)習(xí)所需要的數(shù)學(xué)知識深度沒有那么的深。一個非常好的快速入門方法就是快速地復(fù)習(xí)一遍所有必備的微積分深度學(xué)習(xí)課程。還有一套非常好的講義，該講義只關(guān)注深度學(xué)習(xí)中使用的凸優(yōu)化理論。另外一個很好的資源是Sebastian Reuder的論文。

 

自動微分和深度學(xué)習(xí)框架|Automatic Differentiation & Deep Learning Libraries

 

進行深度學(xué)習(xí)時，自動微分法（Automatic Differentiation）并不是你必須知道的知識。對于大大多數(shù)框架而言，比如Torch、Theano或tensorflow都會自動地為你完成這個算法。在大多數(shù)情況下，你甚至不必知道如何進行微分，也就是說，如果你決定進一步深入了解深度學(xué)習(xí)框架的工作原理，那么你可能需要了解自動微分法是如何工作的。了解深度學(xué)框架庫功能其它的好資源可以在這個博客和視頻中找到。

 

卷積神經(jīng)網(wǎng)絡(luò)|Convolutional Neural Networks

 

當(dāng)你完成一些使逆能夠使用基本神經(jīng)網(wǎng)絡(luò)的課程后，你可能需要的最有用的知識是了解卷積處理圖像的過程。 “在輸入上應(yīng)用某種類型的卷積后，輸出形狀是什么？”、“步幅（stride）如何影響卷積？”，“什么是批量標(biāo)準(zhǔn)化（Batch Normalization）？”等類似的內(nèi)容。我在遇到這些類型的應(yīng)用問題時，找到的兩個最好的資源是該教程和Ian Goodfellow的討論。如果你有其它的想法，可以在這里對卷積網(wǎng)絡(luò)進行更全面的評論。這篇關(guān)于對象檢測的綜述性文章是關(guān)于卷積神經(jīng)網(wǎng)絡(luò)這一主題非常好的資源。

 

深度學(xué)習(xí)中的自然語言處理|NLP

 

之前指出，斯坦福大學(xué)C224課程是學(xué)習(xí)NLP的一個非常好的起點，在學(xué)習(xí)完該課程之后，應(yīng)該能夠?qū)λ�有的事情處理得很好。此外，還有Graham Neubig（使用dynet工具包）在youtube上的課程以及Yoav Goldberg的NLP書，還有一份關(guān)于NLP進展的綜述性文章在此。關(guān)于是否在文本上使用CNN或RNN（LSTM / GRU）還有一個公開討論的問題，這里有一個很好的概述。

 

強化學(xué)習(xí)|Reinforcement Learning

 

sutton和Barto（1998）可以說是強化學(xué)習(xí)領(lǐng)域的一本圣經(jīng)，這本書是免費的，可以在這里獲取。這個資源提供了一份對最近的深度強化學(xué)習(xí)方法非常好的回顧，這個資源有關(guān)于強化學(xué)習(xí)的非常有趣的教程。

蒙特卡洛樹搜索（Monte Carlo Tree Search）（這是Deepmind除了深度強化學(xué)習(xí)技術(shù)之外的AlphaGo算法的一部分）的詳細(xì)介紹在此，但我使用一個快速教程來理解它。

 

其他一些好的綜述/教程|reviews & tutorials

 

關(guān)于GAN（生成性對抗網(wǎng)絡(luò)）和生成模型的一個很好的教程是Goodfellow在ICLR 2016中給出，可以在這里找到。神經(jīng)網(wǎng)絡(luò)已被用于遷移藝術(shù)（例如在Prisma應(yīng)用程序中），可以在此處找到有關(guān)方法的詳細(xì)介紹。 Reuder對多任務(wù)學(xué)習(xí)（由同一神經(jīng)網(wǎng)絡(luò)組合多個任務(wù)）的另外一個很好的調(diào)查研究可以在此查看。

 

評論|Criticisms

 

盡管深度學(xué)習(xí)在多個任務(wù)上的表現(xiàn)十分出色，但我們自己心里清楚，還有一些地方尚未明確或效果不好。一些好的評論是Shalev-Shwartz等人關(guān)于基于梯度學(xué)習(xí)算法的失敗，還有在Hinton大牛的演講中列舉出的一些關(guān)于卷積神經(jīng)網(wǎng)絡(luò)的問題，以及卷積神經(jīng)網(wǎng)絡(luò)如何解讀它們所訓(xùn)練的圖像的負(fù)面影響。此處的一個評論在幾天之后就變成了病毒性/爭議性的話題，還有關(guān)于惡意使用深度學(xué)習(xí)的廣泛報道。

 

對抗性樣本|Adversarial Examples

 

對抗樣本是一個制造人工/真實數(shù)據(jù)點的巨大領(lǐng)域，制作出的樣本可以欺騙卷積神經(jīng)網(wǎng)絡(luò)。我本可以把這部分放在評論部分，但由于以下原因沒有進行這樣的處理：

• 它們不是所有應(yīng)用程序的技術(shù)挑戰(zhàn)
• 我對其的了解并不是很好。一個非�？岬纳�成“對抗對象”來欺騙神經(jīng)網(wǎng)絡(luò)案例在此，感興趣的讀者可以研究下。
  你還可以閱讀有關(guān)你應(yīng)該了解的機器學(xué)習(xí)算法，以便成為數(shù)據(jù)科學(xué)家。

 

作者信息

 

Muktabh Mayank，數(shù)據(jù)科學(xué)家和企業(yè)家
LinkedIn：https://www.linkedin.com/in/muktabh/
文章原標(biāo)題《Best (and Free!!) Resources to Understand Nuts and Bolts of Deep Learning》，譯者：海棠

標(biāo)簽： 電商 搜索 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。