奶爸為8歲女兒解讀深度學(xué)習(xí)篇之：11個事實
2019-08-21 來源：raincent
「神經(jīng)網(wǎng)絡(luò)就像數(shù)數(shù)一樣簡單」，「卷積層只是一個蝙蝠信號燈」……在本文中，一位奶爸從手寫數(shù)字識別入手，用這樣簡單的語言向自己 8 歲的女兒解釋了一下「深度學(xué)習(xí)」。當(dāng)然，用這篇文章向女朋友(如果有的話)科普自己的工作也是可以的。
機器學(xué)習(xí)，尤其是深度學(xué)習(xí)是一個熱門話題，你肯定會在媒體上看到流行語「人工智能」。
然而，這些并非新概念。第一個人工神經(jīng)網(wǎng)絡(luò)(ANN)是在 40 年代引入的。那么為什么最近的熱點話題都是關(guān)于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的呢?我們將在 GPU 和機器學(xué)習(xí)的一系列博客文章中探討這些概念。
在 80 年代，我記得我父親構(gòu)建了用于銀行支票的字符識別工具。檢查這么多不同類型的筆跡真的是一件痛苦的事，因為他需要一個方程來適應(yīng)所有的變化。
在過去幾年中，很明顯，處理這類問題的最佳方法是通過卷積神經(jīng)網(wǎng)絡(luò)。人類設(shè)計的方程不再適合處理無限的手寫模式。
讓我們來看看最經(jīng)典的例子之一：構(gòu)建一個數(shù)字識別系統(tǒng)，一個識別手寫數(shù)字的神經(jīng)網(wǎng)絡(luò)
事實 1：神經(jīng)網(wǎng)絡(luò)就像數(shù)數(shù)一樣簡單
我們首先計算最上面一行的紅色形狀在每個黑色手寫數(shù)字中出現(xiàn)了幾次。
手寫數(shù)字的簡化矩陣
現(xiàn)在讓我們嘗試通過計算具有相同紅色形狀的匹配數(shù)來識別(推斷)新的手寫數(shù)字。然后我們將其與之前的表格進行比較，以確定這個數(shù)字與哪個數(shù)字有最強的關(guān)聯(lián)：
匹配手寫數(shù)字的形狀
恭喜!你剛剛構(gòu)建了世界上最簡單的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，用于識別手寫數(shù)字。
事實 2：圖像只是一個矩陣
計算機將圖像視為矩陣。一張黑白圖像是個 2D 矩陣。
我們來考慮一張圖像。為了簡單起見，我們拍攝一張數(shù)字 8 的小黑白圖像，方形尺寸為 28 像素。
矩陣的每個單元表示從 0(表示黑色)到 255(表示純白色像素)的像素強度。
因此，圖像將表示為以下 28×28 的像素矩陣。
手寫數(shù)字 8 的圖像和相關(guān)的強度矩陣
事實 3：卷積層只是一個蝙蝠信號燈
為了確定圖片中顯示的圖案(此處指手寫數(shù)字 8)，我們將使用一種蝙蝠信號燈/手電筒。在機器學(xué)習(xí)中，手電筒被稱為過濾器(filter)。該過濾器用于執(zhí)行 Gimp 等常見圖像處理軟件中用到的經(jīng)典卷積矩陣計算。
過濾器將掃描圖片，以便在圖像中找到圖案，并在匹配成功時觸發(fā)正反饋。它有點像兒童形狀分類盒：三角形過濾器匹配三角形孔，方形過濾器匹配方孔等。
圖像過濾器像兒童形狀分類盒一樣工作。
事實 4：過濾器匹配是一項易并行任務(wù)
更科學(xué)地來講，圖像過濾過程看起來有點像下面的動畫。如你所見，過濾器掃描的每個步驟都是相互獨立的，這意味著此任務(wù)可以高度并行化。
要注意，數(shù)十個過濾器將同時運行，因為它們不相互依賴。
https://github.com/vdumoulin
事實 5：盡可能多次重復(fù)過濾操作(矩陣卷積)
我們剛剛看到，輸入圖像/矩陣使用多個矩陣卷積進行過濾。
為了提高圖像識別的準(zhǔn)確率，只需從前一個操作中獲取過濾后的圖像，然后一次又一次地過濾......
當(dāng)然，我們過分簡化了一些事情，但通常你使用的過濾器越多，按順序重復(fù)這個操作的次數(shù)越多，你的結(jié)果就越精確。
這就像創(chuàng)建新的抽象層以獲得更清晰的對象過濾器描述，從原始過濾器到看起來像邊緣、輪子、正方形、立方體等的過濾器......
事實 6：矩陣卷積只是乘、加運算
一圖勝千言：下圖是使用卷積過濾器(3×3)過濾的源圖像(8×8)的簡化視圖。手電筒(此處為 Sobel Gx 過濾器)的投影提供一個值。
這就是這種方法的神奇之處，簡單的矩陣運算是高度并行化的，完全符合通用圖形處理單元的用例。
事實 7：需要簡化和總結(jié)檢測到的內(nèi)容嗎?只需使用 max()
我們需要總結(jié)過濾器檢測到的內(nèi)容，以便學(xué)到概括性的知識。
為此，我們將對先前過濾操作的輸出進行采樣。
此操作稱為池化或下采樣，但實際上它是為了減小矩陣的大小。
你可以使用任何縮小操作，例如：最大化，最小化，取平均值，計數(shù)，取中位數(shù)，求和等等。
最大池化層示例(來源：斯坦福大學(xué) CS231n)
事實 8：將輸出扁平化，得出最終結(jié)果
不要忘記我們正在研究的神經(jīng)網(wǎng)絡(luò)的主要目的：建立一個圖像識別系統(tǒng)，也稱為圖像分類。
如果神經(jīng)網(wǎng)絡(luò)的目的是檢測手寫數(shù)字，那么輸入圖像最后將被映射到 10 個類：[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]。
要在通過所有這些過濾器和下采樣層之后，才將此輸入映射到類，我們將只有 10 個神經(jīng)元(每個神經(jīng)元代表一個類)，每個神經(jīng)元將連接到最后一個子采樣層。
以下是由 Yann Lecun 設(shè)計的原始 LeNet-5 卷積神經(jīng)網(wǎng)絡(luò)的概述，他是早期采用該技術(shù)進行圖像識別的人之一。
原始論文中的 LeNet-5 架構(gòu)(來源：http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf)
事實 9：深度學(xué)習(xí)只是基于反饋回路的持續(xù)改進
技術(shù)之美不僅來自卷積，而且來自網(wǎng)絡(luò)自身學(xué)習(xí)和適應(yīng)的能力。通過實現(xiàn)名為反向傳播的反饋回路，網(wǎng)絡(luò)將使用權(quán)重來減輕和抑制不同層中的一些「神經(jīng)元」。
我們來看看網(wǎng)絡(luò)的輸出，如果猜測(輸出 0, 1, 2, 3, 4, 5, 6, 7, 8 或 9)是錯誤的，我們要看一下是哪個/些過濾器「出了錯」，找到之后，我們給這個/些過濾器一個小小的權(quán)重，這樣它們下次就不會犯同樣的錯誤。瞧!系統(tǒng)在學(xué)習(xí)并不斷改進自己。
事實 10：這一切都說明，深度學(xué)習(xí)是易并行過程
提取數(shù)千個圖像，運行數(shù)十個過濾器，采用下采樣，扁平化輸出...... 所有這些步驟可以并行完成，這使得系統(tǒng)易于并行。它只是 GPGPU(通用圖形處理單元)的完美用例，非常適合大規(guī)模并行計算。
事實 11：需要更精確?那網(wǎng)絡(luò)就再深一點
當(dāng)然這有點過于簡單化，但如果我們看一下主要的「圖像識別競賽」，即 ImageNet 挑戰(zhàn)，我們就可以看到錯誤率隨著神經(jīng)網(wǎng)絡(luò)的深度增加而降低。人們普遍認為，排除其他因素，網(wǎng)絡(luò)深度的增加將帶來更好的泛化能力和準(zhǔn)確性。
Imagenet 挑戰(zhàn)賽獲勝者錯誤率 VS 網(wǎng)絡(luò)中的層數(shù)(來源： https://medium.com/@sidereal/cnns-architectures-lenet-alexnet-vgg-googlenet-resnet-and-more-666091488df5)
結(jié)論
我們簡要介紹了應(yīng)用于圖像識別的深度學(xué)習(xí)概念。值得注意的是，幾乎所有用于圖像識別的新架構(gòu)(醫(yī)療、衛(wèi)星、自動駕駛......)都使用相同的原理，只是具有不同數(shù)量的層，不同類型的濾波器，不同的初始化點，不同的矩陣大小，不同的技巧(如圖像增強、dropout、權(quán)重壓縮...)。概念都是一樣的：
手寫數(shù)字識別過程
深度學(xué)習(xí)模型的訓(xùn)練和推理可以歸結(jié)為并行完成的大量基本矩陣運算，確切地說，這正是我們已有的圖形處理器(GPU)的用途。
參考鏈接：https://www.ovh.com/blog/deep-learning-explained-to-my-8-year-old-daughter/
標(biāo)簽： 深度學(xué)習(xí)
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。
