看過很多博客、文章，東一榔頭西一棒子的，總覺得沒有一個系列的文章把問題從頭到尾說清楚，找東西很困難。有的博客、文章的質量還不算很理想，似是而非，或者重點不明確，或者直接把別人的博客抄襲過來......種種不靠譜，讓小白們學習起來很困難，增加了學習曲線的陡峭程度。當然也有很多博主非常非常負責任，文章質量很高，只是連續(xù)度不夠，正看得過癮的時候，沒有后續(xù)章節(jié)了。

從本文開始，我們試圖用一系列博客，講解現(xiàn)代神經網絡的基本知識，使大家能夠從真正的“零”開始，對神經網絡、深度學習有基本的了解，并能動手實踐。這是本系列的第一篇，我們先從神經網絡的基本工作原理開始講解。

神經元細胞的數(shù)學計算模型

神經網絡由基本的神經元組成，下圖就是一個神經元的數(shù)學/計算模型，便于我們用程序來實現(xiàn)。

輸入

(x1,x2,x3) 是外界輸入信號，一般是一個訓練數(shù)據(jù)樣本的多個屬性，比如，我們要識別手寫數(shù)字0~9，那么在手寫圖片樣本中，x1可能代表了筆畫是直的還是有彎曲，x2可能代表筆畫所占面積的寬度，x3可能代表筆畫上下兩部分的復雜度。

(W1,W2,W3) 是每個輸入信號的權重值，以上面的 (x1,x2,x3) 的例子來說，x1的權重可能是0.5，x2的權重可能是0.2，x3的權重可能是0.3。當然權重值相加之后可以不是1。

還有個b是干嗎的？一般的書或者博客上會告訴你那是因為y=wx+by=wx+b，b是偏移值，使得直線能夠沿Y軸上下移動。這是用結果來解釋原因，并非b存在的真實原因。從生物學上解釋，在腦神經細胞中，一定是輸入信號的電平/電流大于某個臨界值時，神經元細胞才會處于興奮狀態(tài)，這個b實際就是那個臨界值。亦即當：

時，該神經元細胞才會興奮。我們把t挪到等式左側來，變成(?t)(?t)，然后把它寫成b，變成了：

于是b誕生了！

求和計算

在上面的例子中m=3。我們把wi?xiwi?xi變成矩陣運算的話，就變成了：

激活函數(shù)

求和之后，神經細胞已經處于興奮狀態(tài)了，已經決定要向下一個神經元傳遞信號了，但是要傳遞多強烈的信號，要由激活函數(shù)來確定：

如果激活函數(shù)是一個階躍信號的話，那受不了啊，你會覺得腦子里總是一跳一跳的，像繼電器開合一樣咔咔亂響，所以一般激活函數(shù)都是有一個漸變的過程，也就是說是個曲線。

激活函數(shù)的更多描述在后續(xù)的博客中。

至此，一個神經元的工作過程就在電光火石般的一瞬間結束了。

神經網絡的基本訓練過程

單層神經網絡模型

這是一個單層的神經網絡，有m個輸入 (這里m=3)，有n個輸出 (這里n=2)。在單個神經元里，b是個值。但是在神經網絡中，我們把b的值永遠設置為1，而用b到每個神經元的權值來表示實際的偏移值，亦即(b1,b2)，這樣便于矩陣運算。也有些作者把b寫成x0，其實是同一個意思，只不過x0用于等于1。

• (x1,x2,x3)是一個樣本數(shù)據(jù)的三個特征值
• (w11,w12,w13)是(x1,x2,x3)到n1的權重
• (w21,w22,w23)是(x1,x2,x3)到n2的權重
• b1是n1的偏移
• b2是n2的偏移

從這里大家可以意識到，同一個特征x1，對于n1、n2來說，權重是不相同的，因為n1、n2是兩個神經元，它們完成不同的任務（特征識別）。這就如同老師講同樣的課，不同的學生有不同的理解。

而對于n1來說，x1，x2，x3輸入的權重也是不相同的，因為它要對不同特征有選擇地接納。這就如同一個學生上三門課，但是側重點不同，第一門課花50%的精力，第二門課30%，第三門課20%。

訓練流程

從真正的“零”開始學習神經網絡時，我沒有看到過一個流程圖來講述訓練過程，大神們寫書或者博客時都忽略了這一點，我在這里給大家畫一個簡單的流程圖：

損失函數(shù)和反向傳播的更多內容在后續(xù)的博客中。

前提條件

1. 首先是我們已經有了訓練數(shù)據(jù)，否則連目標都沒有，訓練個啥？
2. 我們已經根據(jù)數(shù)據(jù)的規(guī)模、領域，建立了神經網絡的基本結構，比如有幾層，每一層有幾個神經元
3. 定義好損失函數(shù)來合理地計算誤差

步驟

假設我們有以下訓練數(shù)據(jù)樣本：

其中，x1，x2，x3是每一個樣本數(shù)據(jù)的三個特征值，Y是樣本的真實結果值，

1. 隨機初始化權重矩陣，可以根據(jù)高斯分布或者正態(tài)分布等來初始化。這一步可以叫做“蒙”，但不是瞎蒙。
2. 拿一個或一批數(shù)據(jù)作為輸入，帶入權重矩陣中計算，再通過激活函數(shù)傳入下一層，最終得到預測值。在本例中，我們先用Id-1的數(shù)據(jù)輸入到矩陣中，得到一個A值，假設A=5
3. 拿到Id-1樣本的真實值Y=3
4. 計算損失，假設用均方差函數(shù) Loss=(A?Y)2=(5?3)2=4Loss=(A?Y)2=(5?3)2=4
5. 根據(jù)一些神奇的數(shù)學公式（反向微分），把Loss=4這個值用大喇叭喊話，告訴在前面計算的步驟中，影響A=5這個值的每一個權重矩陣，然后對這些權重矩陣中的值做一個微小的修改（當然是向著好的方向修改，這一點可以用數(shù)學家的名譽來保證）
6. 用Id-2樣本作為輸入再次訓練（goto 2）
7. 這樣不斷地迭代下去，直到以下一個或幾個條件滿足就停止訓練：損失函數(shù)值非常��；迭代了指定的次數(shù)；計算機累吐血了......

訓練完成后，我們會把這個神經網絡中的結構和權重矩陣的值導出來，形成一個計算圖（就是矩陣運算加上激活函數(shù)）模型，然后嵌入到任何可以識別/調用這個模型的應用程序中，根據(jù)輸入的值進行運算，輸出預測值。

神經網絡中的矩陣運算

下面這個圖就是一個兩層的神經網絡，包含隱藏層和輸出層：

其中，w1-m,n（應該寫作w11,1,w11,2,w11,3w1,11,w1,21,w1,31，上面的角標1表示第1層，但是visio里不支持這種格式）表示第一層神經網絡的權重矩陣，w2-m,n（應該寫作w21,1,w21,2,w21,3w1,12,w1,22,w1,32）表示第二層神經網絡的權重矩陣。

變成矩陣運算：

再變成大矩陣：

最后變成矩陣符號：

然后是激活函數(shù)運算：

同理可得：

神經網絡為什么能普遍適用

單層的神經網絡能夠模擬一條二維平面上的直線，從而可以完成線性分割任務。而理論證明，兩層神經網絡可以無限逼近任意連續(xù)函數(shù)。

比如下面這張圖，二維平面中有兩類點，紅色的和藍色的，用一條直線肯定不能把兩者分開了。

我們使用一個兩層的神經網絡可以得到一個非常近似的結果，使得分類誤差在滿意的范圍之內。而這個真實的連續(xù)函數(shù)的原型是：

哦，my god（我靠）! 這么復雜的函數(shù)，一個兩層的神經網絡是如何做到的呢？其實從輸入層到隱藏層的矩陣計算，就是對輸入數(shù)據(jù)進行了空間變換，使其可以被線性可分，然后輸出層畫出了一個分界線。而訓練的過程，就是確定那個空間變換矩陣的過程。因此，多層神經網絡的本質就是對復雜函數(shù)的擬合。我們可以在后面的試驗中來學習如何擬合上述的復雜函數(shù)的。

為什么需要激活函數(shù)

為什么我們不能在沒有激活輸入信號的情況下完成神經網絡的學習呢？

如果我們不運用激活函數(shù)的話，則輸出信號將僅僅是一個簡單的線性函數(shù)。線性函數(shù)一個一級多項式�，F(xiàn)如今，線性方程是很容易解決的，但是它們的復雜性有限，并且從數(shù)據(jù)中學習復雜函數(shù)映射的能力更小。一個沒有激活函數(shù)的神經網絡將只不過是一個線性回歸模型（Linear regression Model）罷了，它功率有限，并且大多數(shù)情況下執(zhí)行得并不好。我們希望我們的神經網絡不僅僅可以學習和計算線性函數(shù)，而且還要比這復雜得多。同樣是因為沒有激活函數(shù)，我們的神經網絡將無法學習和模擬其他復雜類型的數(shù)據(jù)，例如圖像、視頻、音頻、語音等。這就是為什么我們要使用人工神經網絡技術，諸如深度學習（Deep learning），來理解一些復雜的事情，一些相互之間具有很多隱藏層的非線性問題，而這也可以幫助我們了解復雜的數(shù)據(jù)。

那么為什么我們需要非線性函數(shù)？

非線性函數(shù)是那些一級以上的函數(shù)，而且當繪制非線性函數(shù)時它們具有曲率�，F(xiàn)在我們需要一個可以學習和表示幾乎任何東西的神經網絡模型，以及可以將輸入映射到輸出的任意復雜函數(shù)。神經網絡被認為是通用函數(shù)近似器（Universal Function Approximators）。這意味著他們可以計算和學習任何函數(shù)。幾乎我們可以想到的任何過程都可以表示為神經網絡中的函數(shù)計算。
而這一切都歸結于這一點，我們需要應用激活函數(shù)f（x），以便使網絡更加強大，增加它的能力，使它可以學習復雜的事物，復雜的表單數(shù)據(jù)，以及表示輸入輸出之間非線性的復雜的任意函數(shù)映射。因此，使用非線性激活函數(shù)，我們便能夠從輸入輸出之間生成非線性映射。
激活函數(shù)的另一個重要特征是：它應該是可以區(qū)分的。我們需要這樣做，以便在網絡中向后推進以計算相對于權重的誤差（丟失）梯度時執(zhí)行反向優(yōu)化策略，然后相應地使用梯度下降或任何其他優(yōu)化技術優(yōu)化權重以減少誤差。

深度神經網絡與深度學習

兩層的神經網絡雖然強大，但可能只能完成二維空間上的一些曲線擬合的事情。如果對于圖片、語音、文字序列這些復雜的事情，就需要更復雜的網絡來理解和處理。第一個方式是增加每一層中神經元的數(shù)量，但這是線性的，不夠有效。另外一個方式是增加層的數(shù)量，每一層都處理不同的事情。

淺神經網絡雖然具備了反向傳播機制，但是仍存在問題：

1. 梯度越來越疏，從后向前，誤差校正信號越來越微弱
2. 隨機初始化會導致訓練過程收斂到局部最小值
3. 需要數(shù)據(jù)帶標簽(人工label好的數(shù)據(jù))，但是大部分數(shù)據(jù)沒標簽

Deep Learning的訓練過程簡介

1. 使用自下上升非監(jiān)督學習（就是從底層開始，一層一層的往頂層訓練）：

   采用無標簽數(shù)據(jù)（有標簽數(shù)據(jù)也可）分層訓練各層參數(shù)，這一步可以看作是一個無監(jiān)督訓練過程，是和傳統(tǒng)神經網絡區(qū)別最大的部分（這個過程可以看作是feature learning過程）。
   具體的，先用無標定數(shù)據(jù)訓練第一層，訓練時先學習第一層的參數(shù)（這一層可以看作是得到一個使得輸出和輸入差別最小的三層神經網絡的隱層），由于模型capacity的限制以及稀疏性約束，使得得到的模型能夠學習到數(shù)據(jù)本身的結構，從而得到比輸入更具有表示能力的特征；在學習得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓練第n層，由此分別得到各層的參數(shù)；

2. 自頂向下的監(jiān)督學習（就是通過帶標簽的數(shù)據(jù)去訓練，誤差自頂向下傳輸，對網絡進行微調）：

   基于第一步得到的各層參數(shù)進一步fine-tune整個多層模型的參數(shù)，這一步是一個有監(jiān)督訓練過程；第一步類似神經網絡的隨機初始化初值過程，由于DL的第一步不是隨機初始化，而是通過學習輸入數(shù)據(jù)的結構得到的，因而這個初值更接近全局最優(yōu)，從而能夠取得更好的效果；所以deep learning效果好很大程度上歸功于第一步的feature learning過程。

標簽： isp 網絡

版權申明：本站文章部分自網絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。