AI從業(yè)者需要應(yīng)用的10種深度學(xué)習(xí)方法（上）

6-批量歸一化

當(dāng)然，包括深度網(wǎng)絡(luò)在內(nèi)的神經(jīng)網(wǎng)絡(luò)需要仔細(xì)調(diào)整權(quán)重初始化和學(xué)習(xí)參數(shù)。批量歸一化有助于讓中國過程更簡單一點(diǎn)。

權(quán)重問題：

· 無論那種權(quán)重的初始化，隨機(jī)還是憑經(jīng)驗(yàn)選擇，它們都和學(xué)習(xí)權(quán)重差別很大�？紤]一個(gè)小批量數(shù)據(jù)集，在最初的時(shí)期，在特征激活時(shí)都會(huì)有許多異常值。

· 深度神經(jīng)網(wǎng)絡(luò)本身脆弱的，即初始層的微小擾動(dòng)都會(huì)導(dǎo)致后面層很大的變化。

在反向傳播期間，這些現(xiàn)象會(huì)導(dǎo)致梯度偏移，這意味著在學(xué)習(xí)權(quán)重以產(chǎn)生所需輸出之前，梯度必須補(bǔ)償異常值。這也將導(dǎo)致需要額外的時(shí)間來收斂。

 

 

批量歸一化將這些梯度從離散規(guī)則化為正常值，并在小批量的范圍內(nèi)朝向共同目標(biāo)(通過歸一化它們)流動(dòng)。

學(xué)習(xí)率問題：通常，學(xué)習(xí)率保持較小，使得只有一小部分的梯度用來校正權(quán)重，原因是異常激活的梯度不應(yīng)該影響已經(jīng)學(xué)習(xí)好的權(quán)重。通過批量歸一化，這些異常值被激活的可能性就會(huì)減少，因此可以使用更高的學(xué)習(xí)率來加速學(xué)習(xí)過程。

7-長短期記憶：

LSTM網(wǎng)絡(luò)具有以下三個(gè)方面，使其與遞歸神經(jīng)網(wǎng)絡(luò)中的常規(guī)神經(jīng)元區(qū)分開來：

1、它可以控制何時(shí)讓輸入進(jìn)入神經(jīng)元。

2、它可以控制何時(shí)記住上一個(gè)時(shí)間步驟中計(jì)算的內(nèi)容。

3、它可以控制何時(shí)將輸出傳遞給下一個(gè)時(shí)間戳。

LSTM的優(yōu)點(diǎn)在于它根據(jù)當(dāng)前輸入本身決定所有這些，如下圖所示：

 

 

當(dāng)前時(shí)間戳處的輸入信號(hào)x(t)決定所有上述3個(gè)點(diǎn)。輸入門決定點(diǎn)1.遺忘門在點(diǎn)2上做出決定，輸出門在點(diǎn)3上做出決定。輸入門能單獨(dú)能夠做出這三個(gè)決定。這受到了我們的大腦是如何工作的啟發(fā)，并且可以處理突然的上下文切換。

8-Skip-gram：

詞嵌入模型的目標(biāo)是為了每個(gè)詞匯學(xué)習(xí)一個(gè)高維密集表征，其中嵌入向量之間的相似性顯示了相應(yīng)單詞之間的語義或句法相似性。Skip-gram是學(xué)習(xí)詞嵌入算法的模型。

skip-gram模型(以及許多其他詞嵌入模型)背后的主要思想如下：如果兩個(gè)詞匯有相似的上下文，則它們是相似的。

 

 

換句話說，假設(shè)你有一句話，比如“貓是哺乳動(dòng)物”。如果你使用術(shù)語“狗”而不是“貓”，句子仍然是一個(gè)有意義的句子。因此在該示例中，“狗”和“貓”可以共享相同的背景(即“是哺乳動(dòng)物”)。

基于上述假設(shè)，你可以考慮一個(gè)上下文窗口(一個(gè)包含k個(gè)連續(xù)術(shù)語的窗口)。然后你應(yīng)該跳過其中一個(gè)單詞，并嘗試學(xué)習(xí)除了跳過的一個(gè)術(shù)語之外的所有術(shù)語并預(yù)測(cè)跳過的術(shù)語的神經(jīng)網(wǎng)絡(luò)。因此如果兩個(gè)單詞在大型語料庫中重復(fù)地共享相似的上下文，那些這些術(shù)語的嵌入向量將具有相似的向量。

9-連續(xù)的詞袋模型(Continuous Bag of Words)：

在自然語言處理問題中，我們希望學(xué)習(xí)將文檔中的每個(gè)單詞表示為數(shù)字向量，使得出現(xiàn)在相似上下文中的單詞具有彼此接近的向量。在連續(xù)詞袋模型中，目標(biāo)是能夠使用圍繞特定單詞的上下文并預(yù)測(cè)特定單詞。

 

 

我們通過在一個(gè)大型語料庫中抽取大量句子來做到這一點(diǎn)，每次看到一個(gè)單詞時(shí)，我們都會(huì)使用其上下文單詞。然后我們將上下文單詞輸入到一個(gè)神經(jīng)網(wǎng)絡(luò)中，并預(yù)測(cè)該上下文中心的單詞。

當(dāng)我們有數(shù)千個(gè)這樣的上下文單詞和中心單詞時(shí)，我們就有一個(gè)神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集的實(shí)例。我們訓(xùn)練神經(jīng)網(wǎng)絡(luò)，在經(jīng)過編碼的隱藏層的輸出表示特定單詞的嵌入。碰巧的是，當(dāng)我們?cè)诖罅烤渥由嫌?xùn)練時(shí)，類似上下文中的單詞會(huì)得到類似的向量。

10-遷移學(xué)習(xí)：

考慮下圖像是如何通過卷積神經(jīng)網(wǎng)絡(luò)的。假設(shè)你有一個(gè)圖像，你應(yīng)用卷積，你得到像素組合作為輸出。如果碰到了邊緣，則再次應(yīng)用卷積，所以現(xiàn)在輸出是邊或線的組合。然后再次應(yīng)用卷積，此時(shí)的輸出將是線的組合，依此類推。你可以將其視為每個(gè)層尋找特定模式。神經(jīng)網(wǎng)絡(luò)的最后一層往往變得非常專業(yè)。如果你正在使用ImageNet，那么你的網(wǎng)絡(luò)最后一層將尋找兒童或狗或飛機(jī)或其他什么。再后退幾層你可能會(huì)看到網(wǎng)絡(luò)正在尋找眼睛或耳朵或嘴或輪子。

 

 

深度CNN中的每個(gè)層逐漸建立了更高和更高級(jí)別的特征表征。最后幾層往往專注于你輸入模型的任何數(shù)據(jù)。另一方面，早期的圖層更通用，是在更大類的圖片中找到很多簡單的模式。

遷移學(xué)習(xí)是指你在一個(gè)數(shù)據(jù)集上訓(xùn)練CNN，切斷最后一層，在其他不同的數(shù)據(jù)集上重新訓(xùn)練模型的最后一層。直觀地說，你正在重新訓(xùn)練模型以識(shí)別不同的更高級(jí)別的功能。因此，模型訓(xùn)練的時(shí)間會(huì)大大減少，因此當(dāng)你沒有足夠的數(shù)據(jù)或者訓(xùn)練所需的太多資源時(shí)，遷移學(xué)習(xí)是一種有用的工具。

本文僅顯示這些方法的一般概述。我建議閱讀以下文章以獲得更詳細(xì)的解釋：

· Andrew Beam的“深度學(xué)習(xí)101”;

· 安德烈?guī)炝挚品虻?ldquo;神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)簡史”;

· Adit Deshpande的“理解卷積神經(jīng)網(wǎng)絡(luò)的初學(xué)者指南”;

· 克里斯奧拉的“理解LSTM網(wǎng)絡(luò)”;

· Algobean的“人工神經(jīng)網(wǎng)絡(luò)”;

· Andrej Karpathy的“回歸神經(jīng)網(wǎng)絡(luò)的不合理有效性”;

深度學(xué)習(xí)是非常注重技術(shù)實(shí)踐的。本文中的每個(gè)新想法都沒有太多具體的解釋。對(duì)于大多數(shù)新想法都附帶了實(shí)驗(yàn)結(jié)果來證明它們能夠運(yùn)作。深度學(xué)習(xí)就像玩樂高，掌握樂高與任何其他藝術(shù)一樣具有挑戰(zhàn)性，但相比之下入門樂高是容易的。

文章原標(biāo)題《the-10-deep-learning-methods-ai-practitioners-need-to-apply》，

作者： James Le 譯者：虎說八道

標(biāo)簽： 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。