本文帶你一窺Twitter整個產品鏈的構成，了解數(shù)據(jù)科學是怎樣在各類型公司中發(fā)揮作用的。

 

 

GIF來自：https://giphy.com/gifs/features-7BldZFcv2pof6

如何構建更厲害的特征檢測器?我們可以通過無監(jiān)督學習來做到這一點嗎?

請注意，本文是一篇我自己留檔用的回顧總結材料。

 

 

Paper來自此網站：

https://arxiv.org/pdf/1112.6209.pdf

摘要

 

 

這篇文章的作者們喜歡利用未標記數(shù)據(jù)制作特定的分類特征識別器。(例如，使用未標記的人臉圖像制作人臉識別器。)為實現(xiàn)這一目標，作者在大型數(shù)據(jù)集上制作了一個9層的自動稀疏編碼器。與普遍的認知相反，這可以在沒有任何標簽數(shù)據(jù)的情況下構建面部檢測器，而且優(yōu)于ImageNet數(shù)據(jù)的最新性能。 (在2012年)。

介紹

 

 

這篇文章的目的是只依靠未標記圖像構建一個特定的分類特征識別器，同時這也是神經科學的構想：“人類大腦中存在高度特定類的神經元”，通常被非正式地稱為“母神經元”。在傳統(tǒng)的計算機視覺中，大多數(shù)研究人員使用標記數(shù)據(jù)來獲得這些識別器，然而大量數(shù)據(jù)時就比較困難。這個實驗的成功說明，可以從未標記數(shù)據(jù)中學習高級特征和母神經元。大多數(shù)這些方法(如自動稀疏編碼器)僅僅可以用于低級特征，如邊緣或斑點(edges or blobs)。

作者假設深度學習花費如此多時間的原因是由于缺少高級特征，例如，圖像被重新調整得更小，這樣的降級會破壞高級特征的學習。作者沒有縮小圖像，也沒有使用大量計算能力。經證明，有可能從未標記的數(shù)據(jù)中學習更高級別的特性。最后，使用學習過濾器，他們能夠超越ImageNet數(shù)據(jù)集的最新技術性能。(2012年)。

數(shù)據(jù)集結構/算法

 

 

如上所述，來自1000萬個Youtube視頻隨機選擇的片段，他們通過使用OpenCV臉部識別得出結論，在1000萬個采樣片段中，面部出現(xiàn)的概率不到3%。

這里使用的算法的靈感來自不同類型的無監(jiān)督學習算法的成功。(RBM，稀疏自動編碼器等......)。作者的目的是學習更高水平的特征，而不僅僅是低水平。

 

 

如上所述，作者使用的架構可以被認為是深度自動的稀疏編碼器，帶有一些轉動(twist)同時它們也是局部感受器，池和局部響應歸一化(使用了L2池)。堆疊(stacking)一系列統(tǒng)一模塊，大腦所采用的架構是在選擇性和允差層(tolerance layers)之間轉換。有一件需要注意的重要的事是，雖然網絡使用局部感受器，但是它們并不是卷積的(參數(shù)在圖像中的不同位置不可共享)，這在生物學上更合理。

學習和優(yōu)化

 

 

在學習期間第二子層會被固定為均勻的權重，所有編碼器和解碼器中的其他權重通過上面的成本函數(shù)來處理。優(yōu)化問題也稱為重建地形獨立成分分析(Topographic ICA)，基本上第一項確保編碼中關于數(shù)據(jù)的重要信息，第二項鼓勵將有相似特征的特性組合在一起以實現(xiàn)方差。

這篇文章的作者使用了異步隨機梯度下降(ASGD)，并使用1000簇機器對網絡進行了為期三天的處理。

面部實驗

 

 

這個測試數(shù)據(jù)由37，000個來自Labeled FacesIn the Wild數(shù)據(jù)集和ImageNet數(shù)據(jù)集的圖像組成。經過訓練之后，作者使用測試集來測量每個神經元檢測面部的表現(xiàn)。令人驚訝的是，最好的神經元能夠以81.7%的準確度檢測到面部。對于沒有局對比度歸一化的層，精度會降低至78.5%。

 

 

他們將激活值轉化為直方圖得到上面的圖表，可以明顯看出，即使沒有標記數(shù)據(jù)，也是有可能訓練人臉檢測器的。

 

 

作者通過使用兩種技術使神經元的刺激最大化。(使測試集里響應最積極的刺激物可視化，最大化數(shù)值以找到最佳刺激物)。這樣可以驗證神經元是否確實在尋找一張臉。并且通過額外的實驗，結果顯示已知的權重會對應不同的方差，例如，垂直方向或左右方向旋轉和縮放。

貓和人體探測器

 

 

作者還想知道網絡是否能夠學習更高級別的特性例如貓和人體等。如上所述，網絡中的一些神經元能夠檢測到更高級別特征的形狀例如貓或人體。在他們自己的數(shù)據(jù)集上測試的結果顯示在貓和人體上分別達到74.8%和76.7%。

通過ImageNet進行圖像識別

 

 

在經過訓練后的權重上添加一對所有邏輯分類器后，他們在ImageNet數(shù)據(jù)集上重新訓練網絡(此方法也稱為無監(jiān)督預訓練)，能夠比當時的基線(2012年)表現(xiàn)得更好。在具有22,000類別的ImageNet上，它超越了其他最高結果70%。同時所有的表現(xiàn)都可以在上面的表格看到。

結論

 

 

總結來看，使用大量數(shù)據(jù)和計算機力量，有可能實現(xiàn)僅使用未標簽數(shù)據(jù)識別臉部和身體高級性能。另外，這種方法會比2012年ImageNet數(shù)據(jù)集的基準線表現(xiàn)要優(yōu)越。

尾聲

這是一個非�？岬膶嶒�，但是所需的數(shù)據(jù)量特別大(以及計算能力)，也許這就是它沒有實現(xiàn)的原因。

參考

1,Le, Q., Ranzato, M., Monga, R., Devin, M., Chen, K., & Corrado, G. et al.(2011). Building high-level features using large scale unsupervised learning.Arxiv.org. Retrieved 15 August 2018, from https://arxiv.org/abs/1112.6209

原文標題：

[ Google / ICML /Paper Summary ]Building High-level Features Using Large Scale Unsupervised Learning

標簽： Google 網絡

版權申明：本站文章部分自網絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。