1、簡(jiǎn)介：

過去幾年一直是人工智能愛好者和機(jī)器學(xué)習(xí)專業(yè)人士最幸福的時(shí)光。因?yàn)檫@些技術(shù)已經(jīng)發(fā)展成為主流，并且正在影響著數(shù)百萬(wàn)人的生活。各國(guó)現(xiàn)在都有專門的人工智能規(guī)劃和預(yù)算，以確保在這場(chǎng)比賽中保持優(yōu)勢(shì)。

數(shù)據(jù)科學(xué)從業(yè)人員也是如此，這個(gè)領(lǐng)域正在發(fā)生很多事情，你必須要跑的足夠的快才能跟上時(shí)代步伐。回顧歷史，展望未來(lái)一直是我們尋找方向的最佳方法。

這也是我為什么想從數(shù)據(jù)科學(xué)從業(yè)者的角度退一步看一下人工智能的一些關(guān)鍵領(lǐng)域的發(fā)展，它們突破了什么?2018年發(fā)生了什么?2019年會(huì)發(fā)生什么?

 

 

我將在本文中介紹自然語(yǔ)言處理(NLP)、計(jì)算機(jī)視覺、工具庫(kù)、強(qiáng)化學(xué)習(xí)、走向合乎正道的人工智能

2、自然語(yǔ)言處理(NLP)

 

 

讓機(jī)器分析單詞和句子似乎是一個(gè)夢(mèng)想，就算我們?nèi)祟愑袝r(shí)候也很難掌握語(yǔ)言的細(xì)微差別，但2018年確實(shí)是NLP的分水嶺。

我們看到了一個(gè)又一個(gè)顯著的突破：ULMFiT、ELMO、OpenAI的Transformer和Google的BERT等等。遷移學(xué)習(xí)(能夠?qū)㈩A(yù)訓(xùn)練模型應(yīng)用于數(shù)據(jù)的藝術(shù))成功應(yīng)用于NLP任務(wù)，為無(wú)限可能的應(yīng)用打開了大門。讓我們更詳細(xì)地看一下這些關(guān)鍵技術(shù)的發(fā)展。

ULMFiT

ULMFiT由Sebastian Ruder和fast.ai的Jeremy Howard設(shè)計(jì)，它是第一個(gè)在今年啟動(dòng)的NLP遷移學(xué)習(xí)框架。對(duì)于沒有經(jīng)驗(yàn)的人來(lái)說，它代表通用語(yǔ)言的微調(diào)模型。Jeremy和Sebastian讓ULMFiT真正配得上Universal這個(gè)詞，該框架幾乎可以應(yīng)用于任何NLP任務(wù)!

想知道對(duì)于ULMFiT的最佳部分以及即將看到的后續(xù)框架嗎?事實(shí)上你不需要從頭開始訓(xùn)練模型!研究人員在這方面做了很多努力，以至于你可以學(xué)習(xí)并將其應(yīng)用到自己的項(xiàng)目中。ULMFiT可以應(yīng)用六個(gè)文本分類任務(wù)中，而且結(jié)果要比現(xiàn)在最先進(jìn)的方法要好。

你可以閱讀Prateek Joshi關(guān)于如何開始使用ULMFiT以解決任何文本分類問題的優(yōu)秀教程。

ELMO

猜一下ELMo代表著什么嗎?它是語(yǔ)言模型嵌入的簡(jiǎn)稱，是不是很有創(chuàng)意? ELMo一發(fā)布就引起了ML社區(qū)的關(guān)注。

ELMo使用語(yǔ)言模型來(lái)獲取每個(gè)單詞的嵌入，同時(shí)還考慮其中單詞是否適合句子或段落的上下文。上下文是NLP的一個(gè)重要領(lǐng)域，大多數(shù)人以前對(duì)上下文都沒有很好的處理方法。ELMo使用雙向LSTM來(lái)創(chuàng)建嵌入，如果你聽不懂-請(qǐng)參考這篇文章，它可以讓你很要的了解LSTM是什么以及它們是如何工作的。

與ULMFiT一樣，ELMo顯著提高了各種NLP任務(wù)的性能，如情緒分析和問答，在這里了解更多相關(guān)信息。

BERT

不少專家聲稱BERT的發(fā)布標(biāo)志著NLP的新時(shí)代。繼ULMFiT和ELMo之后，BERT憑借其性能真正擊敗了競(jìng)爭(zhēng)對(duì)手。正如原論文所述，“BERT在概念上更簡(jiǎn)單且更強(qiáng)大”。BERT在11個(gè)NLP任務(wù)中獲得了最先進(jìn)的結(jié)果，在SQuAD基準(zhǔn)測(cè)試中查看他們的結(jié)果：

 

 

有興趣入門嗎?你可以使用PyTorch實(shí)現(xiàn)或Google的TensorFlow代碼嘗試在自己的計(jì)算機(jī)上得出結(jié)果。

我很確定你想知道BERT代表什么，它實(shí)際上是Transformers的雙向編碼器表示，如果你能夠領(lǐng)悟到這些，那很不錯(cuò)了。

PyText

Facebook開源了深度學(xué)習(xí)NLP框架PyText，它在不久之前發(fā)布，但我仍然要測(cè)試它，但就早期的評(píng)論來(lái)說非常有希望。根據(jù)FB發(fā)表的研究，PyText使會(huì)話模型的準(zhǔn)確性提高了10%，并且縮短了訓(xùn)練時(shí)間。

PyText實(shí)際上落后于Facebook其他一些產(chǎn)品，如FB Messenger。如果你對(duì)此有興趣。你可以通過GitHub下載代碼來(lái)自行嘗試。

2019年NLP趨勢(shì)：

塞巴斯蒂安·羅德講述了NLP在2019年的發(fā)展方向，以下是他的想法：

預(yù)訓(xùn)練的語(yǔ)言模型嵌入將無(wú)處不在，不使用它們的模型將是罕見的。

我們將看到可以編碼專門信息的預(yù)訓(xùn)練模型，這些信息是對(duì)語(yǔ)言模型嵌入的補(bǔ)充。

我們將看到有關(guān)多語(yǔ)言應(yīng)用程序和跨語(yǔ)言模型的成果。特別是，在跨語(yǔ)言嵌入的基礎(chǔ)上，我們將看到深度預(yù)訓(xùn)練的跨語(yǔ)言表示的出現(xiàn)。

3、計(jì)算機(jī)視覺

 

 

這是現(xiàn)在深度學(xué)習(xí)中最受歡迎的領(lǐng)域，我覺得我們已經(jīng)完全獲取了計(jì)算機(jī)視覺中容易實(shí)現(xiàn)的目標(biāo)。無(wú)論是圖像還是視頻，我們都看到了大量的框架和庫(kù)，這使得計(jì)算機(jī)視覺任務(wù)變得輕而易舉。

我們今年在Analytics Vidhya花了很多時(shí)間研究這些概念的普通化。你可以在這里查看我們的計(jì)算機(jī)視覺特定文章，涵蓋從視頻和圖像中的對(duì)象檢測(cè)到預(yù)訓(xùn)練模型列表的相關(guān)文章，以開始你的深度學(xué)習(xí)之旅。

以下是我今年在CV中看到的最佳開發(fā)項(xiàng)目：

如果你對(duì)這個(gè)美妙的領(lǐng)域感到好奇，那么請(qǐng)繼續(xù)使用我們的“使用深度學(xué)習(xí)的計(jì)算機(jī)視覺”課程開始你的旅程。

BigGAN的發(fā)布

在2014年，Ian Goodfellow設(shè)計(jì)了GAN，這個(gè)概念產(chǎn)生了多種多樣的應(yīng)用程序。年復(fù)一年，我們看到原始概念為了適應(yīng)實(shí)際用例正在慢慢調(diào)整，直到今年，仍然存在一個(gè)共識(shí)：機(jī)器生成的圖像相當(dāng)容易被發(fā)現(xiàn)。

但最近幾個(gè)月，這個(gè)現(xiàn)象已經(jīng)開始改變�；蛟S隨著BigGAN的創(chuàng)建，該現(xiàn)象或許可以徹底消失，以下是用此方法生成的圖像：

 

 

除非你拿顯微鏡看，否則你將看不出來(lái)上面的圖片有任何問題。毫無(wú)疑問GAN正在改變我們對(duì)數(shù)字圖像(和視頻)的感知方式。

Fast.ai的模型18分鐘內(nèi)在ImageNet上被訓(xùn)練

這是一個(gè)非常酷的方向：大家普遍認(rèn)為需要大量數(shù)據(jù)以及大量計(jì)算資源來(lái)執(zhí)行適當(dāng)?shù)纳疃葘W(xué)習(xí)任務(wù)，包括在ImageNet數(shù)據(jù)集上從頭開始訓(xùn)練模型。我理解這種看法，大多數(shù)人都認(rèn)為在之前也是如此，但我想我們之前都可能理解錯(cuò)了。

Fast.ai的模型在18分鐘內(nèi)達(dá)到了93%的準(zhǔn)確率，他們使用的硬件48個(gè)NVIDIA V100 GPU，他們使用fastai和PyTorch庫(kù)構(gòu)建了算法。

 

 

所有的這些放在一起的總成本僅為40美元! 杰里米在這里更詳細(xì)地描述了他們的方法，包括技術(shù)。這是屬于每個(gè)人的勝利!

NVIDIA的vid2vid技術(shù)

在過去的4-5年里，圖像處理已經(jīng)實(shí)現(xiàn)了跨越式發(fā)展，但視頻呢?事實(shí)證明，將方法從靜態(tài)框架轉(zhuǎn)換為動(dòng)態(tài)框架比大多數(shù)人想象的要困難一些。你能拍攝視頻序列并預(yù)測(cè)下一幀會(huì)發(fā)生什么嗎?答案是不能!

NVIDIA決定在今年之前開源他們的方法，他們的vid2vid方法的目標(biāo)是從給定的輸入視頻學(xué)習(xí)映射函數(shù)，以產(chǎn)生輸出視頻，該視頻以令人難以置信的精度預(yù)測(cè)輸入視頻的內(nèi)容。

 

 

你可以在這里的GitHub上試用他們的PyTorch實(shí)現(xiàn)。

2019年計(jì)算機(jī)視覺的趨勢(shì)：

就像我之前提到的那樣，在2019年可能看到是改進(jìn)而不是發(fā)明。例如自動(dòng)駕駛汽車、面部識(shí)別算法、虛擬現(xiàn)實(shí)算法優(yōu)化等。就個(gè)人而言，我希望看到很多研究在實(shí)際場(chǎng)景中實(shí)施，像CVPR和ICML這樣的會(huì)議描繪的這個(gè)領(lǐng)域的最新成果，但這些項(xiàng)目在現(xiàn)實(shí)中的使用有多接近?

視覺問答和視覺對(duì)話系統(tǒng)最終可能很快就會(huì)如他們期盼的那樣首次亮相。雖然這些系統(tǒng)缺乏概括的能力，但希望我們很快就會(huì)看到一種綜合的多模式方法。

自監(jiān)督學(xué)習(xí)是今年最重要的創(chuàng)新，我可以打賭明年它將會(huì)用于更多的研究。這是一個(gè)非�？岬膶W(xué)習(xí)線：標(biāo)簽可以直接根據(jù)我們輸入的數(shù)據(jù)確定，而不是浪費(fèi)時(shí)間手動(dòng)標(biāo)記圖像。

文章原標(biāo)題《A Technical Overview of AI & ML (NLP, Computer Vision, Reinforcement Learning) in 2018 & Trends for 2019》

譯者：烏拉烏拉

標(biāo)簽： Google 代碼

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。