中文字幕在线观看,亚洲а∨天堂久久精品9966,亚洲成a人片在线观看你懂的,亚洲av成人片无码网站,亚洲国产精品无码久久久五月天

2019年深度學習的十大預測

2019-01-30    來源:raincent

容器云強勢上線!快速搭建集群,上萬Linux鏡像隨意使用

 

2018年已經結束,現(xiàn)在是開始預測2019深度學習的時候了。以下是我之前對2017年和2018年的預測和回顧:

關于2017年預測和回顧。2017的預測涵蓋了硬件加速,卷積神經網(wǎng)絡(CNN)的主導地位,元學習,強化學習,對抗性學習,無監(jiān)督學習,遷移學習,以及作為組成部分的深度學習(DL),設計模式和超越理論的實驗。

關于2018年預測與回顧。2018年的預測涵蓋了硬件初創(chuàng)公司,元學習取代SGD,生成模型,自我博弈,語義差距,可解釋性,海量數(shù)據(jù)研究,教學環(huán)境,會話認知和人工智能倫理。

通過回顧我的預測表明,我發(fā)現(xiàn)我太樂觀了,高估了技術發(fā)展的速度?偟膩碚f,社區(qū)一直處于一種夸大的期望狀態(tài)。事后看來,是因為忽略了一般認知的潛在復雜性。我們現(xiàn)在必須降低期望,并專注于有希望的領域。這些有希望的領域將逐步取得進展而不是“moon shots”(注:一個瘋狂的想法或者不大可能實現(xiàn)的項目)。

革命性進展應該分階段發(fā)生,我們今天遇到的是實現(xiàn)Interventional level的主要障礙。這并不意味著我們不能取得任何進展,而是在目前的成熟度水平中有許多懸而未決的成果,而這些成果已經準備好進行開發(fā),DL在2019年的進展將主要圍繞這一務實的認識。

以下是我的預測,與前幾年一樣,它們可作為跟蹤DL進度的指南。

1. 深度學習硬件加速減緩

深度學習硬件加速已經減緩,脈動陣列在2017年給全世界帶來了巨大的加速增長。我們不能指望2019年計算能力的大幅提升,NVidia的圖靈核心只比Volta核心快一點。谷歌的TPUv3系統(tǒng)現(xiàn)在采用液冷,與之前的產品相比,密度更高。我不認為2019年會有任何重大的架構改進,因此不要像往年那樣大幅增加。

但是,我們將看到GraphCore和Gyrfalcon的新架構規(guī)避了內存?zhèn)鬏數(shù)墓β食杀静⒅С窒∈璨僮,但是需要更改深度學習格式來適應這些新架構,以及需要進行新的硬件研究,這個靈感來自生物學的納米意向性。

2.無監(jiān)督學習已經解決,但不是所預期的

無監(jiān)督學習的思維方式都是錯誤的。LeCun的蛋糕理論是錯的,不同類型的學習關系應如下所示:

 

 

為什么UL價值最低,難度最小?那是因為沒有目標,你可以做任何可能有效或無效的集群。最終,它歸結為基于UL嵌入的更高層的性能。UL嵌入本質上是包含豐富的先驗數(shù)據(jù),這些先驗如何被利用取決于具有目標的上游過程。ELMO和BERT已經發(fā)現(xiàn)我們可以訓練用來預測(或生成)其數(shù)據(jù)的UL,這是上游任務的良好基礎。UL基本上是監(jiān)督學習,其標簽已存在于數(shù)據(jù)中。簡而言之,UL已經被解決了,但并沒有像大多數(shù)從業(yè)者所期望的那樣。如果網(wǎng)絡可以做出良好的預測或者可以生成原始數(shù)據(jù)的良好傳真,那么這就是UL。

因此,每個人都認為解決UL將是一項重大進展,因為人們可以使用沒有人類標簽的數(shù)據(jù)。不幸的是,因為免費提供的東西很容易提取,它已經被解決了。我在2019年對UL的預測是,研究人員將接受這一新觀點,轉而關注更有價值的研究(即continual或interventional學習)。

3.元學習僅適用于研究

我們對元學習的理解似乎與對無監(jiān)督學習的理解一樣模糊。如今所實踐的元學習更像是遷移學習。實際上更高級的元學習可以構建和改進自己的模型的。元學習應該能夠建立外推和創(chuàng)造性的學習模型,但我們無法實現(xiàn)這一能力。

任何適用于多領域的學習方法在技術上都是元學習算法。例如,梯度下降、遺傳算法、自我博弈和進化都是元學習算法。元學習方法的目標是開發(fā)在許多領域中學習良好的算法。

目前很少存在已知的元學習算法,但是知道存在一種我們不理解的元學習算法,我們不了解人們使用的元學習算法。此外,元學習像無監(jiān)督學習一樣是一個太普遍的問題,以致無法理解如何以通用的方式解決,可能天下真的沒有免費的午餐。

我認為有些具體的方法(如生成模型,混合模型和課程訓練)將有更好的機會獲得更有價值的結果,這意味著我們發(fā)現(xiàn)的元學習算法僅對特定類型的學習任務有用。就像通過梯度下降學習只為特定任務加速梯度下降一樣,元學習只能改善它所見過的任務中的學習。簡而言之,元學習充其量是內插的,不能概括全部,也許不存在通用的元學習方法,而存在一套元學習方法,可以拼湊在一起來產生有效的課程。

總之,元學習仍將需要研究。

4.在科學中的應用生成計算模型

我們將可以更好地控制生成模型。這里有三類已被證明是有效的生成模型:變分自編碼器、GAN和基于流的生成模型。我希望看到GAN和Flow模型的快速發(fā)展以及VAE的進展。我還期望在科學探索中看到這種涉及復雜的自適應系統(tǒng)應用(即天氣、流體模擬、化學和生物學)。這方面的進步將對科學進步產生深遠的影響。

5.混合模型在預測中的應用

深度學習在提供高維系統(tǒng)預測方面發(fā)揮出優(yōu)勢。然而,深度學習仍然無法制定自己的抽象模型,這仍然是解釋性和外推預測的基本障礙。為了補充這些限制,我們將看到混合雙重過程解決方案,它將現(xiàn)有模型與無模型學習相結合。

我覺得使用hand-crafted的模型可以減輕無模型RL的低效率問題。我期待關系圖網(wǎng)絡的進展,并且當這些圖與先前的基于模型的模型有偏差時,我們會看到令人印象深刻的結果。我還期望通過融合現(xiàn)有的符號算法與DL,來提升預測能力。

DL的產業(yè)化將不是因為我們在遷移學習方面取得了進步,而是通過人工模型和DL訓練模型的融合。

6.更多模仿學習方法

模仿不需要外推推理,因此我們將會看到在模仿各種現(xiàn)有系統(tǒng)方面取得的相當大的進展。為了能夠模仿行為,機器只需要創(chuàng)建一個反映行為的描述性模型。 這比生成建模更容易,因為生成建模必須要發(fā)現(xiàn)未知的生成約束。生成模型運作良好的原因是它所做的只是模仿數(shù)據(jù)而不是推斷生成數(shù)據(jù)的潛在因果的模型。

7.更多深度學習集成設計探索

我們將看到許多生成模型的研究轉移到現(xiàn)有的設計工具中。它首先出現(xiàn)在視覺領域,并逐步向其它方向發(fā)展。

事實上,我們甚至可以將AlphaGo和AlphaZero的進展視為設計探索。競爭性圍棋和國際象棋選手已經開始研究從DeepMind游戲AI引入的探索策略,來開發(fā)以前未被探索過的新策略。

深度學習方法的簡單匹配算法和可擴展性將成為可以改善人類所完成設計的頭腦風暴機器,許多深度學習方法現(xiàn)在都集成在Adobe和AutoDesk的產品中。 Style2Paints是與標準桌面應用程序集成的深度學習方法的絕佳示例。

深度學習網(wǎng)絡可以降低人們在工作流中完成任務所需的認知負荷。深度學習允許創(chuàng)建擅長處理更模糊和更混亂的認知細節(jié)的工具。這些都需要減少信息過載,提高召回率,提取文本和更快的決策。

8.端到端訓練的衰減,未來會注重發(fā)展性學習

端到端訓練的回報將會減少,我們將看到在不同環(huán)境中訓練的網(wǎng)絡來學習專業(yè)技能,將這些方法拼接在一起形成的新方法,來作為更復雜技能的構建塊。我期望在2019年看到課程訓練的進步以及希望看到更多的研究受到人類嬰兒發(fā)展的啟發(fā)。訓練網(wǎng)絡執(zhí)行復雜的任務將涉及復雜的獎勵設置,因此我們需要改進方法來解決這個問題。

9.更豐富的自然語言處理嵌入

NLP已經在2018年取得了進展,這主要歸功于創(chuàng)建詞嵌入無監(jiān)督學習方法的進步,2018年NLP的進展可歸功于更先進的神經嵌入(ELMO,BERT)。通過簡單地替換更豐富的嵌入,這些嵌入改進了許多上游NLP任務,關系圖網(wǎng)絡中的工作可以進一步增強深度學習NLP功能。

Transformer網(wǎng)絡被證明在NLP中非常有價值,我希望它在其他領域繼續(xù)采用。我認為ConvNet網(wǎng)絡的主導地位將受到Transformer網(wǎng)絡的挑戰(zhàn)。我的直覺是,與ConvNets可用的固定機制相比,注意力是一種更加通用的機制,用于實施不變性或協(xié)方差。

10.采用控制論和系統(tǒng)思維方法

深度學習實踐的一個主要缺點是缺乏對大局的理解。我們正處在需要從更多非傳統(tǒng)來源獲取靈感的時刻,我相信這些來源是以前控制論及其相關的系統(tǒng)思維學科的研究。我們需要開始考慮如何構建強大的智能基礎架構和智能擴充。這需要超越目前許多研究人員的機器學習思維。

邁克爾在他的文章“人工智能 - 革命尚未發(fā)生”中評論說,諾伯特維納的控制論已經“主宰當前時代”?刂普摵拖到y(tǒng)思維將幫助我們開發(fā)更全面的方法來設計AI系統(tǒng),成功的人工智能部署最終將與他們如何與人類用戶的需求保持一致。這將需要探索和制定整合各種相互作用部分的整體方法。

許多更新穎的深度學習方法可以追溯到控制論中的思想。對自主AI需要在其世界模型中包含主觀視角的理解將會增加。預測編碼、由內到外的體系結構、體現(xiàn)學習、及時推理、內在動機、好奇心、自我模型和可操作的表示都在這個范例中相關。

總結

深度學習繼續(xù)以突破性的速度取得進展,我希望研究可以轉變?yōu)楣I(yè)應用。在當今市場中理解深度學習的普遍缺點是無法為現(xiàn)有問題制定整體解決方案。創(chuàng)建將DL作為一個組件整合到整體中的解決方案的能力將是一種追求的技能。機器學習方法論可能是錯誤的,我們可以在控制論中可以找到更合適的觀點。我們可能無法在短期內實現(xiàn)AGI,但深度學習可用的工具和方法可作為科學和商業(yè)中有價值應用的堅實基礎。

文章原標題《10-predictions-for-deep-learning-in-2019》

譯者:烏拉烏拉

標簽: 谷歌 網(wǎng)絡

版權申明:本站文章部分自網(wǎng)絡,如有侵權,請聯(lián)系:west999com@outlook.com
特別注意:本站所有轉載文章言論不代表本站觀點!
本站所提供的圖片等素材,版權歸原作者所有,如需使用,請與原作者聯(lián)系。

上一篇:利用大數(shù)據(jù)提升政府治理能力

下一篇:GitHub 2018 機器學習&數(shù)據(jù)科學年度官方報告