準確率至上已是過去式，這些趨勢在2020年的AI領域更受關注
2020-01-15 來源：raincent
AI 領域最杰出的頭腦如何總結 2019 年技術進展，又如何預測 2020 年發(fā)展趨勢呢?本文介紹了 Soumith Chintala、Celeste Kidd、Jeff Dean 等人的觀點。
人工智能不是將要改變世界，而是正在改變世界。在新年以及新的十年開啟之際，VentureBeat 采訪了人工智能領域最杰出的頭腦，來回顧人工智能在 2019 年的進展，展望機器學習在 2020 年的前景。受訪者包括 PyTorch 之父 Soumith Chintala、加州大學教授 Celeste Kidd、谷歌 AI 負責人 Jeff Dean、英偉達機器學習研究負責人 Anima Anandkumar，以及 IBM 研究主管 Dario Gil。
其中部分人預測半監(jiān)督學習和神經(jīng)符號方法等子領域將出現(xiàn)進展，而幾乎所有受訪者一致認同 2019 年基于 Transformer 的自然語言模型取得巨大進步，也都認為對人臉識別等爭議性技術的討論仍會持續(xù)。此外，他們還期望 AI 領域不再只以準確率論輸贏。
PyTorch 之父 Soumith Chintala
在 2019 年秋季舉辦的 PyTorch 開發(fā)者大會上，F(xiàn)acebook 發(fā)布了 PyTorch 1.3 版本，該版本支持量化和 TPU 支持。會上還發(fā)布了深度學習可解釋性工具 Captum 和 PyTorch Mobile。此外，還有機器人框架 PyRobot 和代碼共享神器 PyTorch Hub，鼓勵機器學習從業(yè)者擁抱可復現(xiàn)性。
在這次 PyTorch 開發(fā)者大會上，Chintala 表示：2019 年機器學習領域幾乎沒有突破性進展。
「我認為，自 Transformer 之后，基本上沒有什么突破。2012 年 CNN 在 ImageNet 大賽上奪冠，迎來了高光時刻，2017 年是 Transformer。這是我的個人看法�！顾f。
他認為 DeepMind 的 AlphaGo 對強化學習的貢獻是突破性的，但其結果很難在現(xiàn)實世界的實際任務中實現(xiàn)。
Chintala 還認為，PyTorch 和 TensorFlow 等機器學習框架的演化改變了研究者探索新思路和做研究的方式�！高@些框架使研究者的速度比之前快了一兩個數(shù)量級，從這個角度看，這是一項巨大突破�！�
2019 年，谷歌和 Facebook 的開源框架都引入了量化，用于提升模型訓練速度。Chintala 預測，2020 年 PyTorch 的 JIT 編譯器和神經(jīng)網(wǎng)絡硬件加速器(如 Glow)等工具的重要性和采用范圍將迎來「爆發(fā)」。
「從 PyTorch 和 TensorFlow 中，可以看到框架的融合趨勢。量化以及大量其他較低級功能出現(xiàn)的原因是，框架之爭的下一戰(zhàn)是編譯器——XLA(TensorFlow)、TVM(陳天奇團隊)、Glow(PyTorch)，大量創(chuàng)新即將出現(xiàn)。未來幾年，你們會看到如何更智能地量化、更好地融合、更高效地使用 GPU，以及如何針對新硬件執(zhí)行自動編譯�！�
和本文大多數(shù)受訪者一樣，Chintala 預測 2020 年 AI 社區(qū)將用更多度量指標衡量 AI 模型的性能，而不僅僅是準確率。社區(qū)將注意力轉向其他因素，如創(chuàng)建模型所需的電量、如何向人類解釋輸出結果，以及如何使 AI 更好地反映人類想要構建的社會。
「回望過去五六年，我們只關注準確率和原始數(shù)據(jù)，例如『英偉達的模型更準確，還是 Facebook 的模型更準確?』我認為，2020 年我們將(以更復雜的方式)思考，如果模型不具備良好的可解釋性(或滿足其他標準)，那就算準確率高出 3% 又怎樣呢?」Chintala 表示。
加州大學教授 Celeste Kidd
Kidd 表示：「人類嬰兒不需要標注數(shù)據(jù)集，但他們也能學習得很好。這其中的關鍵在于我們需要理解這其中的原理�！�
她認為，當你對嬰兒的行為綜合分析后，你確實會看到他們理解一些事物的證據(jù)，但是他們并非完美的學習者。「嬰兒能自動學習很多東西」這種說法是對嬰兒能力的過度美化。
「嬰兒很棒，但他們也會出很多錯。我看到人們隨意地進行對比，將嬰兒的行為理想化了。我認為人們將會更加重視如何將當前的研究和未來的研究目標之間的聯(lián)系」
在 AI 領域，「黑箱」一詞已誕生多年，該詞常用于批評神經(jīng)網(wǎng)絡缺乏可解釋性。但 Kidd 認為，在 2020 年，可能不會再有這種對神經(jīng)網(wǎng)絡的認識了。
「黑箱這個觀點是虛假的……大腦也是黑箱，而我們在了解大腦工作原理方面已經(jīng)獲得巨大進展�！�
在為「黑箱」理論祛魅的過程中，Kidd 閱讀了 MIT-IBM Watson AI 實驗室執(zhí)行主任 Aude Oliva 的研究。
「我們當時討論過這件事。我之前認為系統(tǒng)是黑箱，她批評了我，說當然不是黑箱。你當然可以將它分割開來，查看其工作方式，并運行實驗，就像我們在了解認知過程時所做的實驗那樣。」
上個月，Kidd 在 NeurIPS 2019 開幕式上發(fā)表主旨演講。她的演講主要涉及人類大腦如何堅持己見、注意力系統(tǒng)以及貝葉斯統(tǒng)計。
她注意到了內容推薦系統(tǒng)如何操縱人類的想法。追求讓用戶最大程度參與的系統(tǒng)對人類如何形成想法和觀點有著重大影響。
2020 年，她希望看到更多人意識到技術工具和技術決策對現(xiàn)實生活的影響，拒絕「工具創(chuàng)造者不對工具使用者的行為和后果負責」的觀點。
「我聽到太多人用『我不是衛(wèi)道士』這樣的說辭自我辯護。我認為必須有更多人意識到這是不誠實的�！�
「作為社會一員，尤其是作為研發(fā)這些工具的人，我們需要直接正視隨之而來的責任�！�
谷歌 AI 負責人 Jeff Dean
Jeff Dean 在 NeurIPS 2019 會議上發(fā)表了兩場演講，這兩場演講分別關于使用機器學習設計 ASIC 半導體(ML for Systems)和 AI 社區(qū)幫助解決氣候變化的方法(Tackling Climate Change with ML)。他認為后者是這個時代最重要的問題之一。在關于氣候變化的演講里，Dean 討論了 AI 怎樣能夠成為零碳產(chǎn)業(yè)的方法，以及使用 AI 幫助改變人類的行為。
談到對 2020 年的期待，Dean 表示，他希望看到多模型學習領域的進展。在這一領域中，多模態(tài)學習依賴多媒體數(shù)據(jù)進行訓練，而多任務學習則讓網(wǎng)絡通過訓練一次就可以完成多項任務。
毫無疑問，2019 年最顯著的機器學習趨勢之一是：基于 Transformer 的自然語言模型的發(fā)展和壯大(上文中 Chintala 也認為這是 AI 領域近年來的最大突破之一)。在 2018 年，谷歌開源了基于 Transformer 的模型 BERT。而 2019 年大量頂級性能的模型(如谷歌的 XLNet、微軟的 MT-DNN、Facebook 的 RoBERTa)都基于 Transformer 構建。而且，谷歌發(fā)言人還告訴 VentureBeat，XLNet 2 將于本月底發(fā)布。
Jeff Dean 在談到 Transformer 進展時表示，「基于 Transformer 實際獲得的機器學習模型可以執(zhí)行比之前更復雜的 NLP 任務，從這個角度看，這個領域的研究碩果累累�！沟撬a充道，該領域仍有發(fā)展空間�！肝覀冞�是希望能夠使模型更多地理解語境�，F(xiàn)在 BERT 等模型可以很好地處理數(shù)百個單詞的語境，但如果語境包含 10000 個單詞就不行了。這是一個有趣的研究方向�！�
Dean 表示他希望社區(qū)更少去強調微小的 SOTA 進展，而是多關注如何創(chuàng)建更穩(wěn)健的模型。
谷歌 AI 將推進新計劃，如 2019 年 11 月開啟的內部項目「Everyday Robot」，該項目旨在創(chuàng)造在家庭和工作環(huán)境中完成常見任務的機器人。
英偉達機器學習研究負責人 Anima Anandkumar
2019 年，在英偉達負責機器學習工作的 Anandkumar 的重點之一是強化學習模擬框架。目前這樣的框架越來越流行，也更加成熟。
2019 年，我們看到英偉達開發(fā)了自動駕駛平臺 Drive 和機器人模擬器 Isaac，以及基于模擬生成合成數(shù)據(jù)的模型和 GAN。
例如，去年 StyleGAN 和 GauGAN 等 AI 模型大出風頭。而在上個月，英偉達還發(fā)布了 StyleGAN2。
這其中使用的便是 GAN 這一神經(jīng)網(wǎng)絡。這是一項能「混淆現(xiàn)實和虛擬界限」的技術，Anandkumar 認為該技術能夠幫助解決 AI 社區(qū)面臨的難題，如抓握式機器臂和自動駕駛。
Anandkumar 預測，2020 年迭代算法(iterative algorithm)、自監(jiān)督和自訓練方法將有新的進展。所謂自訓練，指的是模型使用無監(jiān)督數(shù)據(jù)，通過自我訓練得到改進。
「我認為迭代算法就是未來，因為如果你只做一個前饋網(wǎng)絡，它的穩(wěn)健性可能是個問題。而如果你嘗試進行多次迭代——基于數(shù)據(jù)類型或準確率要求來調試迭代，那么達到目標的可能性就會大大增加�！�
Anandkumar 認為，2020 年 AI 社區(qū)將面臨多項挑戰(zhàn)，比如說，AI 社區(qū)需要和領域專家合作為特定行業(yè)創(chuàng)建模型。政策制定者、個人和 AI 社區(qū)還需要處理特征表示上的問題，并確保模型訓練所用數(shù)據(jù)集能夠代表不同群體。
「我認為人臉識別存在的問題是容易被發(fā)現(xiàn)的，但是，在很多領域中，人們還沒有意識到數(shù)據(jù)的使用會涉及隱私問題�！笰nandkumar 表示，人臉識別得到的關注最多，這是因為人們很容易理解人臉識別如何損害個人隱私，而 2020 年 AI 社區(qū)將面臨更多倫理問題。
「我們需要更加審慎地審查數(shù)據(jù)收集和使用過程。歐洲正在這樣做，但在美國更應該如此。出于正當理由，美國國家運輸安全委員會(NTSB)和聯(lián)邦公共交通管理局(FTA)等組織將更多地執(zhí)行此類操作�！�
Anandkumar』s 認為，2019 年的一大驚喜是文本生成模型的突飛猛進。
「2019 是語言模型之年，不是嗎?現(xiàn)在，我們第一次得到了更連貫的文本生成結果，且其長度相當于整個段落，這在之前絕不可能，這非常棒。」
2019 年 8 月，英偉達發(fā)布了 Megatron 自然語言模型。該模型具備 80 億參數(shù)，被認為是全球最大的 Transformer 模型。Anandkumar 表示，她被人們開始按模型是否具備人格或個性進行分類的方式震驚到了。她期待看到更加適用于特定行業(yè)的文本模型。
「我們仍然沒有到達交互式對話生成階段。在這個階段中，我們可以追蹤和進行自然對話。我認為 2020 年這一方向會有更多嘗試�！�
開發(fā)控制文本生成的框架比開發(fā)圖像識別框架難度更大。而且文本生成模型會遇到為神經(jīng)模型定義事實等方面的挑戰(zhàn)。
IBM 研究主管 Dario Gil
他預測，使用較低精度架構更高效地訓練模型方面會有持續(xù)進展。開發(fā)更高效的 AI 模型是 NeurIPS 的重點，IBM Research 在會上介紹了使用 8-bit 精度模型的深度學習技術。
「總體上，使用現(xiàn)有硬件和 GPU 架構訓練深度神經(jīng)網(wǎng)絡的方式仍然是低效的。因此，從根本上重新思考非常重要。我們已經(jīng)提升了 AI 的計算效率，我們還將做得更多�！�
Gil 引用研究表示，機器學習訓練的需求每三個半月翻一番，比摩爾定律預測的要快得多。
Gil 對 AI 加速推動科學新發(fā)現(xiàn)感到很振奮，但他表示，IBM 研究院的研究重點將是神經(jīng)符號方法。
2020 年，Gil 希望 AI 從業(yè)者和研究者能夠關注準確率以外的度量指標，考慮在生產(chǎn)環(huán)境中部署模型的價值。AI 領域轉向構建受信任的系統(tǒng)，而不是準確率至上，這將是 AI 得到繼續(xù)采用的關鍵。
「社區(qū)中有些人可能會說『不要擔心，只需要提高準確率。人們會習慣黑箱這件事的。』，或者他們認為人類有時做決策時也不給出解釋啊。我認為將社區(qū)的智力聚焦于比準確率更好的事情是非常非常重要的。在任務關鍵型應用中，AI 系統(tǒng)不能是黑箱�！�
AI 只有少數(shù)機器學習奇才能做，具備數(shù)據(jù)科學和軟件工程技能的更多人只用使用它就行了。Gil 認為這種認知應該摒棄。
「如果我們讓 AI 保持神秘，只有該領域的 PhD 才能研究，這對 AI 的應用沒有好處�！�
2020 年，Gil 對神經(jīng)符號 AI 尤其感興趣。IBM 將尋找神經(jīng)符號方法為概率編程(讓 AI 學習如何編程)和能夠分享決策背后原因的模型等賦能。
「采用神經(jīng)符號方法，能夠將學習和推理結合起來，即符號維度嵌入到學習程序中。通過這種方式，我們已經(jīng)證明可使用所需數(shù)據(jù)的一部分進行學習。因為你學習了程序，你的最終輸出是可解釋的，因為有了這些可解釋的輸出，系統(tǒng)就更加可信�！�
公平性、數(shù)據(jù)完整性和數(shù)據(jù)集選擇問題仍是關注的重點。同樣，和生物識別技術相關的領域也是如此。人臉識別獲得了巨大關注，這只是個開始。隨著語音數(shù)據(jù)的敏感度上升，其他形式的生物識別特征也會日益受到關注。
「和人類身份和生物識別特征有關的工作，以及使用 AI 分析這些信息依然是研究中的核心問題。」
除了 MIT-IBM Watson 實驗室的主要項目——神經(jīng)符號和常識推理以外，Gil 表示 2020 年 IBM 研究院還將探索用于 AI 的量子計算，以及較低精度架構以外的 AI 模擬硬件。
總結
機器學習將繼續(xù)塑造商業(yè)和社會，本文采訪的這些研究者和專家發(fā)現(xiàn)了如下趨勢：
神經(jīng)語言模型的進展是 2019 年的重大事件，Transformer 是其背后的巨大助力。2020 年會出現(xiàn)更多 BERT 變體和基于 Transformer 的模型。
AI 行業(yè)應該尋找準確率以外的模型輸出度量指標。
2020 年，半監(jiān)督學習、神經(jīng)符號等方法和多任務學習、多模態(tài)學習等子領域可能出現(xiàn)進展。
和生物識別數(shù)據(jù)(如語音記錄)相關的倫理挑戰(zhàn)可能繼續(xù)成為爭議焦點。
編譯器和量化等方法可能在 PyTorch 和 TensorFlow 等機器學習框架中更加流行，以作為優(yōu)化模型性能的方式。
參考鏈接：
https://thenextweb.com/podium/2020/01/02/ai-creativity-will-bloom-in-2020-all-thanks-to-true-web-machine-learning/
標簽： 人工智能
版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。
