對我來說，在每年的這個時候來總結(jié)機器學習的進展已經(jīng)成為一種慣常(例如我去年在Quora上的回答)。和往常一樣，這個總結(jié)必然會因為我自己的興趣和關注點而有所偏頗，但我努力讓它盡可能的涉獵廣泛。請注意，下面是我在Quora上的博客作答。

如果我需要在幾行內(nèi)總結(jié)在2018年的機器學習的主要亮點，這些將是我可能會提及的：

♦ 人工智能的炒作和恐懼的散播逐漸冷卻下來;

♦ 更多關注聚焦于具體問題，如公平、可解釋性或因果關系;

♦ 深度學習有所發(fā)揮并在實踐中不僅適用于圖像分類(尤其是自然語言處理);

♦ 人工智能框架的戰(zhàn)斗正在升溫，如果你想成為名人，你最好發(fā)布一些你自己的框架;

讓我們更為細致地探討他們吧。

如果說2017年可能是恐懼散布和人工智能炒作的頂峰，那么2018年似乎是我們開始些許冷靜下來的一年。誠然，一些人一直在繼續(xù)宣揚他們對人工智能的恐懼，但他們可能忙于其他問題而沒有把這一點作為他們的重要議程。與此同時，出版社和其他媒體似乎已經(jīng)平靜下來，認為雖然自動駕駛汽車和類似技術(shù)正在向我們走來，但它們不會立刻誕生。盡管如此，仍有一些人在為我們應該監(jiān)管人工智能而不是專注于監(jiān)管其結(jié)果的壞主意辯護。

但是值得高興的是，今年的重點似乎已經(jīng)轉(zhuǎn)移到可處理的更具體的問題上。例如，有很多關于公平的討論，并且有許多關于這個主題的會議(參見FATML或ACM FAT)，甚至還有一些谷歌的在線課程。

 

 

(圖)谷歌的關于公平的在線課程

沿著這些方面，今年被廣泛討論的其他問題還包括可闡釋性、解釋性和因果性。從后者開始，因果關系似乎重新回到聚光燈下，主要是因為Judea Pearl的《為什么之書》一書的出版。作者不僅決定寫他的第一本“通俗易懂”的書，而且他還在Twitter上推廣關于因果關系的討論。事實上，就連流行媒體也將其描述為對現(xiàn)有人工智能方法的“挑戰(zhàn)”(例如，請參閱《大西洋刊》的這篇文章)。實際上，即使是ACM Recsys大會上的最佳論文獎也頒給了一篇關于如何在嵌入式中包含因果關系的論文(參見“因果嵌入的建議”)。話雖如此，許多其他作者仍然認為因果關系在某種程度上是一種理論上的干擾，我們應該再次關注更具體的問題，比如闡釋性或解釋性。說到解釋性，這一領域的一個亮點可能是關于Anchor的論文及代碼的發(fā)布，它們是著名的LIME模型的同一作者的后續(xù)。

 

 

(圖)Judea Pearl的時下經(jīng)典

雖然仍然存在一些關于深度學習作為最通用人工智能模型范例的問題(考慮到那些疑問，算我一個),雖然我們繼續(xù)瀏覽的第n個在Yann LeCun與Gary Marcus間的迭代,顯而易見的是深度學習不僅是存在的,并且它仍然是遠遠沒有達到它可達到的水平。更具體地說，在這一年里，深度學習方法在從語言到醫(yī)療保健等不同于視覺的領域取得了前所未有的成功。

事實上，很可能是在自然語言處理領域，我們看到了今年最有趣的進展。如果我必須選擇今年最令人印象深刻的AI應用程序，它們都是自然語言處理(而且都來自谷歌)。第一個是谷歌超級有用的智能架構(gòu)，第二個是他們的雙工對話系統(tǒng)。

 

 

使用語言模型的想法加速了這些進展，這種想法在今年由Fast.ai的UMLFit普及(參見“理解 UMLFit”)。然后，我們看到了其他(和改進的)方法，如艾倫的ELMO、Open AI的變形金剛，或者最近谷歌的打敗了許多SOTA的結(jié)果的BERT。這些模型被描述為“自然語言處理的 Imagenet 時刻”，因為它們提供了可使用的預訓練通用模型，這些模型也可以針對特定任務進行微調(diào)。除了語言模型之外，還有許多其他有趣的改進，比如Facebook的多語言嵌入便是一個例子。有趣的是，我們還看到這些方法和其他方法是如何迅速地集成到更一般的自然語言處理框架中，比如AllenNLP或Zalando的FLAIR。

 

 

(圖)BERT是深度雙向的，OpenAI GPT是單向的，而ELMo是淺雙向的

說到框架，今年的“人工智能框架之戰(zhàn)”愈演愈烈。令人驚訝的是，就在Pytorch 1.0發(fā)布時，Pytorch似乎正在趕上TensorFlow。雖然在生產(chǎn)中使用Pytorch的情況仍然不是最理想的，但是Pytorch在這方面的進展似乎比Tensorflow在可用性、文檔和教育方面的進展要快。有趣的是，很可能選擇Pytorch作為框架在實現(xiàn)Fast.ai庫上扮演了重要角色。話雖如此，谷歌意識到了這一切，并正在朝著正確的方向推進，如將Keras作為最高級而納入框架，或者增加像Paige Bailey這樣的以開發(fā)人員為中心的關鍵領導。最后，我們都能從這些偉大的資源中獲益，所以請繼續(xù)努力吧!

 

 

(圖)pytorch VS tensorflow 的搜索量趨勢

有趣的是，框架空間中另一個在框架空間有著諸多有趣的發(fā)展的是強化學習。雖然我不認為強化學習的研究進展像前幾年那樣令人印象深刻(我只想到DeepMind最近的Impala的工作)，但令人驚訝的是，在一年時間里，我們看到所有主要人工智能廠家都發(fā)布了強化學習框架。谷歌發(fā)布了Dopamine框架用于研究，而Deepmind(也在谷歌內(nèi)部)發(fā)布了某種程度上與之競爭的TRFL框架。Facebook不能落后，它發(fā)布Horizon，而微軟則發(fā)布了TextWorld，而它更擅長訓練基于文本的代理。有希望的是，所有這些開源的好處將幫助我們在2019年看到許多強化學習的進步。

為結(jié)束框架層面的討論，我很高興地看到谷歌最近在Tensor Flow上發(fā)布了TFRank。排名是一個非常重要的機器學習應用，而最近它可能沒有得到應有的喜愛。

似乎深度學習最終消除了對數(shù)據(jù)的智能需求，但事實遠非如此。圍繞著改進數(shù)據(jù)的想法，該領域仍有一些非常有趣的進展。例如，雖然數(shù)據(jù)增強已經(jīng)存在一段時間了，而且對于許多深度學習應用程序來說很關鍵，但是今年谷歌發(fā)布了自動增強，它是一種自動增強訓練數(shù)據(jù)的深度強化學習方法。一個更極端的想法是用合成數(shù)據(jù)訓練深度學習模型。這已經(jīng)在實踐中被嘗試了一段時間，并被許多人視為是人工智能未來的關鍵。NVidia在使用合成數(shù)據(jù)進行深度學習訓練的論文中提出了有趣的新想法。在我們的“向?qū)＜覍W習”中，我們還展示了如何即使是在與現(xiàn)實數(shù)據(jù)相結(jié)合下，都能使用專家系統(tǒng)來生成合成數(shù)據(jù)，并使用這些數(shù)據(jù)來訓練深度學習系統(tǒng)的方法。最后，還有一個有趣的方法，就是使用“弱監(jiān)管”來減少對大量手工標記數(shù)據(jù)的需要。Snorkel是一個非常有趣的項目，旨在通過提供一個通用框架來促進這種方法。

 

 

至于人工智能方面的更多基礎性突破，可能是我和我的關注點，但我并沒有看到太多。我不完全同意辛頓的觀點，他說缺乏創(chuàng)新是因為這個領域有“一些資深人士和無數(shù)的年輕人”，盡管在科學領域確實存在一種趨勢，即突破性研究是在較晚的年齡完成的。在我看來，目前缺乏突破的主要原因是現(xiàn)有方法和變化仍然有許多有趣的實際應用，所以很難冒險采用那些可能不太實際的方法。當該領域的大部分研究由大公司贊助時，這一點就更加重要了。無論如何，一篇對某些假設提出挑戰(zhàn)的有趣論文是“對用于序列建模的通用卷積網(wǎng)絡和循環(huán)網(wǎng)絡的實證評估”。雖然它是高度經(jīng)驗主義并使用已知的方法，但它打開了發(fā)現(xiàn)新方法的大門，因為它證明了通常被認為是最佳的方法實際上不是最佳的。需要明確的是，我不同Bored Yann LeCun所認為的看法，即卷積網(wǎng)絡是最終的“主宰算法”，而是認為RNN也不是。即使是序列建模也有很大的研究空間。另一篇具有高度探索性的論文是最近的NeurIPS最佳論文獎“神經(jīng)常微分方程”，它挑戰(zhàn)了深度學習中的一些基本內(nèi)容，包括層本身的概念。

 

 

有趣的是，該論文的動機來自一個項目，作者在該項目中研究醫(yī)療數(shù)據(jù)(更具體地說，是電子健康記錄)。我必須在這篇總結(jié)時提及人工智能和醫(yī)療保健交叉領域的研究，因為這是我在Curai的重點所在。不幸的是，在這個空間里發(fā)生了太多的事情，以至于我需要寫另一篇文章。所以，我會指出在MLHC會議和ML4H NeurIPS研討會上發(fā)表的論文。我們在Curai的團隊成功地讓論文在這兩處都被接受，所以你會在許多有趣的論文中發(fā)現(xiàn)我們的論文，它們會讓你了解我們的世界正在發(fā)生什么。

原標題 ：The year in AI/ML advances: 2018 roundup

作者：Xavier Amatriain 翻譯： leogle97

標簽： 代碼 谷歌 媒體 排名 搜索 推廣 網(wǎng)絡

版權(quán)申明：本站文章部分自網(wǎng)絡，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。