機(jī)器學(xué)習(xí)研究者的養(yǎng)成指南，吳恩達(dá)建議這么讀論文
2020-03-03 來源：raincent
近日，一位網(wǎng)友在 Reddit 上發(fā)帖提問：「那些高效的機(jī)器學(xué)習(xí)研究者，都有什么樣的習(xí)慣?」
比如，在 Arxiv 上時時跟進(jìn)最新的研究，利用睡覺時間訓(xùn)練模型，以及充分利用 Stack Overflow。其他的呢?
其實(shí)，世界上從不缺少優(yōu)秀的機(jī)器學(xué)習(xí)研究者，也不缺乏好的建議和指南。想要成為一名高效的機(jī)器學(xué)習(xí)研究者，最重要的是要有徹底的自我管理能力和一點(diǎn)堅(jiān)持到底的決心。
Open AI 的研究科學(xué)家和創(chuàng)始成員之一 John Schulman 曾撰寫過一篇《機(jī)器學(xué)習(xí)研究指南》，提供了選擇問題和時間管理方面的諸多建議。在 John Schulman 看來，成功的關(guān)鍵在于解決正確的問題，并在這些問題上不斷取得進(jìn)步，實(shí)現(xiàn)持續(xù)的個人成長。
此外其它很多研究者也有自己獨(dú)特的見解，吳恩達(dá)在斯坦福 CS230 課程中專門開了一課介紹論文怎么看、研究怎么做;Reddit 社區(qū)資深研究者對于快速做 ML 產(chǎn)品、高效做 ML 研究都有獨(dú)門秘籍。
挑選研究問題
挑選研究問題是需要品味的，可能選擇正確問題的能力比技術(shù)技能更重要。隨著研究的深入，我們會慢慢發(fā)現(xiàn)研究問題的各種滋味，能快速品味到哪些方法是有潛力的，哪些方法又是根本行不通的。
實(shí)際上，對于研究問題的品味，我們有好幾種提升方法：
閱讀大量論文，并認(rèn)真評論與探討;
成立研究小組，吸收他人研究經(jīng)驗(yàn);
找自身研究者提建議，吸收他人的看法;
花時間思考哪些研究能夠產(chǎn)出成果;
對于最后一點(diǎn)，我們可以自問「理論在什么時候是有用的」、「實(shí)驗(yàn)結(jié)果普遍嗎」、「為什么一些方法廣泛被采納，其它又被遺忘」。前面三點(diǎn)都是從其它研究者獲得信息，最后則是你自己的思考。
想法與目標(biāo)，研究的原動力
一般來說，我們有兩種方式來決定下一步研究工作：
想法驅(qū)動：如果你看文獻(xiàn)時發(fā)現(xiàn)對于「如何處理 X」這個問題有想法，那么就可以開啟一個項(xiàng)目來測試新想法;
目標(biāo)驅(qū)動：如要想要實(shí)現(xiàn)某些 AI 功能，那就要解決實(shí)現(xiàn)過程中的各種問題。
這兩種方法并不是相互排斥的，任何領(lǐng)域的機(jī)器學(xué)習(xí)的新想法都與某些目標(biāo)有關(guān)。從某種意義上來說，想法驅(qū)動的研究就是目標(biāo)驅(qū)動的一部分。在博客文章中，John Schulman 以目標(biāo)驅(qū)動為例，這意味著你的研究比整個子領(lǐng)域的目標(biāo)更為具體。John 更推薦這種研究模式，他本人也一直遵循這種目標(biāo)導(dǎo)向的研究。
值得注意的是，想法驅(qū)動的研究有一個缺點(diǎn)，存在被竊取或竊取其它研究工作的風(fēng)險(xiǎn)。因?yàn)楦鞯匮芯空叨荚陂喿x相同的文獻(xiàn)，很可能我們會產(chǎn)生相似的想法。如果我們想在想法驅(qū)動的研究中獲得更多突破，那么首先需要對研究主題有深刻的理解，并且觀點(diǎn)和其它研究者明顯不同，這是非常難做到的。
目標(biāo)驅(qū)動的研究案例
在博士階段前半部分，目標(biāo)是讓機(jī)器人能夠操作可變形的物體，如嘗試打結(jié)的手術(shù)機(jī)器人以及折疊衣服的家用機(jī)器人。為了實(shí)現(xiàn)目標(biāo)最初的想法是基于從人類示范中學(xué)習(xí)，于是打算從 RP2 打結(jié)的問題開始，而隨之而來的就是各種子問題，其中之一就是軌跡優(yōu)化，然而我在這個子問題上的工作最終成為這個項(xiàng)目里最重要以及最有影響力的產(chǎn)物。
在博士階段后半段，我開始對強(qiáng)化學(xué)習(xí)感興趣，并決定將重點(diǎn)放在機(jī)器人運(yùn)動上，因?yàn)槟繕?biāo)非常具體所以結(jié)果非常令我感到興奮。為了讓 3D 機(jī)器人能學(xué)習(xí)跑步，我將重點(diǎn)放在策略梯度方法上，因?yàn)榇朔椒ㄗ钸m合理解以及數(shù)學(xué)分析，并且可以用上之前做優(yōu)化的經(jīng)驗(yàn)。在次期間，我開發(fā)了 TRPO 以及 GAE，并成功實(shí)現(xiàn)了 3D 機(jī)器人運(yùn)動的初始目標(biāo)。
當(dāng)我正在研究如何使機(jī)器人進(jìn)行運(yùn)動，并使用策略梯度方法得到了第一個反饋結(jié)果時，DeepMind 的團(tuán)隊(duì)在 Atari 上使用 DQN 得出了結(jié)果。并且，在得出結(jié)果之后很多人便趕潮流，試圖在此之上開發(fā)更好的 Q-learning 版本并應(yīng)用至 Atari 領(lǐng)域。然而，經(jīng)過對 Q-learning 了解之后，我判斷這對我的目標(biāo)來說并不是一個好方法，所以繼續(xù)使用策略梯度，這一堅(jiān)持使得我做出了 TRPO，GAE 以及后來的 ppo。
目標(biāo)驅(qū)動的研究：將自己定義在通用解決方案中
以目標(biāo)導(dǎo)向的研究會存在一個陷阱，就是將目標(biāo)看得太完全化，比如在你擁有相匹配的能力時，你會以最直接甚至無趣的方式去實(shí)現(xiàn)該目標(biāo)，但是這種模式的研究并不能推進(jìn)你自己在機(jī)器學(xué)習(xí)領(lǐng)域中的發(fā)展。你應(yīng)該將你的研究定義為可以具有通用性以及泛化性并可以嘗試應(yīng)用在其他問題的解決方案上。
例如，在研究機(jī)器人運(yùn)動時，我盡量避免了將領(lǐng)域信息過度整合到解決方案中，而將問題聚焦在最本質(zhì)的問題上——目標(biāo)是在模擬中實(shí)現(xiàn)運(yùn)動，這種方式是通用的并且之后可以實(shí)現(xiàn)于其他問題上。再做了一系列特征工程和獎勵形成后，我小心地在做一些改變及優(yōu)化，使得這些改變不會較大程度上影響到我正在開發(fā)的算法。而現(xiàn)在我正在用游戲作為實(shí)驗(yàn)平臺，同時確保算法核心思想不是針對特定的設(shè)置，以便它同樣也可以很好的應(yīng)用至機(jī)器人技術(shù)上去。
志存高遠(yuǎn)，一步一步走
在機(jī)器學(xué)習(xí)領(lǐng)域，有時候既聰明又勤奮的人卻無法做出優(yōu)秀的成果。其主要原因在于，本身研究問題的潛力就不大：到底該任務(wù)能有 10% 的改善還是 10 倍的提升?經(jīng)常會有研究者做看起來很合理，但卻只能小幅度提升某項(xiàng)指標(biāo)的工作。
在更大的目標(biāo)下做增量研究(10% 的提升)是最有效的。例如 ImageNet 數(shù)據(jù)集上的開創(chuàng)性模型 AlexNet，它在 2012 年提出時沒包含任何全新的組件，只是堆積了大量小修正，但它獲得了前所未有的新結(jié)果。在日常研究工作中，性能會逐步提升，但所有步驟都應(yīng)該朝著一個更大的目標(biāo)前進(jìn)。
如果想要做增量研究，它們的用處就決定了它們的復(fù)雜性。例如提升 10% 的效果，那么最好只有兩行代碼，如果提升 50%，那么可以新增 10 行代碼。增量研究的性能提升決定了它能增加的復(fù)雜性，不然沒有誰會用你的新方法。
研究是條旅途
研究是一條漫漫長路，在這條路上可能發(fā)現(xiàn)新算法、發(fā)篇新論文，也可能是直到最后才能知道一個結(jié)果。為了在這條旅途中開發(fā)新的算法和見解，你需要在很長一段時間內(nèi)把精力集中在一個問題上。
然而我們并不知道旅途的終點(diǎn)是什么樣的，因此這個長期的問題解決過程需要培養(yǎng)有效的習(xí)慣，從而使你能夠不斷地朝著更好的結(jié)果前進(jìn)。
保持寫筆記的習(xí)慣
養(yǎng)成做筆記的習(xí)慣非常重要。比如你可以每天創(chuàng)建一個條目，然后記下你這一天在做什么，有什么想法，以及有什么實(shí)驗(yàn)結(jié)果。
在每日總結(jié)的基礎(chǔ)上，每過一兩周再進(jìn)行一次回顧性的總結(jié)，做好批注：比如實(shí)驗(yàn)結(jié)果的分析、一些有價值的見解(可以是自身的靈感，也可以是來自同事和朋友的金句)、代碼進(jìn)度以及下一步的工作規(guī)劃。
這樣做有什么價值?
一方面，筆記本是幫助你及時記下想法的工具，而且會提醒你在回顧的過程中去補(bǔ)全這個想法，鞭策你去重新思考一些本可能會被遺忘在角落的問題。
另一方面，筆記本就像是一個收納箱，幫你把實(shí)驗(yàn)結(jié)果整理到一起。有些結(jié)論很容易忘記，比如哪些超參數(shù)很有價值，這時你就可以參考筆記內(nèi)容。
還有，筆記本能幫你梳理時間利用方面的問題。有時候你可能想「上周我都干了什么」，翻翻筆記就能找到答案了。你可能意識到自己需要提升時間管理能力，也可能發(fā)現(xiàn)自己過去幾個月里太過頻繁地轉(zhuǎn)換不同想法，很容易半途而廢。
關(guān)于「換坑」問題
說到這里，繼續(xù)分析一下「切換想法」的問題。一般來說，想要解決一個具有挑戰(zhàn)性的問題，需要花費(fèi)足夠多的時間和精力。但有時候則很難判定：我是否已經(jīng)付出了足夠的努力?我該不該換條路去走?
根據(jù)經(jīng)驗(yàn)來說，過于頻繁地切換想法比呆在原地不動的故障概率更高。不排除會存在具備超強(qiáng)潛力的新想法，但更常見的是失望。如果你回顧筆記內(nèi)容時，發(fā)現(xiàn)自己過去一段時間有相當(dāng)多的精力都花在完成了一半的項(xiàng)目上，這樣的項(xiàng)目既不能說完全失敗了，但又暫無確定的成果產(chǎn)出。
所以可以采取一種策略，設(shè)置固定的時間去嘗試那些新想法，比如每周花一天時間去探索和自己現(xiàn)在所從事項(xiàng)目完全不同的想法，這樣也有利于拓寬知識面。
個人發(fā)展
在研究生涯中，無論如何分配時間，你都必須學(xué)習(xí)很多東西。但從長遠(yuǎn)來看，如果你有規(guī)律地留出時間專注于個人發(fā)展，則能夠更有機(jī)會完成出色的工作。具體來說，在從事現(xiàn)有項(xiàng)目的同時，你應(yīng)該撥出一部分時間來繼續(xù)充實(shí)機(jī)器學(xué)習(xí)領(lǐng)域的一般性知識。這樣以來，你學(xué)到的知識除滿足日常工作所需之外，才不會停滯不前，也不會陷入到所謂的舒適區(qū)域。
充實(shí)機(jī)器學(xué)習(xí)領(lǐng)域知識的方法很多，主要有閱讀教材書、學(xué)位論文和其他論文，并從這些源材料中復(fù)現(xiàn)算法。在研究生涯初期，作者建議把時間重新分配在教材書和論文上，重點(diǎn)選擇一部分來消化貫通，同時基于自己感興趣的論文來復(fù)現(xiàn)模型和算法。
大多數(shù)學(xué)生會在結(jié)束學(xué)校課程之后不再花時間閱讀教材書，作者認(rèn)為這種做法是錯誤的。與論文相比，教材書一般以一種更集中的方式來吸取知識。會議論文通常會包含一個主要的新觀點(diǎn)，以及過于簡潔的背景知識部分。此外，在閱讀論文過程中，除了論文觀點(diǎn)本身，你還需要花費(fèi)更多時間來理解復(fù)雜的符號和術(shù)語。與論文不同，好的教材書融合了幾十年的思想，并以循序漸進(jìn)的方式將復(fù)雜符號展示出來。此外，除了閱讀引導(dǎo)性的機(jī)器學(xué)習(xí)教材書，你也可以選擇自己感興趣的其他領(lǐng)域書籍。
除了教材書之外，學(xué)位論文的閱讀也是必不可少的。對于一些你感興趣的研究工作，你可以閱讀這些研究者的博士論文。機(jī)器學(xué)習(xí)領(lǐng)域的博士論文一般包括介紹性和背景材料、一些過去發(fā)表在頂會上的論文以及結(jié)論和展望。其中論文的背景材料和結(jié)論展望部分通常凝聚了專家編寫的該領(lǐng)域過去和未來的一些統(tǒng)一性觀點(diǎn)，你可能會從中受益。
閱讀教材書和學(xué)位論文固然能夠鞏固你的基礎(chǔ)知識，但也需要大量閱讀其他論文來拓展知識前沿。在研究生涯早期，作者建議花大量時間來復(fù)現(xiàn)論文中的觀點(diǎn)，并對自己的實(shí)現(xiàn)結(jié)果與已發(fā)表的進(jìn)行對比。這樣以來，你不僅會更深刻地理解論文主題，獲得運(yùn)行實(shí)驗(yàn)的經(jīng)驗(yàn)，而且復(fù)現(xiàn)已有研究的做法會比進(jìn)行原始研究更快地獲得反饋。一旦你可以輕松復(fù)現(xiàn) SOTA 方法，就有可能超越它。
除了閱讀那些富有創(chuàng)造性的論文并進(jìn)行復(fù)現(xiàn)之外，你也應(yīng)該關(guān)注領(lǐng)域內(nèi)不那么突出的論文。以批判的眼光瀏覽閱讀即將發(fā)表的論文有助于你時刻跟上領(lǐng)域內(nèi)的發(fā)展趨勢。此外，對于一些廣泛使用并為其他觀點(diǎn)打開大門的觀點(diǎn)，觀察它們之間的依賴圖也有助于你培養(yǎng)自己的閱讀品味。
吳恩達(dá)的讀論文建議
在 CS230 課程中，吳恩達(dá)對于研究規(guī)劃與如何讀論文也提出了他的一些建議。
如果要高效地閱讀論文，吳恩達(dá)表示我們想要知道論文的來源，例如 arXiv 或個人博客等。下面，如果我們列出 5 篇待讀論文，那么吳恩達(dá)的習(xí)慣是每一篇列一行，表示從 0 到 100 的閱讀進(jìn)度。最開始我們只需要閱讀每一篇的 10% 左右，如果發(fā)現(xiàn)論文 2 不是我們想要的，就終結(jié)它。如果論文 3 是重要的，那么仔細(xì)閱讀到進(jìn)度 100%。
由論文 3，我們可以發(fā)現(xiàn)其它相關(guān)研究，因此也可以加到論文列表中，例如第 6、7 篇。讀完論文 3 也許會發(fā)現(xiàn)論文 4 也非常有意思，那么結(jié)合 4、6、7 繼續(xù)閱讀，并記錄閱讀進(jìn)度。
最后，如果閱讀 5-20 篇論文，差不多我們對該領(lǐng)域就有一定的了解了。如果高效閱讀 50 到 100 篇論文，那么對該領(lǐng)域的理解就比較完整了。Ng 的背包內(nèi)每天都會帶一個文本夾，里面的紙質(zhì)打印論文就是他的論文列表。
那么具體如何閱讀一篇論文呢，吳恩達(dá)表示，從第一個詞瀏覽到最后一個詞，這是最差的方式。一般而言，我們要多次瀏覽論文，且每一次的目的都不相同。
首先第一遍應(yīng)該只看標(biāo)題、摘要和圖表，摘要能告訴我們論文講了什么，而對于深度學(xué)習(xí)研究工作，很多都能總結(jié)成一兩張圖表。第二遍應(yīng)該繼續(xù)看前言、結(jié)語和圖表，其它的內(nèi)容我們可以暫時不管。注意在看前言時，相關(guān)研究部分也可以不管，雖然該部分對于理解研究脈絡(luò)很有幫助，但第二遍應(yīng)該需要抓住主要思想。
第三遍閱讀就要縱覽論文主體了，但同時那些耗費(fèi)時間的數(shù)學(xué)與推導(dǎo)部分可以暫時跳過，我們掌握整體脈絡(luò)與框架就行。第四遍需要閱讀所有的內(nèi)容，但這時候肯定還會有一些部分不能理解，那么暫時跳過它們以后再攻堅(jiān)。
讀論文是做研究的基礎(chǔ)，高效地讀高質(zhì)量論文又是重中之重。在課程中，Ng 還分享了很多讀論文、追蹤論文的技巧，感興趣的讀者可查看課程視頻：
CS230 Lecture 8: Career advice / Reading papers：https://www.youtube.com/watch?v=733m6qBH-jI
團(tuán)隊(duì)合作也很重要
除了以上 Open AI 研究科學(xué)家 John Schulman 提出的一些建議，Reddit 網(wǎng)友也發(fā)表了自己關(guān)于如何成為高效 ML 研究者的觀點(diǎn)。
一些網(wǎng)友認(rèn)為團(tuán)隊(duì)合作也很重要，所以應(yīng)該多與同事進(jìn)行交流，向他們解釋不理解的觀點(diǎn)或算法，并說明自己嘗試做的東西。這樣以來，你通常會更容易地發(fā)現(xiàn)錯誤和潛在問題，你的同事也能提出一些自己的想法。
除了學(xué)術(shù)領(lǐng)域之外，另有網(wǎng)友分享了自己在工業(yè)界交付產(chǎn)品時的一些實(shí)用方法和建議：
為自己感興趣的任何項(xiàng)目創(chuàng)建一個工作代碼項(xiàng)目文件夾;
如果發(fā)現(xiàn)一些有趣或類似于你正在研究的東西，嘗試任何已發(fā)表的代碼;
在運(yùn)行 Python 的過程中，你可以利用 pyenv 來輕松地避開不同的需求;
如果 repo 起作用，則創(chuàng)建一個標(biāo)有「起作用」的文件菜單，以方便下次找到;
讓自己擅長創(chuàng)建數(shù)據(jù)集并進(jìn)行預(yù)處理和分類;
收集一些與自己研究類似的數(shù)據(jù)集;
當(dāng)更好的代碼出現(xiàn)時，要嘗試使用;當(dāng)意識到觀點(diǎn)需要改進(jìn)時，使用已有方法來打磨優(yōu)化自己的數(shù)據(jù)集。
在機(jī)器學(xué)習(xí)領(lǐng)域，每個人都會有自己的一套研究方法，一些好的建議和做法也并不一定適用于所有人。所以，如果想要成為一個高效的機(jī)器學(xué)習(xí)學(xué)習(xí)者，認(rèn)清自己進(jìn)而摸索出適合自己的道路至關(guān)重要。
參考鏈接：
http://joschu.net/blog/opinionated-guide-ml-research.html
https://www.reddit.com/r/MachineLearning/comments/f4oxuj/discussion_what_are_some_habits_of_highly/
標(biāo)簽： 機(jī)器學(xué)習(xí)
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。
