機(jī)器學(xué)習(xí)研究者的養(yǎng)成指南，吳恩達(dá)建議這么讀論文
2020-03-03 來(lái)源：raincent
近日，一位網(wǎng)友在 Reddit 上發(fā)帖提問(wèn)：「那些高效的機(jī)器學(xué)習(xí)研究者，都有什么樣的習(xí)慣?」
比如，在 Arxiv 上時(shí)時(shí)跟進(jìn)最新的研究，利用睡覺(jué)時(shí)間訓(xùn)練模型，以及充分利用 Stack Overflow。其他的呢?
其實(shí)，世界上從不缺少優(yōu)秀的機(jī)器學(xué)習(xí)研究者，也不缺乏好的建議和指南。想要成為一名高效的機(jī)器學(xué)習(xí)研究者，最重要的是要有徹底的自我管理能力和一點(diǎn)堅(jiān)持到底的決心。
Open AI 的研究科學(xué)家和創(chuàng)始成員之一 John Schulman 曾撰寫(xiě)過(guò)一篇《機(jī)器學(xué)習(xí)研究指南》，提供了選擇問(wèn)題和時(shí)間管理方面的諸多建議。在 John Schulman 看來(lái)，成功的關(guān)鍵在于解決正確的問(wèn)題，并在這些問(wèn)題上不斷取得進(jìn)步，實(shí)現(xiàn)持續(xù)的個(gè)人成長(zhǎng)。
此外其它很多研究者也有自己獨(dú)特的見(jiàn)解，吳恩達(dá)在斯坦福 CS230 課程中專(zhuān)門(mén)開(kāi)了一課介紹論文怎么看、研究怎么做;Reddit 社區(qū)資深研究者對(duì)于快速做 ML 產(chǎn)品、高效做 ML 研究都有獨(dú)門(mén)秘籍。
挑選研究問(wèn)題
挑選研究問(wèn)題是需要品味的，可能選擇正確問(wèn)題的能力比技術(shù)技能更重要。隨著研究的深入，我們會(huì)慢慢發(fā)現(xiàn)研究問(wèn)題的各種滋味，能快速品味到哪些方法是有潛力的，哪些方法又是根本行不通的。
實(shí)際上，對(duì)于研究問(wèn)題的品味，我們有好幾種提升方法：
閱讀大量論文，并認(rèn)真評(píng)論與探討;
成立研究小組，吸收他人研究經(jīng)驗(yàn);
找自身研究者提建議，吸收他人的看法;
花時(shí)間思考哪些研究能夠產(chǎn)出成果;
對(duì)于最后一點(diǎn)，我們可以自問(wèn)「理論在什么時(shí)候是有用的」、「實(shí)驗(yàn)結(jié)果普遍嗎」、「為什么一些方法廣泛被采納，其它又被遺忘」。前面三點(diǎn)都是從其它研究者獲得信息，最后則是你自己的思考。
想法與目標(biāo)，研究的原動(dòng)力
一般來(lái)說(shuō)，我們有兩種方式來(lái)決定下一步研究工作：
想法驅(qū)動(dòng)：如果你看文獻(xiàn)時(shí)發(fā)現(xiàn)對(duì)于「如何處理 X」這個(gè)問(wèn)題有想法，那么就可以開(kāi)啟一個(gè)項(xiàng)目來(lái)測(cè)試新想法;
目標(biāo)驅(qū)動(dòng)：如要想要實(shí)現(xiàn)某些 AI 功能，那就要解決實(shí)現(xiàn)過(guò)程中的各種問(wèn)題。
這兩種方法并不是相互排斥的，任何領(lǐng)域的機(jī)器學(xué)習(xí)的新想法都與某些目標(biāo)有關(guān)。從某種意義上來(lái)說(shuō)，想法驅(qū)動(dòng)的研究就是目標(biāo)驅(qū)動(dòng)的一部分。在博客文章中，John Schulman 以目標(biāo)驅(qū)動(dòng)為例，這意味著你的研究比整個(gè)子領(lǐng)域的目標(biāo)更為具體。John 更推薦這種研究模式，他本人也一直遵循這種目標(biāo)導(dǎo)向的研究。
值得注意的是，想法驅(qū)動(dòng)的研究有一個(gè)缺點(diǎn)，存在被竊取或竊取其它研究工作的風(fēng)險(xiǎn)。因?yàn)楦鞯匮芯空叨荚陂喿x相同的文獻(xiàn)，很可能我們會(huì)產(chǎn)生相似的想法。如果我們想在想法驅(qū)動(dòng)的研究中獲得更多突破，那么首先需要對(duì)研究主題有深刻的理解，并且觀點(diǎn)和其它研究者明顯不同，這是非常難做到的。
目標(biāo)驅(qū)動(dòng)的研究案例
在博士階段前半部分，目標(biāo)是讓機(jī)器人能夠操作可變形的物體，如嘗試打結(jié)的手術(shù)機(jī)器人以及折疊衣服的家用機(jī)器人。為了實(shí)現(xiàn)目標(biāo)最初的想法是基于從人類(lèi)示范中學(xué)習(xí)，于是打算從 RP2 打結(jié)的問(wèn)題開(kāi)始，而隨之而來(lái)的就是各種子問(wèn)題，其中之一就是軌跡優(yōu)化，然而我在這個(gè)子問(wèn)題上的工作最終成為這個(gè)項(xiàng)目里最重要以及最有影響力的產(chǎn)物。
在博士階段后半段，我開(kāi)始對(duì)強(qiáng)化學(xué)習(xí)感興趣，并決定將重點(diǎn)放在機(jī)器人運(yùn)動(dòng)上，因?yàn)槟繕?biāo)非常具體所以結(jié)果非常令我感到興奮。為了讓 3D 機(jī)器人能學(xué)習(xí)跑步，我將重點(diǎn)放在策略梯度方法上，因?yàn)榇朔椒ㄗ钸m合理解以及數(shù)學(xué)分析，并且可以用上之前做優(yōu)化的經(jīng)驗(yàn)。在次期間，我開(kāi)發(fā)了 TRPO 以及 GAE，并成功實(shí)現(xiàn)了 3D 機(jī)器人運(yùn)動(dòng)的初始目標(biāo)。
當(dāng)我正在研究如何使機(jī)器人進(jìn)行運(yùn)動(dòng)，并使用策略梯度方法得到了第一個(gè)反饋結(jié)果時(shí)，DeepMind 的團(tuán)隊(duì)在 Atari 上使用 DQN 得出了結(jié)果。并且，在得出結(jié)果之后很多人便趕潮流，試圖在此之上開(kāi)發(fā)更好的 Q-learning 版本并應(yīng)用至 Atari 領(lǐng)域。然而，經(jīng)過(guò)對(duì) Q-learning 了解之后，我判斷這對(duì)我的目標(biāo)來(lái)說(shuō)并不是一個(gè)好方法，所以繼續(xù)使用策略梯度，這一堅(jiān)持使得我做出了 TRPO，GAE 以及后來(lái)的 ppo。
目標(biāo)驅(qū)動(dòng)的研究：將自己定義在通用解決方案中
以目標(biāo)導(dǎo)向的研究會(huì)存在一個(gè)陷阱，就是將目標(biāo)看得太完全化，比如在你擁有相匹配的能力時(shí)，你會(huì)以最直接甚至無(wú)趣的方式去實(shí)現(xiàn)該目標(biāo)，但是這種模式的研究并不能推進(jìn)你自己在機(jī)器學(xué)習(xí)領(lǐng)域中的發(fā)展。你應(yīng)該將你的研究定義為可以具有通用性以及泛化性并可以嘗試應(yīng)用在其他問(wèn)題的解決方案上。
例如，在研究機(jī)器人運(yùn)動(dòng)時(shí)，我盡量避免了將領(lǐng)域信息過(guò)度整合到解決方案中，而將問(wèn)題聚焦在最本質(zhì)的問(wèn)題上——目標(biāo)是在模擬中實(shí)現(xiàn)運(yùn)動(dòng)，這種方式是通用的并且之后可以實(shí)現(xiàn)于其他問(wèn)題上。再做了一系列特征工程和獎(jiǎng)勵(lì)形成后，我小心地在做一些改變及優(yōu)化，使得這些改變不會(huì)較大程度上影響到我正在開(kāi)發(fā)的算法。而現(xiàn)在我正在用游戲作為實(shí)驗(yàn)平臺(tái)，同時(shí)確保算法核心思想不是針對(duì)特定的設(shè)置，以便它同樣也可以很好的應(yīng)用至機(jī)器人技術(shù)上去。
志存高遠(yuǎn)，一步一步走
在機(jī)器學(xué)習(xí)領(lǐng)域，有時(shí)候既聰明又勤奮的人卻無(wú)法做出優(yōu)秀的成果。其主要原因在于，本身研究問(wèn)題的潛力就不大：到底該任務(wù)能有 10% 的改善還是 10 倍的提升?經(jīng)常會(huì)有研究者做看起來(lái)很合理，但卻只能小幅度提升某項(xiàng)指標(biāo)的工作。
在更大的目標(biāo)下做增量研究(10% 的提升)是最有效的。例如 ImageNet 數(shù)據(jù)集上的開(kāi)創(chuàng)性模型 AlexNet，它在 2012 年提出時(shí)沒(méi)包含任何全新的組件，只是堆積了大量小修正，但它獲得了前所未有的新結(jié)果。在日常研究工作中，性能會(huì)逐步提升，但所有步驟都應(yīng)該朝著一個(gè)更大的目標(biāo)前進(jìn)。
如果想要做增量研究，它們的用處就決定了它們的復(fù)雜性。例如提升 10% 的效果，那么最好只有兩行代碼，如果提升 50%，那么可以新增 10 行代碼。增量研究的性能提升決定了它能增加的復(fù)雜性，不然沒(méi)有誰(shuí)會(huì)用你的新方法。
研究是條旅途
研究是一條漫漫長(zhǎng)路，在這條路上可能發(fā)現(xiàn)新算法、發(fā)篇新論文，也可能是直到最后才能知道一個(gè)結(jié)果。為了在這條旅途中開(kāi)發(fā)新的算法和見(jiàn)解，你需要在很長(zhǎng)一段時(shí)間內(nèi)把精力集中在一個(gè)問(wèn)題上。
然而我們并不知道旅途的終點(diǎn)是什么樣的，因此這個(gè)長(zhǎng)期的問(wèn)題解決過(guò)程需要培養(yǎng)有效的習(xí)慣，從而使你能夠不斷地朝著更好的結(jié)果前進(jìn)。
保持寫(xiě)筆記的習(xí)慣
養(yǎng)成做筆記的習(xí)慣非常重要。比如你可以每天創(chuàng)建一個(gè)條目，然后記下你這一天在做什么，有什么想法，以及有什么實(shí)驗(yàn)結(jié)果。
在每日總結(jié)的基礎(chǔ)上，每過(guò)一兩周再進(jìn)行一次回顧性的總結(jié)，做好批注：比如實(shí)驗(yàn)結(jié)果的分析、一些有價(jià)值的見(jiàn)解(可以是自身的靈感，也可以是來(lái)自同事和朋友的金句)、代碼進(jìn)度以及下一步的工作規(guī)劃。
這樣做有什么價(jià)值?
一方面，筆記本是幫助你及時(shí)記下想法的工具，而且會(huì)提醒你在回顧的過(guò)程中去補(bǔ)全這個(gè)想法，鞭策你去重新思考一些本可能會(huì)被遺忘在角落的問(wèn)題。
另一方面，筆記本就像是一個(gè)收納箱，幫你把實(shí)驗(yàn)結(jié)果整理到一起。有些結(jié)論很容易忘記，比如哪些超參數(shù)很有價(jià)值，這時(shí)你就可以參考筆記內(nèi)容。
還有，筆記本能幫你梳理時(shí)間利用方面的問(wèn)題。有時(shí)候你可能想「上周我都干了什么」，翻翻筆記就能找到答案了。你可能意識(shí)到自己需要提升時(shí)間管理能力，也可能發(fā)現(xiàn)自己過(guò)去幾個(gè)月里太過(guò)頻繁地轉(zhuǎn)換不同想法，很容易半途而廢。
關(guān)于「換坑」問(wèn)題
說(shuō)到這里，繼續(xù)分析一下「切換想法」的問(wèn)題。一般來(lái)說(shuō)，想要解決一個(gè)具有挑戰(zhàn)性的問(wèn)題，需要花費(fèi)足夠多的時(shí)間和精力。但有時(shí)候則很難判定：我是否已經(jīng)付出了足夠的努力?我該不該換條路去走?
根據(jù)經(jīng)驗(yàn)來(lái)說(shuō)，過(guò)于頻繁地切換想法比呆在原地不動(dòng)的故障概率更高。不排除會(huì)存在具備超強(qiáng)潛力的新想法，但更常見(jiàn)的是失望。如果你回顧筆記內(nèi)容時(shí)，發(fā)現(xiàn)自己過(guò)去一段時(shí)間有相當(dāng)多的精力都花在完成了一半的項(xiàng)目上，這樣的項(xiàng)目既不能說(shuō)完全失敗了，但又暫無(wú)確定的成果產(chǎn)出。
所以可以采取一種策略，設(shè)置固定的時(shí)間去嘗試那些新想法，比如每周花一天時(shí)間去探索和自己現(xiàn)在所從事項(xiàng)目完全不同的想法，這樣也有利于拓寬知識(shí)面。
個(gè)人發(fā)展
在研究生涯中，無(wú)論如何分配時(shí)間，你都必須學(xué)習(xí)很多東西。但從長(zhǎng)遠(yuǎn)來(lái)看，如果你有規(guī)律地留出時(shí)間專(zhuān)注于個(gè)人發(fā)展，則能夠更有機(jī)會(huì)完成出色的工作。具體來(lái)說(shuō)，在從事現(xiàn)有項(xiàng)目的同時(shí)，你應(yīng)該撥出一部分時(shí)間來(lái)繼續(xù)充實(shí)機(jī)器學(xué)習(xí)領(lǐng)域的一般性知識(shí)。這樣以來(lái)，你學(xué)到的知識(shí)除滿足日常工作所需之外，才不會(huì)停滯不前，也不會(huì)陷入到所謂的舒適區(qū)域。
充實(shí)機(jī)器學(xué)習(xí)領(lǐng)域知識(shí)的方法很多，主要有閱讀教材書(shū)、學(xué)位論文和其他論文，并從這些源材料中復(fù)現(xiàn)算法。在研究生涯初期，作者建議把時(shí)間重新分配在教材書(shū)和論文上，重點(diǎn)選擇一部分來(lái)消化貫通，同時(shí)基于自己感興趣的論文來(lái)復(fù)現(xiàn)模型和算法。
大多數(shù)學(xué)生會(huì)在結(jié)束學(xué)校課程之后不再花時(shí)間閱讀教材書(shū)，作者認(rèn)為這種做法是錯(cuò)誤的。與論文相比，教材書(shū)一般以一種更集中的方式來(lái)吸取知識(shí)。會(huì)議論文通常會(huì)包含一個(gè)主要的新觀點(diǎn)，以及過(guò)于簡(jiǎn)潔的背景知識(shí)部分。此外，在閱讀論文過(guò)程中，除了論文觀點(diǎn)本身，你還需要花費(fèi)更多時(shí)間來(lái)理解復(fù)雜的符號(hào)和術(shù)語(yǔ)。與論文不同，好的教材書(shū)融合了幾十年的思想，并以循序漸進(jìn)的方式將復(fù)雜符號(hào)展示出來(lái)。此外，除了閱讀引導(dǎo)性的機(jī)器學(xué)習(xí)教材書(shū)，你也可以選擇自己感興趣的其他領(lǐng)域書(shū)籍。
除了教材書(shū)之外，學(xué)位論文的閱讀也是必不可少的。對(duì)于一些你感興趣的研究工作，你可以閱讀這些研究者的博士論文。機(jī)器學(xué)習(xí)領(lǐng)域的博士論文一般包括介紹性和背景材料、一些過(guò)去發(fā)表在頂會(huì)上的論文以及結(jié)論和展望。其中論文的背景材料和結(jié)論展望部分通常凝聚了專(zhuān)家編寫(xiě)的該領(lǐng)域過(guò)去和未來(lái)的一些統(tǒng)一性觀點(diǎn)，你可能會(huì)從中受益。
閱讀教材書(shū)和學(xué)位論文固然能夠鞏固你的基礎(chǔ)知識(shí)，但也需要大量閱讀其他論文來(lái)拓展知識(shí)前沿。在研究生涯早期，作者建議花大量時(shí)間來(lái)復(fù)現(xiàn)論文中的觀點(diǎn)，并對(duì)自己的實(shí)現(xiàn)結(jié)果與已發(fā)表的進(jìn)行對(duì)比。這樣以來(lái)，你不僅會(huì)更深刻地理解論文主題，獲得運(yùn)行實(shí)驗(yàn)的經(jīng)驗(yàn)，而且復(fù)現(xiàn)已有研究的做法會(huì)比進(jìn)行原始研究更快地獲得反饋。一旦你可以輕松復(fù)現(xiàn) SOTA 方法，就有可能超越它。
除了閱讀那些富有創(chuàng)造性的論文并進(jìn)行復(fù)現(xiàn)之外，你也應(yīng)該關(guān)注領(lǐng)域內(nèi)不那么突出的論文。以批判的眼光瀏覽閱讀即將發(fā)表的論文有助于你時(shí)刻跟上領(lǐng)域內(nèi)的發(fā)展趨勢(shì)。此外，對(duì)于一些廣泛使用并為其他觀點(diǎn)打開(kāi)大門(mén)的觀點(diǎn)，觀察它們之間的依賴圖也有助于你培養(yǎng)自己的閱讀品味。
吳恩達(dá)的讀論文建議
在 CS230 課程中，吳恩達(dá)對(duì)于研究規(guī)劃與如何讀論文也提出了他的一些建議。
如果要高效地閱讀論文，吳恩達(dá)表示我們想要知道論文的來(lái)源，例如 arXiv 或個(gè)人博客等。下面，如果我們列出 5 篇待讀論文，那么吳恩達(dá)的習(xí)慣是每一篇列一行，表示從 0 到 100 的閱讀進(jìn)度。最開(kāi)始我們只需要閱讀每一篇的 10% 左右，如果發(fā)現(xiàn)論文 2 不是我們想要的，就終結(jié)它。如果論文 3 是重要的，那么仔細(xì)閱讀到進(jìn)度 100%。
由論文 3，我們可以發(fā)現(xiàn)其它相關(guān)研究，因此也可以加到論文列表中，例如第 6、7 篇。讀完論文 3 也許會(huì)發(fā)現(xiàn)論文 4 也非常有意思，那么結(jié)合 4、6、7 繼續(xù)閱讀，并記錄閱讀進(jìn)度。
最后，如果閱讀 5-20 篇論文，差不多我們對(duì)該領(lǐng)域就有一定的了解了。如果高效閱讀 50 到 100 篇論文，那么對(duì)該領(lǐng)域的理解就比較完整了。Ng 的背包內(nèi)每天都會(huì)帶一個(gè)文本夾，里面的紙質(zhì)打印論文就是他的論文列表。
那么具體如何閱讀一篇論文呢，吳恩達(dá)表示，從第一個(gè)詞瀏覽到最后一個(gè)詞，這是最差的方式。一般而言，我們要多次瀏覽論文，且每一次的目的都不相同。
首先第一遍應(yīng)該只看標(biāo)題、摘要和圖表，摘要能告訴我們論文講了什么，而對(duì)于深度學(xué)習(xí)研究工作，很多都能總結(jié)成一兩張圖表。第二遍應(yīng)該繼續(xù)看前言、結(jié)語(yǔ)和圖表，其它的內(nèi)容我們可以暫時(shí)不管。注意在看前言時(shí)，相關(guān)研究部分也可以不管，雖然該部分對(duì)于理解研究脈絡(luò)很有幫助，但第二遍應(yīng)該需要抓住主要思想。
第三遍閱讀就要縱覽論文主體了，但同時(shí)那些耗費(fèi)時(shí)間的數(shù)學(xué)與推導(dǎo)部分可以暫時(shí)跳過(guò)，我們掌握整體脈絡(luò)與框架就行。第四遍需要閱讀所有的內(nèi)容，但這時(shí)候肯定還會(huì)有一些部分不能理解，那么暫時(shí)跳過(guò)它們以后再攻堅(jiān)。
讀論文是做研究的基礎(chǔ)，高效地讀高質(zhì)量論文又是重中之重。在課程中，Ng 還分享了很多讀論文、追蹤論文的技巧，感興趣的讀者可查看課程視頻：
CS230 Lecture 8: Career advice / Reading papers：https://www.youtube.com/watch?v=733m6qBH-jI
團(tuán)隊(duì)合作也很重要
除了以上 Open AI 研究科學(xué)家 John Schulman 提出的一些建議，Reddit 網(wǎng)友也發(fā)表了自己關(guān)于如何成為高效 ML 研究者的觀點(diǎn)。
一些網(wǎng)友認(rèn)為團(tuán)隊(duì)合作也很重要，所以應(yīng)該多與同事進(jìn)行交流，向他們解釋不理解的觀點(diǎn)或算法，并說(shuō)明自己嘗試做的東西。這樣以來(lái)，你通常會(huì)更容易地發(fā)現(xiàn)錯(cuò)誤和潛在問(wèn)題，你的同事也能提出一些自己的想法。
除了學(xué)術(shù)領(lǐng)域之外，另有網(wǎng)友分享了自己在工業(yè)界交付產(chǎn)品時(shí)的一些實(shí)用方法和建議：
為自己感興趣的任何項(xiàng)目創(chuàng)建一個(gè)工作代碼項(xiàng)目文件夾;
如果發(fā)現(xiàn)一些有趣或類(lèi)似于你正在研究的東西，嘗試任何已發(fā)表的代碼;
在運(yùn)行 Python 的過(guò)程中，你可以利用 pyenv 來(lái)輕松地避開(kāi)不同的需求;
如果 repo 起作用，則創(chuàng)建一個(gè)標(biāo)有「起作用」的文件菜單，以方便下次找到;
讓自己擅長(zhǎng)創(chuàng)建數(shù)據(jù)集并進(jìn)行預(yù)處理和分類(lèi);
收集一些與自己研究類(lèi)似的數(shù)據(jù)集;
當(dāng)更好的代碼出現(xiàn)時(shí)，要嘗試使用;當(dāng)意識(shí)到觀點(diǎn)需要改進(jìn)時(shí)，使用已有方法來(lái)打磨優(yōu)化自己的數(shù)據(jù)集。
在機(jī)器學(xué)習(xí)領(lǐng)域，每個(gè)人都會(huì)有自己的一套研究方法，一些好的建議和做法也并不一定適用于所有人。所以，如果想要成為一個(gè)高效的機(jī)器學(xué)習(xí)學(xué)習(xí)者，認(rèn)清自己進(jìn)而摸索出適合自己的道路至關(guān)重要。
參考鏈接：
http://joschu.net/blog/opinionated-guide-ml-research.html
https://www.reddit.com/r/MachineLearning/comments/f4oxuj/discussion_what_are_some_habits_of_highly/
標(biāo)簽： 機(jī)器學(xué)習(xí)
版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。
