近日，來自 MIT 和 UNAM 的四名學生構(gòu)建了一個收錄了最優(yōu)算法的網(wǎng)站，他們按領(lǐng)域、任務(wù)和數(shù)據(jù)集采集了最先進水平(SOTA)的論文，并為不同的任務(wù)提供了不同的性能度量標準。如果我們需要處理特定數(shù)據(jù)集或任務(wù)，這能大大減少搜索論文的時間，同時還能快速了解當前最優(yōu)的解決方案。

項目地址：https://www.stateoftheart.ai/

正如這些學生所言：「我們希望將所有資源都高效地分配到如今迅猛發(fā)展的 AI 和 ML 領(lǐng)域�！挂虼诉@個項目可以更高效地利用手中的資源，包括將時間、精力和計算資源都投入到真正的當前最優(yōu)方法和結(jié)果上。

State Of The Art

盡管目前已經(jīng)有很多諸如 arxiv-sanity、GroundAI、Deep Learning Monitor、reddit、Medium 等等能幫助我們緊跟 AI 和 ML 領(lǐng)域最新發(fā)展的網(wǎng)站。作者認為目前我們尚未擁有易于查詢的項目來檢索最先進的、可量化的任務(wù)結(jié)果。遵循這個想法，作者的目標是建立這個工具，不僅對研究人員有用，對任何想要咨詢或有助于推動該領(lǐng)域的人都有用。

基于這樣的目標，作者選取了 State Of The Art 作為衡量標準。很多讀者都很熟悉當前最優(yōu)結(jié)果(SOTA)，現(xiàn)在的新研究很多都嘗試給出更好的 SOTA 結(jié)果。而大部分新的最優(yōu)結(jié)果主要關(guān)注修正部分結(jié)構(gòu)或給出一些技巧，我們很難判斷實際上這樣的修正到底重不重要。為此，作者認為一個能真正包含 SOTA 結(jié)果的項目是非常有價值的，因此也就有了 stateoftheart.ai。

數(shù)據(jù)來源與度量

數(shù)據(jù)的主要來源是可以上傳其領(lǐng)域相關(guān)結(jié)果的機器學習社區(qū)。社區(qū)的開發(fā)者在閱讀(大量)文章后，會知道哪些論文是真正重要的、哪些論文的 SOTA 結(jié)果是可以復(fù)現(xiàn)的。此外，爬取網(wǎng)頁和幾個現(xiàn)有數(shù)據(jù)集和網(wǎng)站的數(shù)據(jù)同樣可以為項目提供數(shù)據(jù)。最后，數(shù)據(jù)的另一部分來自電子前沿基金會的《Measuring the Progress of AI Research》報告。

報告地址：https://www.eff.org/ai/metrics

當然，衡量 AI 領(lǐng)域進展的許多方面既不容易量化，也不能以表格形式展示。此外，任務(wù)的分類在某種程度上必然是有任意性的和不完整的。但是，在許多情況下，這樣的工具非常有用，并且始終可作為非全面的初始參考。該項目已經(jīng)覆蓋了計算機視覺、AI 游戲、自然語言處理、網(wǎng)絡(luò)圖和知識庫、程序歸納和程序合成、音頻處理，以及時間序列處理等領(lǐng)域。

 

 

項目示例

開放平臺并使其簡單無縫，每個人都可以做出貢獻是至關(guān)重要的。任何人只要注冊后就可以使用「Upload Result」按鈕上傳新任務(wù)、指標或結(jié)果。目前，該網(wǎng)站支持通過論文的 DOI / URL 來上傳結(jié)果。這里主要展示了圖像分類與機器翻譯的 SOTA 結(jié)果，項目會提供對應(yīng)原論文與具體數(shù)據(jù)集上的結(jié)果。此外，作者還將根據(jù)用戶反饋調(diào)整平臺以適應(yīng)更多用例場景。

目前該網(wǎng)站不支持搜索引擎，但可以通過多級分類按鈕進行檢索。檢索共分為三個級別，領(lǐng)域、任務(wù)和數(shù)據(jù)集。只要依次選中想要的檢索關(guān)鍵詞，就可以在下方的表格中查到定量的 state of the art 數(shù)值結(jié)果。如下圖所示，依次選中「計算機視覺」、「圖像分類」和「ImageNet」后，就能看到當前最佳的 ImageNet 分類器的相關(guān)信息。

 

 

從表格中分別能查詢到相關(guān)論文、作者、算法、論文接收會議和性能指標，以及論文的鏈接。

 

 

從這里的數(shù)據(jù)來看，作者收集了多種分類指標，包括準確率、誤差率、top-1 準確率和 top-5 準確率，并分離地進行排序。

 

 

按照 top-1 準確率和 top-5 準確率指標，最佳的 ImageNet 分類器應(yīng)該是 2018 年的《Learning Transferable Architectures for Scalable Image Recognition》這篇論文中提出的 NASNET-A(6) 架構(gòu)，其 top-1 準確率為 82.7%，top-5 準確率為 96.2%。

此外，算法描述也能提供一個簡要的理解。例如在機器翻譯中的 NIST05 (Chinese-English) 數(shù)據(jù)集上，當前最優(yōu)的論文可以視為結(jié)合了 Transformer 與 CSGAN。算法簡述與其所投的的大會能讓我們在最短的時間內(nèi)對該論文有一個直觀了解：

 

 

關(guān)于該項目的數(shù)據(jù)更新程度，我們可以根據(jù)近期比較受關(guān)注的 BERT 模型收錄情況感受一下。在自然語言處理領(lǐng)域，已經(jīng)可以在很多任務(wù)中找到 BERT 的身影，包括分類、常識推理、實體識別、語法、電影評論等。

 

 

當然，這里收錄的 SOTA 結(jié)果也不全包含最新的。比如，依次點擊「Game Playing」、「Abstract-Strategy」、「Go」之后，你將看到如下結(jié)果：

 

 

表中顯示 AlphaGo Zero 是最新的 SOTA 圍棋 AI，但實際上我們都知道，應(yīng)該是近期上了 Science 封面的 AlphaZero：

 

 

 

 

 

標簽： 開發(fā)者 搜索 搜索引擎 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請與原作者聯(lián)系。