當(dāng)?shù)貢r(shí)間 2 月 18 日，F(xiàn)acebook 首席人工智能科學(xué)家、卷積神經(jīng)網(wǎng)絡(luò)之父Yann LeCun在舊金山的國際固態(tài)電路大會(huì)上發(fā)表了一篇論文，分享了他關(guān)于人工智能發(fā)展的一些看法，同時(shí)也談到自己對(duì)于芯片和硬件發(fā)展的關(guān)注和研究。在這其中，諸如“深度學(xué)習(xí)可能需要一種新的編程語言”等說法引起了熱烈討論。

“深度學(xué)習(xí)需要一種新的編程語言”

自 20 世紀(jì) 80 年代以來，LeCun 就一直致力于神經(jīng)網(wǎng)絡(luò)研究。由于他本人對(duì)于神經(jīng)網(wǎng)絡(luò)發(fā)展的貢獻(xiàn)，所以被冠以“卷積神經(jīng)網(wǎng)絡(luò)之父”的稱號(hào)。

在當(dāng)天的演講中，LeCun 對(duì)于人工智能的發(fā)展提出了一些新的看法：

“在谷歌、Facebook 和其他地方有幾個(gè)項(xiàng)目旨在設(shè)計(jì)這樣一種編譯語言，這種語言可以有效地進(jìn)行深度學(xué)習(xí)，但社區(qū)是否會(huì)跟進(jìn)還不清楚，因?yàn)槿藗冎幌胧褂?Python。但現(xiàn)在的問題是：Python 真的是最好的解決方案嗎?”

LeCun 認(rèn)為，深度學(xué)習(xí)可能需要一種比 Python 更靈活，更易于使用的新編程語言。目前尚不清楚這種語言是否必要，但 LeCun 表示，這種可能性與研究人員和工程師非常根深蒂固的愿望背道而馳，很有可能帶來顛覆性的變革。

根據(jù) GitHub 最近的一份報(bào)告顯示：Python 目前是機(jī)器學(xué)習(xí)項(xiàng)目的開發(fā)人員最常使用的語言，該語言同時(shí)也是構(gòu)成 Facebook 的 PyTorch 和 Google 的 TensorFlow 框架的基礎(chǔ)。

但是，隨著代碼越來越復(fù)雜，開發(fā)人員對(duì)于編程語言的要求也更高了，就連圖靈獎(jiǎng)得主大衛(wèi)·帕特森也曾表示：是時(shí)候創(chuàng)造新的編程語言了。

與此同時(shí)，一些之前名不見經(jīng)傳的小眾編程語言也逐漸成為一些開發(fā)者的新寵。最能說明問題的就是去年 8 月才正式發(fā)布 1.0 版本的 Julia，從 2012 年到現(xiàn)在，Julia 1.0 在編程界已經(jīng)打出了自己的一片“小天地”，在 Github 上已經(jīng)獲得了 12293 顆星星。

與其他語言相比，Julia 易于使用，大幅減少了需要寫的代碼行數(shù);并且能夠很容易地部署于云容器，有更多的工具包和庫，并且結(jié)合了多種語言的優(yōu)勢(shì)。據(jù) JuliaComputing 的宣傳，在七項(xiàng)基礎(chǔ)算法的測(cè)試中，Julia 比 Python 快 20 倍，比 R 快 100 倍，比 Matlab 快 93 倍。除了 Julia，Swift 也成為了數(shù)據(jù)科學(xué)家們的新朋友。

“未來十年，硬件將左右 AI 的發(fā)展方向”

在演講中，Yann LeCun 還專門談到自己對(duì)于芯片和硬件發(fā)展的看法。

人工智能已有 50 多年的歷史，但它目前的崛起與計(jì)算機(jī)芯片和其他硬件提供的計(jì)算能力的增長(zhǎng)密切相關(guān)。

“更好的硬件催生出更好的算法以及更好的性能，更多的人才可以制造出更好的硬件，這樣的良性循環(huán)只有幾年的歷史了。”LeCun 表示，20 世紀(jì) 80 年代他在貝爾實(shí)驗(yàn)室工作，并已經(jīng)能夠使用 ConvNet (CNN) AI 讀取郵政信封和銀行支票上的郵政編碼。

21 世紀(jì)初，在離開貝爾實(shí)驗(yàn)室加入紐約大學(xué)后，LeCun 與該領(lǐng)域的其他知名人士合作，比如 Yoshu Bengio 和 Geoffrey Hinton，開展了一項(xiàng)研究，以恢復(fù)人們對(duì)神經(jīng)網(wǎng)絡(luò)的興趣，并讓深度學(xué)習(xí)變得更受歡迎。

近年來，硬件方面的進(jìn)步——如現(xiàn)場(chǎng)可編程門陣列 (FPGA)、谷歌的張量處理單元 (TPU) 和圖形處理單元 (GPU) 等，在該行業(yè)的增長(zhǎng)中發(fā)揮了重要作用。據(jù)了解，F(xiàn)acebook 也在開發(fā)自己的半導(dǎo)體。

LeCun 在演講中說：“現(xiàn)有的硬件對(duì)人們所做的研究有很大的影響，因此未來十年左右，人工智能的發(fā)展方向?qū)⒑艽蟪潭壬鲜艿浆F(xiàn)有硬件的影響。這對(duì)計(jì)算機(jī)科學(xué)家來說是件很丟臉的事，因?yàn)槲覀兿矚g抽象地認(rèn)為，我們的發(fā)展不受硬件限制的限制，但實(shí)際上我們是很受限制的。”

LeCun 強(qiáng)調(diào)了未來幾年硬件制造商應(yīng)該考慮的一些 AI 趨勢(shì)，并就近期所需的架構(gòu)提出了建議，建議考慮不斷增長(zhǎng)的深度學(xué)習(xí)系統(tǒng)的規(guī)模。

他還談到需要專門為深度學(xué)習(xí)設(shè)計(jì)的硬件，以及能夠處理一批訓(xùn)練樣本的硬件，而不是像現(xiàn)行標(biāo)準(zhǔn)那樣，需要批量處理多個(gè)訓(xùn)練樣本才能有效運(yùn)行神經(jīng)網(wǎng)絡(luò)，他說：“如果你運(yùn)行一個(gè)單一的圖像，不可能利用所有的算力，這樣的行為會(huì)造成資源浪費(fèi)，所以批量生產(chǎn)迫使人們思考訓(xùn)練神經(jīng)網(wǎng)絡(luò)的新方法。”

他還建議使用動(dòng)態(tài)網(wǎng)絡(luò)和硬件，這些網(wǎng)絡(luò)和硬件可以靈活調(diào)整，只利用完成任務(wù)所需的神經(jīng)元。

在這篇論文中，LeCun 重申了他的理念：即自監(jiān)督學(xué)習(xí)將在推進(jìn)人工智能的發(fā)展中發(fā)揮重要作用。

LeCun 在論文中寫道：“如果自監(jiān)督的學(xué)習(xí)最終允許機(jī)器通過觀察學(xué)習(xí)關(guān)于世界如何運(yùn)作的大量背景知識(shí)，那么可以假設(shè)某種形式的機(jī)器常識(shí)可能出現(xiàn)。”

LeCun 認(rèn)為，未來的深度學(xué)習(xí)系統(tǒng)將在很大程度上使用自監(jiān)督學(xué)習(xí)進(jìn)行訓(xùn)練，并且需要新的高性能硬件來支持這種自監(jiān)督學(xué)習(xí)。他表示，F(xiàn)acebook 正致力于盡其所能做的一切，降低功耗并改善延遲問題，以加快處理速度。LeCun 補(bǔ)充說，實(shí)時(shí)監(jiān)控網(wǎng)站上的視頻所帶來的巨大需求，使得研發(fā)團(tuán)隊(duì)需要進(jìn)行新的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)。

Facebook 還在尋找新的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以模仿人類智能的更多方面，并使其系統(tǒng)更自然地進(jìn)行交互。

“就新用途而言，F(xiàn)acebook 感興趣的一件事是提供智能助理——這是一種有一定常識(shí)的東西，他們有背景知識(shí)，你可以和他們就任何話題進(jìn)行討論。”

在演講中，LeCun 也表達(dá)出對(duì)于智能助理研發(fā)以及應(yīng)用的執(zhí)念。向計(jì)算機(jī)灌輸常識(shí)的想法還處于非常早期的階段，LeCun 表示，這種更深層次的智能“不會(huì)在明天就發(fā)生”。

他說：“研發(fā)人員希望一臺(tái)機(jī)器像人類或動(dòng)物一樣，當(dāng)世界與它互動(dòng)時(shí)，它能夠做出正確的反應(yīng)。”LeCun 補(bǔ)充說，F(xiàn)acebook 已經(jīng)在這一方面進(jìn)行了不少嘗試，最近的一項(xiàng)研究就是通過調(diào)整神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)，使其在面對(duì)現(xiàn)實(shí)世界的變化時(shí)反應(yīng)能更加靈活。

此外，F(xiàn)acebook 目前的研究工作還包括在神經(jīng)網(wǎng)絡(luò)中增加計(jì)算機(jī)記憶，這樣當(dāng)機(jī)器與人“交談”時(shí)，神經(jīng)網(wǎng)絡(luò)就能記住更多的信息，并形成更強(qiáng)的語境感。

神經(jīng)網(wǎng)絡(luò)功能方面的進(jìn)步可能會(huì)對(duì)驅(qū)動(dòng)芯片的設(shè)計(jì)產(chǎn)生連鎖反應(yīng)，這可能會(huì)為制造當(dāng)今領(lǐng)先 AI 芯片的公司帶來更多競(jìng)爭(zhēng)。

參考鏈接：

1.https://venturebeat.com/2019/02/18/facebooks-chief-ai-scientist-deep-learning-may-need-a-new-programming-language/

2.https://www.zdnet.com/article/facebooks-yann-lecun-says-internal-activity-proceeds-on-ai-chips/

3.https://www.ft.com/content/1c2aab18-3337-11e9-bd3a-8b2a211d90d5

標(biāo)簽： Google 代碼 谷歌 開發(fā)者 網(wǎng)絡(luò)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。