近日，ISCA 2018，同時(shí)也是第 45 屆 ISCA，于當(dāng)?shù)貢r(shí)間 6 月 2 日至 6 日在美國加州洛杉磯市召開。

ISCA(International Symposium on Computer Architecture)是計(jì)算機(jī)體系結(jié)構(gòu)領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議，由 ACM SIGARCH(計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)特殊興趣組) 和 IEEE TCCA(計(jì)算機(jī)架構(gòu)技術(shù)委員會(huì))聯(lián)合舉辦。在計(jì)算機(jī)領(lǐng)域的各種應(yīng)用和人才遍地開花、大數(shù)據(jù)與深度學(xué)習(xí)引發(fā)新的發(fā)展浪潮的當(dāng)代，ISCA 的會(huì)議規(guī)模也有所擴(kuò)大 —— 接近歷史紀(jì)錄的超過 785 名參會(huì)者，以及比去年增加了 17%、達(dá)到了共 378 篇的論文投稿;最終接收論文數(shù)目為 64 篇，接收率為 17%。據(jù)了解，從 1973 年創(chuàng)辦到 2008 年在北京召開的這 35 屆 ISCA 大會(huì)中，中國大陸科研機(jī)構(gòu)一共只發(fā)表過 5 篇文章。這些數(shù)字都體現(xiàn)了計(jì)算機(jī)架構(gòu)領(lǐng)域的深度、ISCA 會(huì)議的難度與聲譽(yù)。(相比之下機(jī)器學(xué)習(xí)領(lǐng)域相關(guān)會(huì)議近年來出現(xiàn)的海量投稿數(shù)可以看做體現(xiàn)了大家都認(rèn)為「這有什么難，我也可以發(fā)論文」)

除了例行的大會(huì)報(bào)告、圓桌討論、論文 session、workshop、tutorial、洛杉磯市內(nèi)觀光大巴游覽之外，會(huì)議還有一大亮點(diǎn)是邀請(qǐng)了今年 3 月剛剛頒布的圖靈獎(jiǎng)獲得者 John L. Hennessy 和 David A. Patterson 到場(chǎng)演講。實(shí)際上，二人獲得有「計(jì)算機(jī)領(lǐng)域的諾貝爾獎(jiǎng)」之稱的圖靈獎(jiǎng)，正是因?yàn)槎�人「開創(chuàng)了一種系統(tǒng)的、定量的方法來設(shè)計(jì)和評(píng)價(jià)計(jì)算機(jī)體系結(jié)構(gòu)，并對(duì) RISC 微處理器行業(yè)產(chǎn)生了持久的影響」(ACM 頒獎(jiǎng)詞)，這正是 ISCA 會(huì)議關(guān)注的核心課題之一。獲獎(jiǎng)后在 ISCA 進(jìn)行主題演講，二人想必也收到了最熱烈的掌聲和最高的敬意。

 

 

ISCA 2018 現(xiàn)場(chǎng)，John L. Hennessy(左) 和 David A. Patterson(右)與 Alan Turing 的半身像合影會(huì)議概況

 

 

第一天早上的開幕演講中組委會(huì)首先介紹了會(huì)議概況。如前文所說，今年 ISCA 共有超過 785 名參會(huì)者，大約 710 名參與了會(huì)議正會(huì)。這一數(shù)字有可能會(huì)創(chuàng)下 ISCA 這 45 年來的新的歷史紀(jì)錄。會(huì)議設(shè)置了 18 個(gè)論文報(bào)告 session，主題包括云和數(shù)據(jù)中心、新興 app 的加速、預(yù)讀取(prefetching)、語言和模型、虛擬內(nèi)存、相關(guān)性與存儲(chǔ)排序、新興范式、持續(xù)性(persistence)、新興內(nèi)存、存儲(chǔ)器、控制器和控制系統(tǒng)、移動(dòng)平臺(tái)、安全、互聯(lián)網(wǎng)絡(luò)、GPU，以及近年來火熱的機(jī)器學(xué)習(xí)系統(tǒng)。

除了 John Hennessy 與 David Patterson 的圖靈獎(jiǎng)獲獎(jiǎng)演講外，還有三位特邀嘉賓 Kim Hazelwood、Kunle Olukotun、Doug Burger 的主題演講以及 ACM - IEEE CS Eckert-Mauchly 獎(jiǎng)獲得者 Susan Eggers 的演講。

 

 

ISCA 2018 的論文投稿為 378 篇，比去年增加了 17%;接收論文數(shù)目為 64 篇，接收率為 17%。接收結(jié)果出自程序委員會(huì)對(duì)論文進(jìn)行的兩個(gè)階段的詳細(xì)評(píng)審。投稿論文中數(shù)量最多的研究課題為加速及領(lǐng)域?qū)Ｓ眉軜?gòu)，前十熱門的課題還有內(nèi)存系統(tǒng)、多核和并行架構(gòu)、微架構(gòu)、低功耗架構(gòu)與技術(shù)、新興內(nèi)存技術(shù)、層級(jí)化緩存、新興計(jì)算架構(gòu)、云與數(shù)據(jù)中心規(guī)模的計(jì)算、計(jì)算機(jī)系統(tǒng)的評(píng)價(jià)。

 

 

組委會(huì)也設(shè)法統(tǒng)計(jì)了會(huì)議中的性別平衡情況：在提交論文時(shí)作者們可以自愿提供性別信息，參與了信息提交的論文約占 37%;這部分論文的統(tǒng)計(jì)結(jié)果是，約 15% 的論文投稿中至少有 1 位女性作者，同時(shí) 15% 的接收論文的第一作者為女性!組委會(huì)也期待這個(gè)領(lǐng)域的性別比例未來可以繼續(xù)改善。

特邀嘉賓演講

首位演講的特邀嘉賓是來自 Facebook 的 Kim Hazelwood。Kim 是 Facebook 人工智能基礎(chǔ)設(shè)施團(tuán)隊(duì)(Facebook AI Infrastructure Foundation)的負(fù)責(zé)人，這個(gè)團(tuán)隊(duì)的職責(zé)是為 Facebook 的的生產(chǎn)化和移動(dòng)化機(jī)器學(xué)習(xí)應(yīng)用設(shè)計(jì)高效的、可拓展的軟硬件平臺(tái)，而她自己的研究興趣包括負(fù)載描述、性能分析、計(jì)算機(jī)系統(tǒng)架構(gòu)以及可拓展的數(shù)據(jù)中心系統(tǒng)。

Kim Hazelwood 的演講主題為「Applied Machine Learning at Facebook Scale: Separating Opportunity from Hype」(Facebook 規(guī)模的機(jī)器學(xué)習(xí)應(yīng)用：從熱潮中看到機(jī)會(huì))，介紹了在熱炒的機(jī)器學(xué)習(xí)概念背后，F(xiàn)acebook 為了真正地應(yīng)用機(jī)器學(xué)習(xí)技術(shù)做出的努力和相關(guān)的發(fā)現(xiàn);這里也是機(jī)器學(xué)習(xí)和計(jì)算機(jī)架構(gòu)設(shè)計(jì)的交叉點(diǎn)。演講中有一些對(duì)機(jī)器學(xué)習(xí)領(lǐng)域的研究人員以及應(yīng)用開發(fā)人員很有啟發(fā)的信息：

 

 

用一定的數(shù)據(jù)訓(xùn)練一個(gè)模型需要多少計(jì)算量、多少時(shí)間大家基本都心里有數(shù)，那么推理階段的計(jì)算量需求如何呢?實(shí)際上 Facebook 的機(jī)器學(xué)習(xí)模型每天要做超過兩千億次推理，其中包括五十億次語言翻譯，以及數(shù)百萬次的由自動(dòng)檢測(cè)系統(tǒng)主動(dòng)地刪除假冒賬戶。

 

 

在研究機(jī)器學(xué)習(xí)理論本身的人看來，工作流程分為「數(shù)據(jù)-特征-訓(xùn)練-評(píng)價(jià)-推理」五部分是自然而然的事情。而根據(jù)機(jī)器學(xué)習(xí)算法應(yīng)用時(shí)的系統(tǒng)需求來看，計(jì)算機(jī)架構(gòu)研究人員眼中的機(jī)器學(xué)習(xí)對(duì)數(shù)據(jù)的存儲(chǔ)、網(wǎng)絡(luò)連接、計(jì)算能力都提出了新的挑戰(zhàn)。

 

 

大規(guī)模應(yīng)用機(jī)器學(xué)習(xí)系統(tǒng)時(shí)的系統(tǒng)瓶頸在哪里?我們現(xiàn)在對(duì)計(jì)算和存儲(chǔ)都有許多的并行化手段，所以根據(jù)阿姆達(dá)爾定律，最大的瓶頸已經(jīng)變成了(難以并行化的)網(wǎng)絡(luò)連接。

 

 

從工程角度看，什么樣的研究投入方式是有效的?不是什么熱就投入什么，投入程度應(yīng)當(dāng)和機(jī)會(huì)(也就是系統(tǒng)瓶頸)相對(duì)應(yīng)。假如網(wǎng)絡(luò)因素對(duì)系統(tǒng)瓶頸的貢獻(xiàn)為 75%，那么就不應(yīng)當(dāng)在已經(jīng)熱門的計(jì)算領(lǐng)域投入 75%，而就應(yīng)該在網(wǎng)絡(luò)因素方面投入 75%。

 

 

所以 Kim 也提出了自己的「機(jī)會(huì)方程」：正確的投入方式需要有一些不平衡;要小心別人一窩蜂擠進(jìn)去的領(lǐng)域。已經(jīng)擁入很多研究者的領(lǐng)域包括量化、做硬件的推理加速器初創(chuàng)公司、不必要的深度學(xué)習(xí)方法。而計(jì)算、網(wǎng)絡(luò)與存儲(chǔ)之間的平衡，工具、編譯器、軟件，端到端解決方案等課題就是不那么火熱的、更適合的投入方向。

 

 

 

 

目前全世界已經(jīng)有超過 10 億部手機(jī)上運(yùn)行著神經(jīng)網(wǎng)絡(luò)應(yīng)用。在移動(dòng)設(shè)備上本地運(yùn)行的機(jī)器學(xué)習(xí)算法在隱私性、本地響應(yīng)性和用戶體驗(yàn)上都有更好的表現(xiàn)，但移動(dòng)設(shè)備的一大挑戰(zhàn)就是計(jì)算能力非常有限，使用 ARM 處理器的設(shè)備中 60% 還是基于老舊的 32 位 arm-v7 指令集，同時(shí)超過半數(shù)的設(shè)備只有不多于 4 個(gè)核心。這樣的結(jié)果就是，峰值計(jì)算性能高于 200 GFlops 的設(shè)備只有不到 20%，高于 600 GFlops 的簡(jiǎn)直鳳毛麟角。

 

 

網(wǎng)絡(luò)連接狀況也不容樂觀，4G 網(wǎng)絡(luò)的覆蓋區(qū)域非常有限，更別提還有很多連 2G 都沒有的區(qū)域了。(雷鋒網(wǎng) AI 科技評(píng)論注：中國區(qū)域是黑色應(yīng)該只是因?yàn)?Facebook 沒有詳細(xì)的數(shù)據(jù)。實(shí)際上根據(jù)中國信息通信研究院發(fā)布的數(shù)據(jù)，截至 2017 年 6 月，我國 4G 基站已累計(jì)建成約 300 萬個(gè)，而全世界的 4G 基站總數(shù)也就只有約 500 萬個(gè))

 

 

而如果想要開發(fā)在移動(dòng)設(shè)備上運(yùn)行的機(jī)器學(xué)習(xí)模型，嚴(yán)重的生態(tài)碎片化也帶來了許多麻煩：超過 20 家芯片制造商、超過 25 種處理器微架構(gòu)、超過 15 種 GPU 架構(gòu)、兩種主流操作系統(tǒng)、三種主流圖形 API、兩種主流計(jì)算 API。

除了移動(dòng)計(jì)算的挑戰(zhàn)之外，大規(guī)�？赏卣箼C(jī)器學(xué)習(xí)應(yīng)用也需要面對(duì)晝夜負(fù)載不平衡、硬件設(shè)施采購慣性、容災(zāi)與恢復(fù)、軟件平臺(tái)設(shè)計(jì)等挑戰(zhàn)。在演講最后，Kim 希望大家不要忘記了各項(xiàng)技術(shù)發(fā)展的基本規(guī)律，并以此著眼解決那些真正重大的問題。

圖靈獎(jiǎng)演講

 

 

Alphabet 公司董事長(zhǎng)、斯坦福大學(xué)前校長(zhǎng) John Hennessy 與谷歌 TPU 團(tuán)隊(duì)、UC 伯克利大學(xué)退休教授David Patterson 的圖靈獎(jiǎng)獲獎(jiǎng)演講自然也是會(huì)議的重頭戲之一。他們的演講題目是「A New Golden Age for Computer Architecture: Domain-Specific Hardware/Software Co-Design, Enhanced Security, Open Instruction Sets, and Agile Chip Development」(計(jì)算機(jī)架構(gòu)的新的黃金時(shí)代：領(lǐng)域?qū)Ｓ玫能浻布�協(xié)同設(shè)計(jì)，增強(qiáng)的安全性，開放指令集，以及敏捷芯片開發(fā))。

 

 

演講內(nèi)容要點(diǎn)如下：

自 1980 年代 Carver Mead 和 Lynn Conway 讓芯片設(shè)計(jì)變得平民化，以及高級(jí)編程語言取代了機(jī)器語言之后，RISC、超標(biāo)量、多級(jí)緩存、預(yù)測(cè)與編譯等方面的計(jì)算機(jī)架構(gòu)創(chuàng)新開啟了電子計(jì)算機(jī)發(fā)展的一個(gè)黃金時(shí)代，計(jì)算機(jī)的性能幾乎每年都可以增長(zhǎng) 60%。稍后到了 1990 和 2000 年代，計(jì)算架構(gòu)方面的創(chuàng)新雖然開始放緩，但不斷增加的處理器頻率和不斷增大的處理器緩存依然引領(lǐng)了計(jì)算性能的持續(xù)提高。直到近年來 Dennard 縮放定律和摩爾定律也開始失效，2017 年時(shí)單核心處理的性能僅僅比上一年提升了 3%。除了處理器性能提升遇到困難之外，Spectre 之類的漏洞也展示出了基于運(yùn)行時(shí)間的攻擊導(dǎo)致信息泄露的風(fēng)險(xiǎn)。

上一個(gè)黃金時(shí)代已經(jīng)結(jié)束，但 John Hennessy 與 David Patterson 認(rèn)為一個(gè)新的黃金時(shí)代即將開始。這個(gè)黃金時(shí)代的主題是大幅改善的成本、性能、能源消耗以及安全性。面對(duì)著已經(jīng)失效的 Dennard 縮放定律和摩爾定律無法繼續(xù)提供指數(shù)增加的資源，這些計(jì)算架構(gòu)方面的挑戰(zhàn)要比以前的挑戰(zhàn)更難解決。二人認(rèn)為，以下的幾個(gè)領(lǐng)域?qū)�這個(gè)新的時(shí)代至關(guān)重要：

 

 

John Hennessy 與 David Patterson 兩人相信，標(biāo)準(zhǔn)的微處理越來越難以提升的性能、高級(jí)別領(lǐng)域?qū)Ｓ玫恼Z言與安全性方面的機(jī)會(huì)、專有 ISA 鏈上的架構(gòu)設(shè)計(jì)師的解放、以及 Dennard 縮放定律和摩爾定律的失效將共同帶來一個(gè)計(jì)算架構(gòu)的新的黃金時(shí)代。開源生態(tài)系統(tǒng)、芯片原型的敏捷開發(fā)都會(huì)帶來實(shí)實(shí)在在的進(jìn)步，從而加速商業(yè)應(yīng)用。兩人期待新的黃金時(shí)代的技術(shù)進(jìn)步會(huì)像上一個(gè)時(shí)代一樣地快，只不過如今的關(guān)注點(diǎn)是在于成本、能耗、安全，同時(shí)兼顧性能。

ACM - IEEE CS Eckert-Mauchly 頒獎(jiǎng)

在 ISCA 2018 的頒獎(jiǎng)環(huán)節(jié)，除了多位新入選 IEEE Fellow、ACM Fellow 的頒獎(jiǎng)，以及多個(gè) ACM SIGARCH、IEEE TCCA 獎(jiǎng)項(xiàng)外，還有一個(gè)重頭戲，那就是 Eckert-Mauchly 獎(jiǎng)的頒獎(jiǎng)。

ACM - IEEE CS Eckert-Mauchly 獎(jiǎng)是計(jì)算機(jī)體系結(jié)構(gòu)領(lǐng)域最負(fù)盛名的獎(jiǎng)項(xiàng)，獲獎(jiǎng)?wù)哂?ACM 和 IEEE 共同評(píng)選，獎(jiǎng)項(xiàng)命名來源于 1947 年誕生的首臺(tái)電子計(jì)算機(jī) ENIAC 的設(shè)計(jì)者和制造者 John Presper Eckert 與 John William Mauchly(可見獎(jiǎng)項(xiàng)的重大意義)，旨在獎(jiǎng)勵(lì)在計(jì)算機(jī)及數(shù)字化系統(tǒng)架構(gòu)方面做出杰出貢獻(xiàn)的研究者。

 

 

2018 年 ACM - IEEE CS Eckert-Mauchly 獎(jiǎng)的獲得者是華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院教授 Susan Eggers，以表彰她在同步多線程處理器架構(gòu)和多處理器緩存共享與一致性方面的杰出貢獻(xiàn)。Susan Eggers 是領(lǐng)域內(nèi)頂尖的計(jì)算機(jī)架構(gòu)設(shè)計(jì)師，是 Eckert-Mauchly 獎(jiǎng)設(shè)立 39 年來的第一位女性獲得者，還是一位經(jīng)歷非常獨(dú)特的工程師。Susan Eggers 于 1965 年獲得了經(jīng)濟(jì)學(xué)碩士學(xué)位，在相關(guān)領(lǐng)域工作了 18 年后，決定改變職業(yè)，轉(zhuǎn)向了計(jì)算機(jī)工程方面的研究。1983 年，Susan Eggers 進(jìn)入 UC 伯克利大學(xué)電子工程和計(jì)算機(jī)科學(xué)系讀研究生，于 1989 年獲得博士學(xué)位，然后來到華盛頓大學(xué)以助理教授的身份開始她的學(xué)術(shù)生涯;此時(shí)的她已經(jīng) 47 歲。

從 1980 年代末起，Susan Eggers 在共享緩存的一致性(coherency)協(xié)議以及其他內(nèi)存相關(guān)的多處理器問題中做出了重大成果;她展開了最早的數(shù)據(jù)驅(qū)動(dòng)方法的關(guān)于共享內(nèi)存的多處理器計(jì)算機(jī)的實(shí)驗(yàn)，這極大地提升了整個(gè)領(lǐng)域?qū)τ谲浖�和硬件一致性技術(shù)的理解。她也因此在 2002 年當(dāng)選 ACM Fellow。

Susan Eggers 最著名的成果是在同步多線程(simultaneous multithreaded，SMT)處理器的開發(fā)以及商業(yè)化方面的開創(chuàng)性工作;這是過去三十年的計(jì)算機(jī)架構(gòu)發(fā)展歷程中最重要的進(jìn)步之一。面對(duì)簡(jiǎn)單增加邏輯和存儲(chǔ)單元無法繼續(xù)顯著提升處理器性能的狀況，Susan Eggers 等研究者提出，讓計(jì)算機(jī)有能力同時(shí)計(jì)算多項(xiàng)操作、執(zhí)行多個(gè)進(jìn)程，也就是提升計(jì)算機(jī)的并行計(jì)算能力，是最好的提升性能方式。在 1995 到 2003 年間，Susan Eggers 和她的同事們開發(fā)并驗(yàn)證了同步多線程技術(shù)，作為提升 CPU 性能的新方式。同步多線程技術(shù)允許多個(gè)獨(dú)立的程序指令序列(也就是線程)把它們的線程并行方式轉(zhuǎn)化為更簡(jiǎn)單的指令級(jí)別的并行方式，從而更好地利用了計(jì)算機(jī)中的資源，達(dá)到了性能提升。Susan Eggers 和她的同事們?cè)?ISCA 發(fā)表了多篇標(biāo)志性的論文并介紹了許多領(lǐng)先發(fā)現(xiàn)，展現(xiàn)了同步多線程技術(shù)背后的思想、顯著的性能提升以及實(shí)現(xiàn)這項(xiàng)技術(shù)的簡(jiǎn)易性。

 

 

ISCA 2018 現(xiàn)場(chǎng)，Susan Eggers 上臺(tái)領(lǐng)獎(jiǎng)

對(duì) ISCA 2018 的介紹就到這里。

ISCA 2018 官網(wǎng)：iscaconf.org

圖靈獎(jiǎng)演講視頻回放：https://www.acm.org/hennessy-patterson-turing-lecture

現(xiàn)場(chǎng)照片來源 IEEE Soft-magazine 及 清華大學(xué)博士生涂鋒斌，特此感謝。

標(biāo)簽： https 安全 大數(shù)據(jù) 谷歌 互聯(lián)網(wǎng) 互聯(lián)網(wǎng)絡(luò) 漏洞 通信 網(wǎng)絡(luò) 移動(dòng)平臺(tái)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。