Robin.ly 是一個(gè)全新的視頻內(nèi)容平臺(tái)，旨在為廣大工程師和研究人員提高對(duì)商業(yè)，創(chuàng)業(yè)，投資，領(lǐng)導(dǎo)力的理解。第二期是Robin.ly線下活動(dòng)，創(chuàng)始人Alex Ren 采訪Caffe作者、Facebook Director of AI Infrastracture 賈揚(yáng)清博士，并于場(chǎng)下互動(dòng)問答。 以下為采訪實(shí)錄摘要，原始視頻請(qǐng)?jiān)L問www.robin.ly 完整視頻請(qǐng)?jiān)谖哪�掃二維碼關(guān)注

Alex: 最早的時(shí)候聽說Caffe是你的一個(gè)side project，不是你論文的主要內(nèi)容。當(dāng)時(shí)開發(fā)Caffe的初衷是什么?中間經(jīng)歷過什么過程，可以給大家講一下嗎?

Yangqing:主要的原因也是因?yàn)锳I research，以前researcher寫code，像Matlab之類的，很難reproduce。在2011年，2012年的時(shí)候大家還沒有太強(qiáng)的reproduceable research的這樣的想法，所以在AlexNet的paper出來(lái)之后呢，大家都沒辦法有一個(gè)比較reliable的平臺(tái)，來(lái)實(shí)現(xiàn)它的結(jié)果。當(dāng)時(shí)我們?cè)贐erkeley希望用Caffe來(lái)推動(dòng)獨(dú)立研究，所以當(dāng)時(shí)內(nèi)部開始試圖來(lái)呈現(xiàn)它的結(jié)果，相當(dāng)是一個(gè)于side results。

Alex: 整個(gè)的過程你大概做了多久?

Yangqing :兩個(gè)月吧!

Alex: 那后來(lái)到了Facebook之后繼續(xù)做Caffe你有遇到什么新的問題嗎?

Yangqing: Caffe的話因?yàn)橐呀?jīng)六年多了，所以基本上當(dāng)時(shí)有很多歷史遺留問題。最開始做Caffe的時(shí)候大家都是照著computer vision的模式來(lái)做的，所以很多design等等都是在CV方面比較make sense，在NLP等等其他地方都相對(duì)比較難一些。當(dāng)時(shí)整個(gè)modular 的design等等還沒有太清楚。Facebook在15年的時(shí)候其實(shí)很多產(chǎn)品里都還在用Caffe的runtime來(lái)部署，但是后來(lái)整個(gè)flexibility都會(huì)有些問題，所以這也是我們后來(lái)寫Caffe2跟PyTorch的原因。

Alex: 前段時(shí)間你們宣布了PyTorch1.0的發(fā)布，我記得Caffe主要是做production的，而PyTorch主要是research這個(gè)階段，當(dāng)你把這它們合并在一起的時(shí)候，是企圖解決什么問題呢?

Yangqing: 這個(gè)我們目前也是一個(gè)比較explorative的一個(gè)方向，包括我覺得整個(gè)行業(yè)大家都在往這個(gè)方向走。比如TensorFlow在TF2.0的announcement里面提到了eager mode，或者說是imperative mode。最大的一個(gè)挑戰(zhàn)基本上是research和production，這兩個(gè) fundamentally是兩個(gè)不太一樣的priority。Research需要flexibility，一切都應(yīng)該可以調(diào);而Production是要performance的時(shí)候，最后總是會(huì)需要有一些相對(duì)比較flexible的地方。所以很多時(shí)候都是一個(gè)看具體的實(shí)際應(yīng)用然后來(lái)consciously make some compromises。就比如說像computer vision也就是計(jì)算機(jī)視覺，包括像推薦系統(tǒng)這種實(shí)在是太大規(guī)模，even1% or 2% accuracy matters，在這種情況下我們會(huì)需要犧牲一些flexibility，來(lái)更加注重在performance上邊。像一些新的應(yīng)用比如說像自然語(yǔ)言處理，機(jī)器翻譯等，可能對(duì)于resource的要求沒有那么高。我們可以sacrifice比如說10%的performance，對(duì)于model iteration的要求比較高，所以這個(gè)就更加偏向于research這邊。

 

 

賈揚(yáng)清談 PyTorch與Caffe的合并

Alex: 上次我跟你聊，你說到你比較關(guān)注硬件方面的發(fā)展。我想知道你的角度是什么，是software hardware co-design嗎?

Yangqing: 更加偏向于software hardware co-design吧。CPU和GPU它的好處不光是在硬件上，而且是在軟件上。最可怕的事情是什么呢，就是說我們知道它很好，但是最后我們大家發(fā)現(xiàn)說，沒人能在上邊寫程序。Cause it’s too opaque。NVIDIA非常成功的原因是因?yàn)椋�我可以隨便找一個(gè)人，我可以花半天的時(shí)間，他就可以開始寫CUDAcode，只要他懂C++，我就能讓他寫CUDA code。NVIDIA，從04年CUDA出來(lái)以后到今天，NVIDIA把它整個(gè)software layer做的如此之好，使得它的入門門檻很低。如果我突然來(lái)一個(gè)FPGA，沒有一個(gè)月的時(shí)間，沒人能在上邊寫程序，所以說新的硬件最大的一個(gè)挑戰(zhàn)不光是在硬件上而且是在軟件上。這也是為什么我對(duì)軟硬件協(xié)同設(shè)計(jì)很感興趣。

Alex: 也就是說它搭建了一個(gè)eco-system，給developer們有更方便的方法去用，對(duì)吧?(對(duì)!)然后，我想問一個(gè)其他方面的問題。Facebook也是少有的做比較頂尖的AI research的一個(gè)公司，你在里邊帶領(lǐng)AI infrastructure這塊的一些研究。我知道Facebook，Google這樣的公司呢，你發(fā)現(xiàn)它有個(gè)特點(diǎn)，就是它有很多大牛都在一起工作，對(duì)吧?(嗯。)而很多別的公司經(jīng)常有這種一山不能容二虎這種現(xiàn)象。我不知道你在這方面有什么體會(huì)，在這種環(huán)境里，我想有些人可能也在創(chuàng)業(yè)，或者在自己公司里lead research，你對(duì)他們有什么心得可以分享?是什么樣的文化使得Facebook在research這方面有個(gè)cutting-edge research的結(jié)果?

Yangqing: 我覺得更多的算是計(jì)算機(jī)領(lǐng)域的文化吧，比如說大家最近經(jīng)常能夠聽到的消息比如像金融這個(gè)領(lǐng)域目前逐漸的越來(lái)越難吸引到頂尖的人才。一定的原因就是因?yàn)椋�整個(gè)領(lǐng)域太封閉了，誰(shuí)都不知道其他人在做什么。那么這個(gè)時(shí)候就有很簡(jiǎn)單的一個(gè)事，就是我們有句老話說的，叫獨(dú)木難支嘛，如果一個(gè)領(lǐng)域大家都在鉆著自己做自己的事情的話，有很多collective wisdom就很難被激發(fā)出來(lái)。而計(jì)算機(jī)這個(gè)領(lǐng)域的話，大家很多的想法，第一是說開源，第二是open research，第三是非常頻繁的交流。有很多的平臺(tái)本身就是，像我們用的Reddit啊，Hacker news都是一個(gè)很好的平臺(tái)，包括Robin.ly等等，所以我覺得整個(gè)這樣的一個(gè)文化使大家可以更快的把這個(gè)蛋糕做大，等到蛋糕做大了之后，誰(shuí)都能從中獲益。

Alex: 謝謝你提到了我們!你提到了Reddit，我看到了你Reddit上有篇評(píng)論，里邊提了一個(gè)詞叫unframework，因?yàn)楫?dāng)時(shí)是Caffe 2.0的時(shí)候你提的，能給我們解釋一下是什么意思嗎?

Yangqing:Unframework的idea基本上就是說以前大家在做AI的software的時(shí)候就是說，一個(gè)framework就什么都有嘛，對(duì)吧。當(dāng)時(shí)比如說六年前大家說Caffe，Torch跟Theano，反正就是一個(gè)framework，你在里頭或者外頭想做什么也很難，就是說它是一整個(gè)kind of crisp�，F(xiàn)在的話比如說，像我們有不同的硬件出來(lái)，有TPU，比如說我們有visualization等等，逐漸的就有點(diǎn)類似于一個(gè)unit operation system，就是說我做完一個(gè)operation system的時(shí)候不是說所有的差都完了我可以在上面裝app，我可以在上面裝extension了。所以就是說發(fā)展到今天，framework是一個(gè)很小的一部分，外面有很多其他各種譬如說硬件啊，visualization啊等等。舉個(gè)例子比如說PyTorch目前我們?cè)诟鶪oogle合作來(lái)一起做一個(gè)Tensorboard這樣的，做一個(gè)a very nicevisualization tool for AI，就是不光限制在一個(gè)framework，而是說build different components，get components clip，用各種各樣的方式plug起來(lái)。

Alex: 明白。那我問一下我最后一個(gè)問題吧，就是你當(dāng)初也是典型的engineering research出來(lái)的，現(xiàn)在去lead的組織，有很多工程師。你在softskills這塊，你覺得在這個(gè)過程中你有些什么收獲，給大家有什么建議?

Yangqing: 這方面的話，可能一個(gè)人做事情和一群人做事情還是有一些區(qū)別的。第一個(gè)是我們所謂叫innovator’s dilemma：一開始大家會(huì)覺得這個(gè)team做的太慢了，這事兒我一個(gè)人能夠兩個(gè)小時(shí)就能搞定的。為什么這個(gè)team一天還沒搞定。大家有時(shí)候怎么樣來(lái)properly set expectation，因?yàn)樽约阂粋�(gè)人的bandwidth是有限的嘛，怎么樣來(lái)幫助整個(gè)team能夠合作把這個(gè)事情往前推�？赡茉趩蝹�(gè)的事情上efficiency不好但是在整個(gè)大的全組project上能夠更加accelerate一些;第二個(gè)是怎么樣grow people，就是create space for people to make mistakes，怎么樣能讓大家來(lái)逐漸take ownership。第三個(gè)是管理層面提到的give away Legos，就是說focus在別人需要你的地方而不是自己做的最好的地方。我覺得在做technical management或者technical leadership的這塊兒其實(shí)還是挺有意思的。

Alex: 接下來(lái)歡迎場(chǎng)下同學(xué)提問。

 

 

Alex 介紹Robin.ly平臺(tái)

Q1: 賈博士你好，我來(lái)自O(shè)PPO美國(guó)研究所。有個(gè)問題想請(qǐng)教你，前段時(shí)間有一個(gè)語(yǔ)言叫Julia橫空出世，號(hào)稱集百家之長(zhǎng)，所以我想問問你對(duì)這個(gè)語(yǔ)言有什么看法，有沒有打算基于Julia這個(gè)語(yǔ)言建立一個(gè)framework。

Yangqing: 我們其實(shí)嘗試過很多各種各樣的語(yǔ)言，所以說我不太好評(píng)論。Julia的好處是它對(duì)于low level language migration非常好，比如大家如果用Python的話，可能你在Python里寫for loop， performance非常差。Julia對(duì)這個(gè)low level language binding的performance一直都是挺不錯(cuò)的。我們考慮過很多的language，包括我們自己Facebook以前有Torch，Torch是基于Lua的，我們最后發(fā)現(xiàn)了一點(diǎn)就是說，it’s not about the language itself，it’s about the eco-system。Python平心而論很多人都說Python是一個(gè)很爛的語(yǔ)言，但是它有社區(qū)，它的整個(gè)的eco-system非常好，如果我要裝Python，我有Anaconda;如果我要用Python visualization，我有Matplotlib;如果我要有numerical computation我有NumPy和SciPy，如果我要做圖像處理，我有Scikit-image。 所以說最后我們發(fā)現(xiàn)這個(gè)eco-system很重要，當(dāng)年Luatorch遇到的很大的一個(gè)瓶頸是沒有人知道怎么寫Lua。大家都很懶，我也很懶，我不想為了學(xué)一個(gè)新語(yǔ)言而學(xué)一個(gè)新語(yǔ)言，whatever works for me。所以說這個(gè)時(shí)候Python作為一個(gè)很不錯(cuò)的compromise，似乎是目前整個(gè)industry大家比較common的選擇。

Q2：你好，我有一個(gè)問題： PyTorch是一個(gè)用戶很多的一個(gè)系統(tǒng)，還有一些用戶比較多的系統(tǒng)就是TensorFlow，背后都有一個(gè)很大的community，有很大的公司在支持，但是其實(shí)你剛才也提到了就是TensorFlow也出了這個(gè)eager mode大家需求也都一樣，都有這個(gè)research developability或者interactivity這方面的需求，deployment都有scalability或者performance這方面的需求。那最后有沒有這兩個(gè)系統(tǒng)或者說市面上所有系統(tǒng)合并到一起的可能，從business的角度來(lái)說什么樣的條件會(huì)造成這種合并。

Yangqing: 我問你這樣一個(gè)小問題。我們?cè)谟肬ber，Gmail，或者calendar的時(shí)候，我們會(huì)擔(dān)心是在Android上面，還是iOS上面嗎?就是說essentially，到最后 product這邊， as long as we have a platform for us to run models , it's probably gonna be not different. 對(duì)于uber來(lái)說，它可能并不擔(dān)心Ios或者Android，假如說他們能合并，那這是一個(gè)最省事兒的事兒，那將來(lái)他們就不用寫app寫兩套了。但是it's not a deal breaker。 然后從framework的角度來(lái)說，我覺得一方面大家開玩笑說 There's a war on frameworks, 對(duì)吧!從當(dāng)年相對(duì)比較academic的Caffe 跟Torch 跟Theano 這三家，到現(xiàn)在Google的TensorFlow，Amazon的MXNet，F(xiàn)acebook的PyTorch，Microsoft的CNTK等等。到最后大家發(fā)現(xiàn)這幫framework writter其實(shí)就是大家天天在那聊天說，我們design應(yīng)該怎么走啊等等。到最后大家的idea都會(huì)逐漸converge起來(lái)。所以我個(gè)人不會(huì)太擔(dān)心最后 which framework wins on framework， or which framework migrates which framework. 最后的idea都差不多。

Q3: 我想問一個(gè)比較抽象的問題，看我能不能解釋清楚了，現(xiàn)在這些framework，這些工具非常的成熟了，非常完善，這必然是件好事。但從另一個(gè)角度來(lái)講他對(duì)computer vision researcher和graduate student的impact是非常不同的。比如說五年前/八年前你可以design自己的feature，做一個(gè)minimization variation whatever graphical model你可以發(fā)paper，這個(gè)玩法和現(xiàn)在必然不同，現(xiàn)在你要train model，你要自己想辦法做一些新的architecture或者其它一些比較有竅門的東西才能發(fā)paper。那比如說十年之后你再去Berkeley讀一個(gè)computervision PhD從頭開始的話，這個(gè)玩法是什么呀。就比如說AutoML這種東西都出來(lái)了，很多東西可能就被取代了，就不需要了，那怎么玩?

Yangqing:大家還有另外的一個(gè)相關(guān)的comment就是說目前這個(gè)整個(gè)做deeplearning training需要的資源越來(lái)越多，學(xué)校到底怎么辦對(duì)吧，誰(shuí)也沒有一萬(wàn)個(gè)GPU來(lái)train Auto ML model，那這個(gè)大家這個(gè)Auto MLresearch是怎么做的呢?我覺得可能第一個(gè)比較passive aggressive的answer是come to industry labs，and you can just get resources，但這是一個(gè)玩笑話，另外一方面是我覺得就是比如說像12年的時(shí)候大家都覺得Google的infinite resource，大家deep learning怎么做最后Alex做的方法就是2個(gè)GPU，我當(dāng)時(shí)在Google實(shí)習(xí)，對(duì)我們來(lái)說還挺surprising的，就是說其實(shí)computation resource isn’t the wining factor。其實(shí)學(xué)術(shù)界的一個(gè)好處是，I naturally create一個(gè)constrain是說，you have to be efficient。我現(xiàn)在個(gè)人是在工業(yè)界，工業(yè)界有的時(shí)候大家被這些resource給寵壞了，就是說學(xué)術(shù)界其實(shí)一直都還是source of the new information and new ideas。很多時(shí)候可能模型并不一定需要太大，但硬懟performance或者硬懟containerresource大家在grad student這個(gè)地方就別做了，對(duì)吧。然后，挺有意思的，能夠做的方向就是howwe actually basically just like look at the current models and then do newideas，Berkeley去年做了很有意思的一個(gè)paper叫CycleGAN，怎么樣在generative advisorynetwork上面做一些新的工作。這些方面可能不需要太多的resource，包括是一兩個(gè)CPU就差不多夠了。所以可能就說回去再讀PhD的話可能做法還是差不多的，就是看看最近新的idea在什么方向，然后更多的是iterate on ideas, not iterate on systems。

 

 

活動(dòng)現(xiàn)場(chǎng)，賈揚(yáng)清在左，Alex在右

Q4: 我有一個(gè)follow up的一個(gè)問題就是剛才你說很多algorithm需要特別大的一個(gè)計(jì)算資源，從硬件的發(fā)展上看你有看到一個(gè)趨勢(shì)是說，硬件快速增長(zhǎng)，越來(lái)越便宜，能力越來(lái)越強(qiáng)，能夠讓更多的人能夠訓(xùn)練AlphaGo這種algorithm，你能看到這種趨勢(shì)嗎?

Yangqing: 硬件這方面again，I’m not an expert。David Patterson在最近他的talk里邊提到Moore’s law is ending，is it a badthing，or is it a good thing?I actually say this is the golden age for hardware because a lot of things arebeing collaboratively redesigning, and iterating. And domain specific architecture is becoming the next new exciting idea. 所以我覺得更多是硬件這邊會(huì)朝向更緊密地跟軟件結(jié)合的這個(gè)方向。Imagine就是現(xiàn)在我們?cè)趯戃浖�的時(shí)候，我們現(xiàn)在調(diào)我們的軟件就不用we don’t give a damn about what kind of software we wrote yesterday，we can just change it。硬件這邊的話還是大家又一點(diǎn)自己的constrain，硬件這邊大家還是有一些follow一個(gè)一年或者兩年的cycle。Imagine如果我們有一些新的方法能夠，像我們做 throw away software 這樣來(lái)做throw away hardware，假如我們每六個(gè)月就可以iterate一個(gè)硬件的version，這個(gè)時(shí)候?qū)τ谡麄�(gè)硬件的industry會(huì)是一個(gè)挺新的一個(gè)paradigm，我自己不知道具體怎么做但是我覺得這方面從軟件的角度來(lái)說我們希望有更多的硬件來(lái)支持計(jì)算，從硬件角度來(lái)說就是我覺得最近有好多的機(jī)會(huì)。

Q5: 首先謝謝賈博士speech 非常好，我有兩個(gè)問題是關(guān)于OpenCL和 CUDA的問題。第二個(gè)問題是，OpenCL 和CUDA是不是算你們framework里的一部分。第二個(gè)問題是，你們用沒用OpenCL，因?yàn)镮ntel或者amd他們是用OpenCL或者CUDA做他們的product，你們?cè)趺纯催@兩個(gè)產(chǎn)品之間的功能?

Yangqing: CUDA我們一般不會(huì)把他們看成我們framework的一部分, 我們更多的是把它會(huì)看成C或者C++這樣的一個(gè)programming language。 用CUDA的主要原因是。NVidia對(duì)于CUDA的support非常好。我們以前在四五年前上，Caffe 上或者Torch上我們都有試過從OpenCL import，但其實(shí)很有意思的一個(gè)事兒是，目前好像沒有太多vendor在熱心推OpenCL這個(gè)方向，然后自從走了Metal的路后，對(duì)OpenCL 都不是太熱心。Google這邊在Android上面的話，更加會(huì)偏向于RenderScript 和 Vulkan。我目前也不是太清楚OpenCL 的eco-system有多大，目前的話就是說從framework 完整的角度來(lái)說, 我們沒有太強(qiáng)的熱心去做OpenCL 方向的工作，AMD最近的話,也差不多有一點(diǎn)moving away from OpenCL,and do HIP(Heterogeneous-compute Interface for Portability). 所以HIP這邊可能是一個(gè)挺有意思的方向。對(duì)于in general怎么樣來(lái)做一個(gè)parallel computation的abstraction，這方面是一個(gè)挺大的問題，也是一個(gè)挺有意思的方向，但是目前我們沒有找到太好的方向。我們最近有一個(gè)開源的project叫Glow，試圖來(lái)解決對(duì)accelerator，對(duì)special accelerator這方面，怎么樣來(lái)幫助硬件的vendordesign nicer，design a completion stack，但是我們也沒有考慮怎樣unifyOpenCL，OpenGL，HIP，Vulkan，Metal，等等其他一些programming languages。

Q6: 我有一個(gè)關(guān)于硬件平臺(tái)的問題，你提到軟硬件一定要結(jié)合，才能發(fā)展。那你現(xiàn)在覺得從production eco-system 上看，有哪些地方軟硬件結(jié)合做的還不是很好?

Yangqing: In general的話，目前的話是說，在production應(yīng)用上，軟硬件結(jié)合的只有CPU, GPU。所以說這個(gè)問題還是，除了google上可能有更多的insight之外，大家都還在探索的一個(gè)階段。CPU 跟 GPU 差不多都已經(jīng)足夠well known了。最大的挑戰(zhàn)可能就是說，怎么樣來(lái)manage heterogeneous computation，因?yàn)樵谧鰌rediction service的時(shí)候，傳統(tǒng)CPU這邊的話，整個(gè)架構(gòu)都很homogeneous。我可以在productionlogic thread上來(lái)做computation也沒什么問題。然后一旦走向GPU，或者accelerator之后，就會(huì)需要有更加desegregatedservice。比如prediction/computation stack是一個(gè)pool，然后production logic會(huì)是另一個(gè)pool。那么在這樣的一個(gè)setting上面，怎么樣把中間整個(gè)connection結(jié)合起來(lái)，是不是network bandwidth會(huì)變成一個(gè)新的bottleneck。整個(gè)latency或者怎么樣來(lái)manage computationpool 然后capacity怎么樣最后balancing。 這些傳統(tǒng)的問題都會(huì)重新emerge起來(lái)。這方面還是需要一些early analysis。

Q7: 因?yàn)槟闾貏efocus在AI infrastructure的部分，剛剛討論很多問題，不管是hardwarespecialization，或者contrast between compilation andinterprerator，事實(shí)上，不管是research/industry，事實(shí)上已經(jīng)repeat很多次。所以我想請(qǐng)教你，以AI application，它present unique opportunity and change，for the system of hardware and software. How do you see the main difference?

Yangqing: 我覺得其實(shí)您說的特別對(duì)。有很多提到的問題是很傳統(tǒng)的software engineer這方面的問題。AI 這方面的問題，其實(shí)是大家逐漸意識(shí)到這件事 it's not a big data problem but an HPC(High-performance computing) problem,以前大家基本是說，從十幾年前開始，HPC，或者segmentationbig data，internet開始分道揚(yáng)鑣的感覺，一方面internetcompany，一方面所有的national lab。HPC這邊的情況，就會(huì)focus在 computation efficiency， high connectivity。AI從現(xiàn)在來(lái)看的話，AI 非常強(qiáng)力的需要HPC這方面的 background，我們經(jīng)常開玩笑說，MPA is fight。所以這方面有一些interesting opportunities。Essentially，HPC 跟big Data 在solve kind of different problems，AI 基本上就是we need to solve this and that.

Q: 這也許就是為什么NVidia可以很快的把CUDA拿來(lái)support AI的部分. CUDA是非常，如果我們看CUDA的話，像現(xiàn)在一些，像NCCL這樣的communicationlibrary的話，有非常強(qiáng)的HPC的烙印在里頭 ，it's kinda like MPI replica.

Q8: 你們Facebook在做HPC方面的硬件，既然提到了HPC。我是做compiler的，我做runtime�？船F(xiàn)在的模型就覺得，這不是我十幾年前做的HPC?我是spec出身的，全是computation，都是loop，做了很多l(xiāng)oop的優(yōu)化。因?yàn)檫@種東西，特別適合做那種非常傻的，只會(huì)計(jì)算，有大量cache的architecture，非常好, GPU就是perfect match。我在想說這個(gè)不難，說老實(shí)話。NVidia能這么快幾年發(fā)展起來(lái)，通用CPU比這個(gè)復(fù)雜多了。我們那個(gè)branch prediction 那個(gè)面積太復(fù)雜了，但是Intel那個(gè)branch prediction，ARM他們未必能做那么好。它這么多年想在CPU這個(gè)application上趕上Intel前幾年做的那個(gè)，這還差了好多年了。但是GPU就很快catch up了。我就想，人人都能做。那 Facebook在做什么呢?當(dāng)然你可以不用講，說 買GPU就好了

Yangqing: Facebook更多的還是一個(gè)軟件公司，我們?cè)谧鲆恍┸浖�設(shè)計(jì)方面的design等等，我們也在和很多硬件的vendor partner在合作。包括比如說Glow 是怎么樣來(lái)幫助build 一個(gè) softwarestack，okular compiler stack。包括像我們做的Onnx，希望能夠向硬件的partner 提供更多的insight, whatkind of models do we care about today. 然后從CPU優(yōu)化上的話，我們其實(shí)有一個(gè)挺強(qiáng)的organization的團(tuán)隊(duì)，在做類似MKL，或者M(jìn)KL-DNN這樣的優(yōu)化。所以 Why don't you talk to us?

Alex: 由于時(shí)間原因，我們今天的問答就到底為止，很榮幸今天能請(qǐng)到賈博士來(lái)和我們分享他在Facebook的工作，對(duì)AI的看法，對(duì)未來(lái)行業(yè)的想法。謝謝賈博士今天的分享!

標(biāo)簽： Google isp 金融

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。