今年 5 月份，F(xiàn)8 大會(huì)的第二天中，F(xiàn)acebook 曾宣布 PyTorch1.0 即將與大家見(jiàn)面，這是繼先前發(fā)布 0.4.0 后的一次較大調(diào)整。近日，在首屆 PyTorch 開(kāi)發(fā)者大會(huì)上，F(xiàn)acebook 宣布了有關(guān)該框架生態(tài)一系列更新，包括軟件、硬件和教育方面的合作。于此同時(shí)，PyTorch 1.0 預(yù)覽版也正式發(fā)布了。

項(xiàng)目鏈接：https://github.com/pytorch/pytorch/releases

據(jù)介紹，PyTorch 1.0 加速了產(chǎn)品化 AI 突破性研究的進(jìn)程。從亞馬遜、谷歌、微軟的深度云服務(wù)支持，到緊密結(jié)合 ARM、英特爾、IBM、英偉達(dá)和高通等技術(shù)方，開(kāi)發(fā)者們能夠更輕松的利用 PyTorch 兼容了軟件、硬件和開(kāi)發(fā)工具的生態(tài)。Facebook 表示，PyTorch 1.0 融合越多的軟件和硬件，開(kāi)發(fā)者能夠越容易地快速建立、訓(xùn)練、部署頂級(jí)的深度學(xué)習(xí)模型。

「我們?cè)?PyTorch1.0 發(fā)布前解決了幾大問(wèn)題包括：可重用、性能、編程語(yǔ)言和可擴(kuò)展性，」Facebook 人工智能副總裁 Jerome Pesenti 在發(fā)布會(huì)開(kāi)場(chǎng)時(shí)表示�！傅�是，facebook 認(rèn)為自身在開(kāi)發(fā)深度學(xué)習(xí)框架道路上只行進(jìn)了 1%，我們希望 PyTorch 是以用戶為中心的，以社區(qū)為主要驅(qū)動(dòng)力�！�

 

 

PyTorch 1.0 主要新特性

據(jù)官方博客介紹，最新版本的 PyTorch 有了一系列重大更新，例如增加了一個(gè)全新的融合前端，它能夠追蹤來(lái)自 eager 模式的模型，并融合到圖模式中，從而彌補(bǔ)研究與產(chǎn)品部署直接的差距;增加了一個(gè)修訂過(guò)的 torch.distributed 庫(kù)，能夠讓開(kāi)發(fā)者在 Python 和 C++環(huán)境中進(jìn)行更快的訓(xùn)練;增加了一個(gè) eager 模式的 C++接口(beta 版)進(jìn)行關(guān)鍵性能研究。

首先是 torch.jit。據(jù)現(xiàn)場(chǎng)介紹，JIT 是一組編譯工具，它的目標(biāo)是彌補(bǔ)研究與產(chǎn)品部署的差距。JIT 包含一種名為 Torch Script 的語(yǔ)言，這種語(yǔ)言是 Python 的自語(yǔ)言。使用 Torch Script 的代碼可以實(shí)現(xiàn)非常大的優(yōu)化，并且可以序列化以供在后續(xù)的 C++API 中使用。

 

 

C++前端是連接 PyTorch 后段的純 C++接口，但它同時(shí)遵循已建立的 Python 前端 API 和架構(gòu)。C++前端的目標(biāo)在于實(shí)現(xiàn)高性能、低延遲的 C++應(yīng)用，因此它提供的接口等價(jià)于 Python 前端所采用 torch.nn 和 torch.optim 等。

 

 

其實(shí) Python 不一定比 C ++慢，Python 前端調(diào)用 C ++計(jì)算的成本很高(特別是數(shù)值型的運(yùn)算)，這些運(yùn)算將在程序上花費(fèi)額外的時(shí)間。但是，如果你需要在低延遲、高性能或多線程的環(huán)境下部署產(chǎn)品，例如視頻游戲等，那么 Python 前端可能會(huì)存在一些問(wèn)題，而 C ++前端就是來(lái)解決這些問(wèn)題的。

在支持分布式訓(xùn)練方面，PyTorch1.0 同樣做了一系列更新。例如，增加了一個(gè)修訂過(guò)的 torch.distributed 庫(kù)，能夠讓開(kāi)發(fā)者在 Python 和 C++環(huán)境中進(jìn)行更快的訓(xùn)練。目前，PyTorch 框架的模型在多 GPU 的條件下可以保持幾乎線性的計(jì)算效率提升。

 

 

 

 

PyTorch 1.0 在分布式訓(xùn)練方面的更新包括全新的后端設(shè)計(jì)和高度可擴(kuò)展的性能：

 

 

其中包括：

• 全新異步后端庫(kù)：C10D;

• 支持 Python 和 C++;

• 全后向兼容后端 Python API;

• 在關(guān)鍵工作負(fù)載上的頂點(diǎn)性能;

• 數(shù)據(jù)并行：?jiǎn)喂?jié)點(diǎn)、多 GPU;

• 數(shù)據(jù)并行：多節(jié)點(diǎn)、多 GPU。

目前研究員和工程師們需要使用多個(gè)框架和工具來(lái)研究新的深度學(xué)習(xí)模型并把它們遷移到產(chǎn)品環(huán)境中大規(guī)模運(yùn)行，但這些框架或者工具大部分都是不兼容的。如此一來(lái)，大大拉慢了研究員或者工程師產(chǎn)品化突破性 AI 研究的速度。在最新版本中，F(xiàn)acebook 結(jié)合了 PyTorch 框架的靈活性與 Caffe2 的產(chǎn)品化能力，提供了從研究到產(chǎn)品的無(wú)縫對(duì)接。

 

 

對(duì)框架的開(kāi)發(fā)者來(lái)說(shuō)，幸運(yùn)的是，pytorch 的生產(chǎn)環(huán)境部分并不是從零開(kāi)始開(kāi)發(fā)的，F(xiàn)acebook 還有另一個(gè)面向業(yè)界的框架：caffe2。

PyTorch 生態(tài)的深度支持

除了宣布重要更新內(nèi)容，F(xiàn)acebook 還介紹了來(lái)自 PyTorch 1.0 生態(tài)的深度支持，這些支持既包括云服務(wù)又包括英偉達(dá)、高通、英特爾這樣的技術(shù)提供方。具體介紹如下：

從云平臺(tái)、產(chǎn)品到服務(wù)，AWS、谷歌和微軟加深了對(duì) PyTorch 1.0 更穩(wěn)健的支持。例如，AWS 大規(guī)模訓(xùn)練、部署機(jī)器學(xué)習(xí)模型的全棧管理平臺(tái) Amazon Sagemaker，現(xiàn)在能為 PyTorch 1.0 提供預(yù)配置環(huán)境，包括自動(dòng)模型調(diào)優(yōu)這樣的強(qiáng)大能力。

谷歌正宣布其為 AI 開(kāi)發(fā)者制定的多種軟件和硬件工具將與 PyTorch 1.0 實(shí)現(xiàn)集成。谷歌云平臺(tái)的深度學(xué)習(xí)虛擬機(jī)現(xiàn)在有一個(gè)新的 PyTorch 1.0 VM 鏡像文件，其預(yù)安裝了 NVIDIA 驅(qū)動(dòng)與教程。谷歌同樣為 PyTorch 提供了張量處理單元(TPU)，這是一種用于機(jī)器學(xué)習(xí)的定制化專用集成芯片(ASIC)。通過(guò) Google Cloud TPU 團(tuán)隊(duì)和 PyTorch 團(tuán)隊(duì)的合作，目前基于 PyTorch 1.0 的模型能使用這種定制化的硬件了。

Facebook 的和微軟在早期提出了另一個(gè)重要的倡議，即開(kāi)源的神經(jīng)網(wǎng)絡(luò)交換格式 ONNX，而現(xiàn)在微軟也進(jìn)一步致力于在機(jī)器學(xué)習(xí)產(chǎn)品套件中為 PyTorch 提供一流的支持。Azure 機(jī)器學(xué)習(xí)服務(wù)現(xiàn)在允許開(kāi)發(fā)者將本地訓(xùn)練的 PyTorch 模型無(wú)縫遷移到 Azure cloud 上。對(duì)于數(shù)據(jù)科學(xué)實(shí)驗(yàn)，微軟提供了預(yù)配置的數(shù)據(jù)科學(xué)虛擬機(jī)(DSVM)，該虛擬機(jī)預(yù)安裝了 PyTorch。對(duì)于希望探索 PyTorch，但又不希望安裝軟件和配置本地環(huán)境的開(kāi)發(fā)者，Azure Notebooks 提供了免費(fèi)的云 Jupyter Notebooks，開(kāi)發(fā)者可以直接試驗(yàn) PyTorch 教程和代碼。最后，Visual Studio Code 的 AI 擴(kuò)展工具為 Azure ML 和 PyTorch APIs 提供了緊密的集成，它們可以簡(jiǎn)化 PyTorch 代碼的開(kāi)發(fā)與訓(xùn)練。

此外除了軟件和云服務(wù)提供商，對(duì)于 ARM、IBM、Intel、NVIDIA 和高通等技術(shù)伙伴，F(xiàn)acebook 還會(huì)通過(guò)直接優(yōu)化、kernel 庫(kù)的集成、以及優(yōu)化編譯器和推理運(yùn)行時(shí)等其他工具為 PyTorch 1.0 提供支持。這些額外的支持能確保 PyTorch 可以在數(shù)據(jù)中心和邊緣設(shè)備的各種硬件上正常運(yùn)行，且模型也能在這些硬件上實(shí)現(xiàn)訓(xùn)練和推斷的優(yōu)化。

為未來(lái)的 AI 開(kāi)發(fā)者提供學(xué)習(xí)資源

除了加強(qiáng) PyTorch 部署 AI 研究的能力，通過(guò)教育與課程方式推廣 PyTorch 也是 Facebook 打造深度學(xué)習(xí)框架的一大利器。

據(jù)介紹，目前 PyTorch 已經(jīng)通過(guò)在線視頻和大學(xué)課程為眾多的學(xué)生提供深度學(xué)習(xí)框架，很多教育提供方也都采用它作為教學(xué)框架。PyTorch 框架的易用性及與 Python 深度集成的特性令它非常容易實(shí)現(xiàn)各種深度學(xué)習(xí)概念，學(xué)生可以通過(guò)它快速理解和實(shí)驗(yàn)深度模型。

此外，Udacity 正與 Facebook 合作，他們希望讓開(kāi)發(fā)者能免費(fèi)學(xué)習(xí)深度學(xué)習(xí)入門(mén)課程，這些課程完全使用 PyTorch 作為框架。Facebook 還將贊助 300 名成功完成該中級(jí)課程的學(xué)生繼續(xù)在 Udacity 中完成深度學(xué)習(xí)納米學(xué)位項(xiàng)目，該計(jì)劃已經(jīng)修改為在 PyTorch 1.0 上運(yùn)行。

Fast.ai 同樣使用 PyTorch 框架，并提供免費(fèi)的深度學(xué)習(xí)入門(mén)、高級(jí)和機(jī)器學(xué)習(xí)課程，F(xiàn)astai 是第一個(gè)宣布基于 PyTorch 1.0 的開(kāi)源軟件庫(kù)。該軟件庫(kù)能提供高準(zhǔn)確率和快速的深度學(xué)習(xí)模型，并只需要非常少量的代碼，這些都令深度學(xué)習(xí)對(duì)于入門(mén)者和有經(jīng)歷的開(kāi)發(fā)者更加友好。

 

 

小結(jié)

從 2015 年谷歌開(kāi)源 TensorFlow 開(kāi)始，深度學(xué)習(xí)框架之爭(zhēng)越來(lái)越越激烈，全球多個(gè)看重 AI 研究與應(yīng)用的科技巨頭均在加大這方面的投入。從 2017 年年初發(fā)布以來(lái)，PyTorch 可謂是異軍突起，短短時(shí)間內(nèi)取得了一系列成果，成為了其中的明星框架。

Facebook 表示，PyTorch 1.0 是自推出以來(lái)最重要的版本，1.0 意味著框架版本已經(jīng)非常穩(wěn)定、成熟、有保證了。今天發(fā)布的 preview 版，其中 90% 的功能已經(jīng)能夠應(yīng)對(duì)業(yè)界的考驗(yàn)。

「1.0 是讓 PyTorch 進(jìn)入生產(chǎn)環(huán)境的第一步，開(kāi)發(fā)者們還會(huì)在未來(lái)繼續(xù)推進(jìn)它的發(fā)展。」Facebook 研究工程師 Soumith Chintala 在發(fā)布會(huì)上表示，「PyTorch 1.0 的最終穩(wěn)定版會(huì)在 NIPS2018 大會(huì)之前發(fā)布�！�

預(yù)覽版安裝地址： https://pytorch.org/get-started/locally/

標(biāo)簽： Google 代碼 谷歌 開(kāi)發(fā)者 推廣 網(wǎng)絡(luò) 云服務(wù)

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。