剛剛，谷歌在 Tensorflow Developer Summit 2019 大會(huì)上發(fā)布 TensorFlow 2.0 Alpha 版。雖然在此之前關(guān)于 TensorFlow2.0 的眾多更新已經(jīng)放出，但作為當(dāng)前最為流行的深度學(xué)習(xí)框架，2.0 Alpha 版的正式發(fā)布依舊引人關(guān)注。此外，今日谷歌還開(kāi)源了新的框架與庫(kù)，發(fā)布了兩款有趣的開(kāi)發(fā)硬件。還換了 Logo～

 

 

自 2015 年開(kāi)源以來(lái)，TensorFlow 得到了越來(lái)越多開(kāi)發(fā)者的認(rèn)可，成為了當(dāng)前最受歡迎的深度學(xué)習(xí)框架之一。據(jù)現(xiàn)場(chǎng)介紹，目前為止 TensorFlow 已經(jīng)被下載超過(guò) 4100 萬(wàn)次、提交 5 萬(wàn)多次代碼更新、1800 多位貢獻(xiàn)者。

 

 

與此同時(shí)，這 3 年來(lái)深度學(xué)習(xí)框架之爭(zhēng)越來(lái)越激烈：Facebook 主推的 PyTorch 成為后起之秀，有力壓 TensorFlow 之勢(shì);2016 年國(guó)內(nèi)科技巨頭百度發(fā)布 PaddlePaddle，2018 年底發(fā)布的 PaddlePaddle 1.0 版本標(biāo)志著該框架走向成熟。

不得不說(shuō)，迫于 PyTorch 的壓力，TensorFlow 2.0 有了眾多改變，例如 2018 年 9 月份在上海谷歌開(kāi)發(fā)者大會(huì)上，機(jī)器之心了解到一個(gè)重大改變是將會(huì)把 Eager Execution 變?yōu)?TensorFlow 默認(rèn)的執(zhí)行模式。2019 年 1 月份，谷歌上線了 TensorFlow 2.0「開(kāi)發(fā)者預(yù)覽版」，讓開(kāi)發(fā)者們可以嘗試使用。

下圖展示了近幾年 TensorFlow 的版本更新。但今天，TensorFlow 已經(jīng)成熟為一個(gè)完全端到端的生態(tài)系統(tǒng)，所以今天發(fā)布的 TensorFlow 2.0 標(biāo)志著一個(gè)新時(shí)代的開(kāi)始。

 

 

發(fā)布 TF 2.0 Alpha 版

TensorFlow 作為下載量最大的深度學(xué)習(xí)框架，過(guò)去收到了大量的反饋。據(jù)介紹，TensorFlow 用戶希望能夠有更簡(jiǎn)單的 API、減少冗余、改進(jìn)文檔與示例。因此，TensorFlow 2.0 在設(shè)計(jì)上注重以下三點(diǎn)：簡(jiǎn)單、強(qiáng)大、可擴(kuò)展。

 

 

在簡(jiǎn)單方面，TensorFlow 2.0 提供更簡(jiǎn)化的 API、注重 Keras、結(jié)合了 Eager Execution。通過(guò)擴(kuò)展到 exaflops 級(jí)別，TensorFlow2.0 變得更加強(qiáng)大，在同樣的穩(wěn)健性與性能下效率會(huì)更高。

TensorFlow 在過(guò)去的開(kāi)發(fā)中已經(jīng)構(gòu)建了非常多的模塊或組件，而 TensorFlow 2.0 則需要對(duì)整體工作流組件做極大的優(yōu)化。下圖展示了 TensorFlow 的高層設(shè)計(jì)架構(gòu)，這些組件和特征將被打包成一個(gè)綜合平臺(tái)，從而支持從訓(xùn)練到部署的整個(gè)機(jī)器學(xué)習(xí)工作流程。

 

 

下圖展示了 Tensorflow2.0 的強(qiáng)大 API 組件在整個(gè)工作流的適配，其中數(shù)據(jù)導(dǎo)入與處理可調(diào)用 tf.data、模型構(gòu)建可以用便捷高效的 Keras 與 Estimators、訓(xùn)練又會(huì)有 Eager 模式和 Autograph 新特性。最后保存的模型還能通過(guò)不同的模塊部署到云、移動(dòng)端和網(wǎng)頁(yè)等等。

 

 

基于這些整體設(shè)計(jì)，TF 2.0 也在快速成長(zhǎng)。工程總監(jiān) Rajat Monga 隨后宣布，TensorFlow 2.0 Alpha 版今天發(fā)布，RC 版將于今年第二季度發(fā)布。

 

 

TensorFlow 2.0 Alpha 版新特性

TensorFlow 2.0 的特性主要體現(xiàn)在三方面，即易用性、簡(jiǎn)潔性與靈活性。其中易用性主要體現(xiàn)在使用 tf.keras 作為高級(jí) API，且將 Eager execution 作為默認(rèn)模式。如下所示在 2.0 中定義加法運(yùn)算不再返回節(jié)點(diǎn)屬性，而是直接返回運(yùn)算值：

 

 

TensorFlow 一直有很多龐大而冗余的 API 函數(shù)，尤其是 contrib 模塊里。但在 TF 2.0 中，開(kāi)發(fā)團(tuán)隊(duì)做了大量工作來(lái)移除重復(fù)的 API 函數(shù)，并重新組織它們。

此外，tf.contrib 將從核心 TensorFlow 存儲(chǔ)庫(kù)和構(gòu)建過(guò)程中移除。TensorFlow 的 contrib 模塊已經(jīng)超出了單個(gè)存儲(chǔ)庫(kù)可以維護(hù)和支持的范圍。較大的項(xiàng)目最好單獨(dú)維護(hù)，而較小的擴(kuò)展將逐漸移至核心 TensorFlow 代碼。

 

 

盡管 TF 2.0 更關(guān)注使用便捷性，但這并不表明會(huì)犧牲靈活性。它同樣提供完全的底層 API，同樣能通過(guò) tf.raw_ops 訪問(wèn)內(nèi)部 OP。

 

 

此外，這些特性聽(tīng)起來(lái)很美好，但 TF 2.0 的向下兼容性同樣十分重要。TF 2.0 將增加兼容性模塊 tf.compat.v1，以及提供升級(jí) 1.X 代碼的腳本。在我們使用 pip 安裝 TensorFlow 2.0 時(shí)，系統(tǒng)會(huì)自動(dòng)添加 tf_upgrade_v2 腳本，它可將現(xiàn)有的 TensorFlowPython 代碼轉(zhuǎn)換為 TensorFlow 2.0 代碼。

如下所示在升級(jí)代碼時(shí)會(huì)自動(dòng)將 1.X 的 API 換為新的 API，如果 TF2.0 沒(méi)有對(duì)等的 API，那么還能調(diào)用 tf.compat.v1 使用 1.X 的兼容 OP。因?yàn)?tensorflow.compat.v1 在 TensorFlow 2.x 的時(shí)間線內(nèi)將長(zhǎng)期得到維護(hù)，我們用 TensorFlow 1.x 編寫(xiě)的代碼也能保持功能。

 

 

Eager execution

可能 TensorFlow 2.0 最明顯的改變就是將 Eager execution 作為默認(rèn)優(yōu)先模式。這表明任何運(yùn)算在調(diào)用后就會(huì)立即運(yùn)行，我們不再需要預(yù)先定義靜態(tài)圖，再通過(guò)「tf.Session.run()」執(zhí)行圖的各個(gè)部分。

a = tf.constant([1, 2])
b = tf.constant([3, 4])
print(a + b)
# returns: tf.Tensor([4 6], shape=(2,), dtype=int32)

此外，Eager execution 還有一個(gè)很重要的新特性，即 tf.function 注釋可以將 Python 程序轉(zhuǎn)換成 TensorFlow 計(jì)算圖，所有我們熟悉的 Python 控制流和內(nèi)置函數(shù)等都可以轉(zhuǎn)化為 TensorFlow 計(jì)算圖。

 

 

這個(gè)過(guò)程保留了 TensorFlow1.x 基于靜態(tài)計(jì)算圖執(zhí)行的所有優(yōu)點(diǎn)：性能優(yōu)化、遠(yuǎn)程執(zhí)行，以及序列化、導(dǎo)出和部署的能力，同時(shí)增加了用簡(jiǎn)單 Python 表達(dá)程序的靈活性和易用性。因此總體而言，Eager execution 將是 2.0 的核心功能，它會(huì)使 TensorFlow 更容易學(xué)習(xí)和應(yīng)用。

TF 2.0 當(dāng)然是 Dev Summit 中的重頭戲，但經(jīng)過(guò)一年，很多模塊與功能都走向了成熟，其中就包含 TensorFlow.js。

TensorFlow.js 1.0

2018 年，谷歌發(fā)布了 TensorFlow.js，一個(gè)在瀏覽器、節(jié)點(diǎn)和其他平臺(tái)中使用 JS 建立、部署機(jī)器學(xué)習(xí)模型的庫(kù)。自發(fā)布以來(lái)，TensorFlow.js 被大量采用，截至目前該庫(kù)已被下載 30 萬(wàn)次，Github 星標(biāo)數(shù)量超過(guò) 1 萬(wàn)，項(xiàng)目貢獻(xiàn)者超過(guò) 100 個(gè)。

 

 

今日，TensorFlow.js 1.0 版本發(fā)布，在先前版本的基礎(chǔ)上做了許多改進(jìn)，也添加了許多新特征。1.0 版本包含一個(gè)面向圖像、文本、語(yǔ)音等常見(jiàn)機(jī)器學(xué)習(xí)任務(wù)的現(xiàn)成模型庫(kù)。此外，TensorFlow.js 1.0 還添加了運(yùn)行 JS 的更多平臺(tái)，例如桌面 app、移動(dòng)端本地的平臺(tái)等。在性能上，該版本也有極大的改進(jìn)，例如相比于去年，在瀏覽器中 MobileNet 的推斷速度快了 8 倍。

TensorFlow.js 1.0 版本項(xiàng)目地址：https://github.com/tensorflow/tfjs/releases

 

 

從研究到產(chǎn)品、從服務(wù)器端到移動(dòng)端，TensorFlow 已經(jīng)成熟為了一個(gè)全面的生態(tài)系統(tǒng)在 TF 2.0 和 TF.js 之外，現(xiàn)場(chǎng)還介紹了 TensorFlow 新網(wǎng)站，從網(wǎng)頁(yè)中我們也可以看到谷歌將 TensorFlow 定位為端到端的開(kāi)源機(jī)器學(xué)習(xí)平臺(tái)，它添加了更多文檔、示例和工具。

不過(guò)尷尬的是，直播過(guò)程中，小編發(fā)現(xiàn) TensorFlow 新網(wǎng)站 404 了……

 

 

TensorFlow 家族新成員

TensorFlow Federated：針對(duì)分散式數(shù)據(jù)

此外，TensorFlow 還發(fā)布了開(kāi)源框架 TensorFlow Federated(TFF)，它適用于分散式數(shù)據(jù)(decentralized data)上執(zhí)行機(jī)器學(xué)習(xí)和其他計(jì)算。TFF 旨在促進(jìn)聯(lián)合學(xué)習(xí)(Federated Learning，F(xiàn)L)的開(kāi)放性研究和實(shí)驗(yàn)，聯(lián)合學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，可在多個(gè)客戶端上訓(xùn)練共享的全局模型，同時(shí)在本地保存訓(xùn)練數(shù)據(jù)。例如，F(xiàn)L 曾被用于訓(xùn)練手機(jī)鍵盤(pán)的預(yù)測(cè)模型，同時(shí)不將敏感輸入數(shù)據(jù)加載到服務(wù)器上。

TensorFlow Federated 鏈接：https://www.tensorflow.org/federated

TFF 代碼庫(kù)鏈接：https://github.com/tensorflow/federated

 

 

TensorFlow Federated 讓開(kāi)發(fā)者能夠展示和模擬聯(lián)合學(xué)習(xí)系統(tǒng)。如圖所示，每部手機(jī)在本地訓(xùn)練模型 (A)。它們的更新會(huì)匯總到一起 (B)，形成一個(gè)改進(jìn)后的共享模型 (C)。TFF 可使開(kāi)發(fā)者在自己的模型和數(shù)據(jù)上模擬使用聯(lián)邦學(xué)習(xí)算法，促進(jìn)對(duì)新算法的實(shí)驗(yàn)。TFF 提供的構(gòu)建塊還可用于實(shí)現(xiàn)非學(xué)習(xí)計(jì)算。TFF 的接口由兩個(gè)層組成：Federated Learning (FL) API 和 Federated Core (FC) API。FC API 支持針對(duì)分散式數(shù)據(jù)集的各種計(jì)算的表達(dá)。

Federated Learning (FL) API 鏈接：https://www.tensorflow.org/federated/federated_learning

Federated Core (FC) API 鏈接：https://www.tensorflow.org/federated/federated_core

TensorFlow Privacy 開(kāi)源庫(kù)

TensorFlow Privacy 是 TensorFlow 今天發(fā)布的另一個(gè)開(kāi)源庫(kù)，不僅能讓開(kāi)發(fā)者在保護(hù)隱私的情況下訓(xùn)練機(jī)器學(xué)習(xí)模型，也能讓研究者在保護(hù)隱私的情況下推進(jìn)機(jī)器學(xué)習(xí)的前沿研究。

Github 地址：https://github.com/tensorflow/privacy

現(xiàn)代機(jī)器學(xué)習(xí)越來(lái)越多地被應(yīng)用到新技術(shù)和用戶體驗(yàn)中，很多應(yīng)用需要基于敏感數(shù)據(jù)(如個(gè)人照片或郵件)來(lái)訓(xùn)練。完美情況下，訓(xùn)練模型的參數(shù)應(yīng)該編碼一般模式，而不是特定訓(xùn)練樣本的事實(shí)。差分隱私(differential privacy)技術(shù)可用于保護(hù)隱私數(shù)據(jù)，當(dāng)模型基于用戶數(shù)據(jù)訓(xùn)練時(shí)，差分隱私技術(shù)可以提供強(qiáng)數(shù)學(xué)保證，確保模型不學(xué)習(xí)或記住任意用戶的數(shù)據(jù)細(xì)節(jié)。對(duì)于深度學(xué)習(xí)來(lái)說(shuō)，更要添加額外的保障。

谷歌近年來(lái)開(kāi)展機(jī)器學(xué)習(xí)差分隱私方面的基礎(chǔ)研究，以及開(kāi)發(fā)實(shí)用的差分隱私機(jī)制。今天，谷歌正式發(fā)布 TensorFlow Privacy。它不要求用戶具備隱私及其底層機(jī)制方面的專業(yè)知識(shí)，使用標(biāo)準(zhǔn) TensorFlow 框架的用戶在使用 TensorFlow Privacy 時(shí)也無(wú)需對(duì)模型架構(gòu)、訓(xùn)練步驟做任何更改，只需簡(jiǎn)單地修改幾行代碼，并調(diào)整與隱私相關(guān)的超參數(shù)。

Coral 開(kāi)發(fā)板和 USB 加速器

比較有趣的是，今日谷歌還發(fā)布兩個(gè)全新的硬件產(chǎn)品：Coral 開(kāi)發(fā)板和 USB 加速器。

首先介紹下 Coral。Coral 是一個(gè)構(gòu)建智能設(shè)備的平臺(tái)，它提供完全本地的 AI 工具箱，包括硬件組件、軟件工具，以及幫助你創(chuàng)造、訓(xùn)練、運(yùn)行神經(jīng)網(wǎng)絡(luò)的模塊。

Coral 的首個(gè)硬件組件就是之前谷歌發(fā)布的 ASIC——Edge TPU，它能為低功率設(shè)備提供極高的機(jī)器學(xué)習(xí)推理性能。例如，它能以高能效方式在 100+ 的 fps 下執(zhí)行 MobileNet v2 這樣的視覺(jué)模型。

 

 

Coral 攝像模塊、開(kāi)發(fā)板和 USB 加速器作為全新的開(kāi)發(fā)產(chǎn)品，Coral 開(kāi)發(fā)板是個(gè)完全集成的系統(tǒng)，它被設(shè)計(jì)成構(gòu)建在載板上的系統(tǒng)模塊(SoM)。SoM 把強(qiáng)大的 NXP iMX8M SoC 與谷歌的 Edge TPU 協(xié)處理器(包括 Wi-Fi、藍(lán)牙、RAM 和 eMMC 存儲(chǔ))融合在了一起。為了讓計(jì)算機(jī)視覺(jué)應(yīng)用原型更簡(jiǎn)單，谷歌還提供了一個(gè)攝像頭連接開(kāi)發(fā)板與 MIPI 接口。

為了把 Edge TPU 加入到已有的設(shè)計(jì)中，Coral USB 加速器允許通過(guò) USB2.0、3.0 接口輕松接入到任何 Linux 系統(tǒng)中，之后谷歌還會(huì)添加 PCIe 版本。

價(jià)格方面，Coral 開(kāi)發(fā)板售價(jià)為 149.99 美元，Coral USB 加速器售價(jià)為 74.99 美元。

小結(jié)

以上就是一年一度的谷歌 TensorFlow 開(kāi)發(fā)者大會(huì)上的全新發(fā)布了�？傮w而言，我們看到了 TensorFlow 在設(shè)計(jì)上的重大革新。雖然今日沒(méi)能看到 TensorFlow 2.0 的正式發(fā)布，但這些新特征是否讓你對(duì)它有所期待呢?

最后提一句，小編中意 PyTorch(差點(diǎn)與另一小編打起來(lái))。

 

 

來(lái)自另一小編的反對(duì)參考文章：

https://medium.com/tensorflow/introducing-tensorflow-privacy-learning-with-differential-privacy-for-training-data-b143c5e801b6

https://medium.com/tensorflow/test-drive-tensorflow-2-0-alpha-b6dd1e522b01

https://developers.googleblog.com/2019/03/introducing-coral-our-platform-for.html

標(biāo)簽： [db:TAGG]

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。