在計算機視覺與模式識別（CVPR）大會上，NVIDIA發(fā)布了TensorRT 4，它能夠加速常見推理應用，如神經(jīng)機器翻譯、推薦系統(tǒng)和語音。用戶還可通過ONNX格式輕松地從常見的深度學習框架（如Caffe 2、Chainer、MxNet、Microsoft Cognitive Toolkit和PyTorch）導入模型。

TensorRT特性包括：

·借助針對多層感知器（MLP）和遞歸神經(jīng)網(wǎng)絡（RNN）的新層，吞吐量高達CPU的45倍

·對于TensorRT中使用ONNX解析器導入的ONNX模型，在Tesla V100 GPU上的推理性能相當于僅使用CPU的50倍

·支持面向自動駕駛汽車的AI計算平臺NVIDIA DRIVE Xavier

·借助用于在Volta Tensor Core上運行的API，FP16自定義圖層可實現(xiàn)3倍的推理加速

其他功能包括可使用FP16精度執(zhí)行自定義神經(jīng)網(wǎng)絡層，以及通過NVIDIA DRIVE AI平臺支持Xavier SoC。

即刻下載TensorRT 4

TensorRT 4面向NVIDIA Registered Developer Program的所有成員開放，可在TensorRT產(chǎn)品頁面免費下載。TensorRT 4這一版本意義重大，提供了許多面向新用例和應用領域的功能。預計在未來發(fā)布的新版本中，面向新應用領域的功能將繼續(xù)得以強化。

訪問NVIDIA TensorRT開發(fā)者論壇，了解更多。

標簽： 開發(fā)者 網(wǎng)絡

版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。