8月28日在北京舉行的2019人工智能計(jì)算大會(huì)(AICC2019)上,浪潮宣布開(kāi)源發(fā)布基于FPGA的高效AI計(jì)算框架TF2,這一框架的推理引擎采用全球首創(chuàng)的DNN移位計(jì)算技術(shù),結(jié)合多項(xiàng)最新優(yōu)化技術(shù),可實(shí)現(xiàn)通用深度學(xué)習(xí)模型基于FPGA芯片的高性能低延遲部署,這也是全球首個(gè)包含從模型裁剪、壓縮、量化到通用模型實(shí)現(xiàn)等優(yōu)化算法的完整方案的FPGA上AI開(kāi)源框架,項(xiàng)目開(kāi)源網(wǎng)址為https://github.com/TF2-Engine/TF2。據(jù)悉目前已有快手、上海大學(xué)、華大智造、遠(yuǎn)鑒科技、睿視智覺(jué)、華展匯元等多家公司或研究機(jī)構(gòu)加入TF2開(kāi)源社區(qū),社區(qū)將共同推動(dòng)基于可定制芯片F(xiàn)PGA的AI技術(shù)的開(kāi)源開(kāi)放合作發(fā)展,降低高性能AI計(jì)算技術(shù)門(mén)檻,幫助AI用戶和開(kāi)發(fā)者縮短開(kāi)發(fā)周期。

　　
當(dāng)前,可定制、低延遲、高性能功耗比的FPGA技術(shù)成為很多AI用戶部署推理應(yīng)用的選擇,但FPGA開(kāi)發(fā)難度大、周期長(zhǎng),難以適應(yīng)快速迭代的深度學(xué)習(xí)算法應(yīng)用需求。TF2可快速實(shí)現(xiàn)基于主流AI訓(xùn)練軟件和深度神經(jīng)網(wǎng)絡(luò)模型DNN的FPGA線上推理,幫助用戶最大限度的發(fā)揮FPGA計(jì)算能力,實(shí)現(xiàn)FPGA的高性能、低延遲部署。同時(shí)TF2計(jì)算架構(gòu)也可以快速實(shí)現(xiàn)AI芯片級(jí)設(shè)計(jì)和性能驗(yàn)證。
 

TF2計(jì)算加速流程

　　
TF2由兩部分組成。第一部分是模型優(yōu)化轉(zhuǎn)換工具TF2 Transform Kit,可將經(jīng)過(guò)PyTorch、TensorFlow、Caffe等框架訓(xùn)練得到的網(wǎng)絡(luò)模型數(shù)據(jù)進(jìn)行壓縮、裁剪、8位量化等操作,減少模型計(jì)算量。如對(duì)于ResNet50模型,通過(guò)壓縮32位浮點(diǎn)模型為4位整數(shù)模型、通道裁剪,可將模型文件裁剪掉93.75%,幾乎無(wú)精度損失并保持原始模型的基本計(jì)算架構(gòu)。第二部分是FPGA智能運(yùn)行引擎TF2 Runtime Engine,可將已優(yōu)化轉(zhuǎn)換的模型文件自動(dòng)轉(zhuǎn)化為FPGA目標(biāo)運(yùn)行文件,通過(guò)創(chuàng)新的DNN移位計(jì)算技術(shù)大幅提升FPGA做推理計(jì)算的性能,并有效降低其實(shí)際運(yùn)行功耗。TF2已完成在ResNet50、FaceNet、GoogLeNet、SqueezeNet等主流DNN模型上的測(cè)試驗(yàn)證。在浪潮F10A FPGA卡上采用FaceNet模型對(duì)TF2進(jìn)行的測(cè)試(BatchSize=1)表明,運(yùn)行TF2后單張圖片的計(jì)算耗時(shí)為0.612ms,提速12.8倍。

　　
同時(shí),浪潮開(kāi)源的項(xiàng)目中還包括TF2的軟件定義的可重構(gòu)芯片設(shè)計(jì)架構(gòu)。此架構(gòu)完整支持當(dāng)前CNN網(wǎng)絡(luò)模型的開(kāi)發(fā),并可快速移植使其支持Transformer、LSTM等網(wǎng)絡(luò)模型開(kāi)發(fā)。以此架構(gòu)為基礎(chǔ),可進(jìn)一步實(shí)現(xiàn)ASIC芯片開(kāi)發(fā)原型設(shè)計(jì)。
 

開(kāi)源的FPGA芯片級(jí)設(shè)計(jì)

　　
根據(jù)浪潮公布的開(kāi)源社區(qū)建設(shè)計(jì)劃,浪潮將持續(xù)投入對(duì)TF2進(jìn)行更新,將開(kāi)發(fā)開(kāi)源自動(dòng)模型解析、結(jié)構(gòu)性裁剪、任意比特量化、基于AutoML的裁剪和量化等新功能,支持稀疏計(jì)算、Transformer網(wǎng)絡(luò)模型、NLP通用模型等。此外,社區(qū)將定期舉行開(kāi)發(fā)者會(huì)議和線上公開(kāi)課,分享最新技術(shù)進(jìn)展和經(jīng)驗(yàn)成果,并通過(guò)高校教育計(jì)劃培養(yǎng)開(kāi)發(fā)者,同時(shí)開(kāi)展用戶移植方案制定和開(kāi)發(fā)技術(shù)支持。

　　
浪潮集團(tuán)AI&HPC總經(jīng)理劉軍表示:“AI應(yīng)用部署涵蓋云端、邊端、移動(dòng)端,需求非常多樣,TF2可極大提升跨端應(yīng)用部署的效率,快速適應(yīng)不同場(chǎng)景下模型推理需求。歡迎廣大AI用戶和開(kāi)發(fā)者加入TF2開(kāi)源社區(qū),共同加速AI應(yīng)用部署,推動(dòng)更多AI應(yīng)用落地。”

　　
浪潮是人工智能計(jì)算的領(lǐng)導(dǎo)品牌,AI服務(wù)器中國(guó)市場(chǎng)份額保持50%以上,并與人工智能領(lǐng)先科技公司保持在系統(tǒng)與應(yīng)用方面的深入緊密合作,幫助AI客戶在語(yǔ)音、語(yǔ)義、圖像、視頻、搜索、網(wǎng)絡(luò)等方面取得數(shù)量級(jí)的應(yīng)用性能提升。浪潮與合作伙伴共建元腦生態(tài),共享AI計(jì)算、資源與算法三大核心平臺(tái)能力,助力行業(yè)用戶開(kāi)發(fā)并部署屬于自己的“行業(yè)大腦”,加速推進(jìn)產(chǎn)業(yè)AI化落地。

標(biāo)簽： 浪潮 

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。