近日,在北京舉行的2019人工智能計算大會(AICC 2019)上,浪潮發(fā)布主流自然語言處理(NLP)模型Transformer的最新性能測試數(shù)據(jù)。Transformer模型參數(shù)規(guī)�？蛇_數(shù)億,對計算、通信的要求非常高。性能數(shù)據(jù)顯示,相比同類服務器,浪潮AI服務器NF5488M5大幅提升了Transformer的訓練性能,GLUE基準訓練至80.4%的時間相比同類產(chǎn)品大幅減少67%。

浪潮AI服務器NF5488M5
 

人工智能正在由“能看、會聽”的感知智能向“能讀、會寫”的認知智能邁進。由于文字是信息、思想的重要載體,如果計算機能夠理解文字并能夠用文字表達,那么就具備了讀寫能力,因而NLP被認為是認知智能的重要突破口。目前主流的NLP模型包括Transformer, Bert, GPT, XLNet等,而Bert和GPT都基于Transformer架構。Transformer被視為是NLP的經(jīng)典模型,2017年由谷歌提出,其利用自注意力(self-attention)機制實現(xiàn)快速并行,并且可以增加到非常深的深度,充分發(fā)掘DNN模型的特性,提升模型準確率。
 

但是Transformer模型訓練是一大難題,因為其參數(shù)規(guī)模達到數(shù)億,對計算力的需求很大。OpenAI的Transformer模型有12層、768個隱藏單元,使用8塊P100 GPU在8億詞量的數(shù)據(jù)集上訓練40個Epoch需要一個月。背后的原因很大程度上在于GPU通信制約。Transformer Attention機制的全連接層計算時會產(chǎn)生海量參數(shù),而更新參數(shù)梯度需要GPU間高速傳輸。同時,模型規(guī)模很大導致占用大量GPU顯存,而batchsize通常都很小,導致每次計算的時間較快,計算后更新參數(shù)梯度頻繁,這也進一步要求更高的GPU間傳輸速度。
 

浪潮AI服務器NF5488M5 通過無阻塞的GPU全互連設計,突破性地實現(xiàn)了All to All 300GB/s的Peer to Peer帶寬。在當前深度學習通信模型All Reduce性能表現(xiàn)上,NF5488M5的實際通信帶寬可以達到采用常規(guī)NVLink互聯(lián)的GPU服務器的3倍以上。正是這種特性,大大提升了Transformer模型在NF5488M5上的通信效率,從而加大了計算通信比,節(jié)約了整體運行時間。測試結果表明,NF5488M5大幅提升了Transformer訓練性能,GLUE基準訓練至80.4%的時間比采用PCIe互聯(lián)的8GPU服務器縮短67%,比采用常規(guī)NVLink互聯(lián)的8GPU服務器縮短31%。
 

Transformer訓練性能測試結果
 

浪潮集團AI&HPC總經(jīng)理劉軍認為,當前基于Transformer的Bert, XLNet等模型代表了NLP的發(fā)展方向,而它們的特點就是加速器間通信制約。測試結果充分表明浪潮AI服務器NF5488M5在GPU間通信效率上具有顯著領先優(yōu)勢,能夠大幅提升Transformer等大型AI工作負載的訓練性能,降低訓練成本,加速認知智能研發(fā)和應用落地。
 

浪潮是人工智能計算的領導品牌,AI服務器中國市場份額保持50%以上,并與人工智能領先科技公司保持在系統(tǒng)與應用方面的深入緊密合作,幫助AI客戶在語音、語義、圖像、視頻、搜索、網(wǎng)絡等方面取得數(shù)量級的應用性能提升。浪潮與合作伙伴共建元腦生態(tài),共享AI計算、資源與算法三大核心平臺能力,助力行業(yè)用戶開發(fā)并部署屬于自己的“行業(yè)大腦”,加速推進產(chǎn)業(yè)AI化落地。

標簽： AI服務器 

版權申明：本站文章部分自網(wǎng)絡，如有侵權，請聯(lián)系：west999com@outlook.com
特別注意：本站所有轉載文章言論不代表本站觀點！
本站所提供的圖片等素材，版權歸原作者所有，如需使用，請與原作者聯(lián)系。