阿里云第八代企業(yè)級實例g8i算力升級,可支持72B大語言模型
1月11日，阿里云宣布第八代企業(yè)級通用計算實例ECS g8i算力再升級，整機(jī)性能最高提升85%，AI推理性能最高提升7倍，可支撐72B參數(shù)的大語言模型，幫助中小規(guī)模模型起建成本降低50%。同時新實例還提供了端到端安全防護(hù)，為企業(yè)構(gòu)建可信AI應(yīng)用提供隱私增強(qiáng)算力支撐。
阿里云彈性計算產(chǎn)品線總經(jīng)理張獻(xiàn)濤表示，這證明以CPU為中心的計算體系具備加速AI推理的巨大潛力，公共云不僅可勝任超大規(guī)模的AI模型，也為AI應(yīng)用加速落地開辟了新路徑。
英特爾中國數(shù)據(jù)中心和人工智能集團(tuán)至強(qiáng)客戶解決方案事業(yè)部總經(jīng)理李亞東表示，第五代英特爾至強(qiáng)可擴(kuò)展處理器每個內(nèi)核均內(nèi)置AI加速功能，與上代相比，其AI訓(xùn)練性能提升29%，AI推理能力提升42%，希望以此助力AI技術(shù)普惠。
生成式AI掀起的技術(shù)革命，正在推動計算范式發(fā)生根本性的變化。當(dāng)前，AI大模型推理在算力上依然面臨諸多挑戰(zhàn)，例如首包延遲受限于并行處理能力與浮點運算能力，吞吐性能則受限于內(nèi)存帶寬和網(wǎng)絡(luò)延遲。
對此，阿里云ECS g8i實例進(jìn)行了多方面優(yōu)化，可以更迅速地響應(yīng)中小規(guī)模參數(shù)模型，運行知識檢索、問答系統(tǒng)及摘要生成等AI工作負(fù)載時，起建成本大幅下降。
本文鏈接：http://knowith.com/news-1-162.html阿里云第八代企業(yè)級實例g8i算力升級,可支持72B大語言模型
聲明：本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點，本站不承擔(dān)任何法律責(zé)任。天上不會到餡餅，請大家謹(jǐn)防詐騙！若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。
