阿里云第八代企業(yè)級實例g8i算力升級——可支持72B大語言模型
1月11日，阿里云宣布第八代企業(yè)級通用計算實例ECS g8i算力再升級，整機性能最高提升85%，AI推理性能最高提升7倍，可支撐72B參數(shù)的大語言模型，幫助中小規(guī)模模型起建成本降低50%。同時新實例還提供了端到端安全防護，為企業(yè)構建可信AI應用提供隱私增強算力支撐。
阿里云彈性計算產(chǎn)品線總經(jīng)理張獻濤表示，這證明以CPU為中心的計算體系具備加速AI推理的巨大潛力，公共云不僅可勝任超大規(guī)模的AI模型，也為AI應用加速落地開辟了新路徑。
英特爾中國數(shù)據(jù)中心和人工智能集團至強客戶解決方案事業(yè)部總經(jīng)理李亞東表示，第五代英特爾至強可擴展處理器每個內核均內置AI加速功能，與上代相比，其AI訓練性能提升29%，AI推理能力提升42%，希望以此助力AI技術普惠。
生成式AI掀起的技術革命，正在推動計算范式發(fā)生根本性的變化。當前，AI大模型推理在算力上依然面臨諸多挑戰(zhàn)，例如首包延遲受限于并行處理能力與浮點運算能力，吞吐性能則受限于內存帶寬和網(wǎng)絡延遲。
對此，阿里云ECS g8i實例進行了多方面優(yōu)化，可以更迅速地響應中小規(guī)模參數(shù)模型，運行知識檢索、問答系統(tǒng)及摘要生成等AI工作負載時，起建成本大幅下降。
本文鏈接：http://knowith.com/news-1-185.html阿里云第八代企業(yè)級實例g8i算力升級——可支持72B大語言模型
聲明：本網(wǎng)頁內容由互聯(lián)網(wǎng)博主自發(fā)貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。
