顯著提升GPU利用率！

2025年10月18日，在韓國(guó)首爾舉辦的第31屆操作系統(tǒng)原理研討會(huì)（SOSP）上，阿里云發(fā)布的“Aegaeon”計(jì)算池化解決方案研究成果成功入選。

該方案創(chuàng)新性地解決了AI模型服務(wù)中普遍存在的GPU資源浪費(fèi)問(wèn)題，在阿里云模型市場(chǎng)測(cè)試中，實(shí)現(xiàn)了英偉達(dá)GPU用量大幅削減82%的顯著成效。

SOSP（操作系統(tǒng)原理研討會(huì)）由ACM SIGOPS主辦，是計(jì)算機(jī)系統(tǒng)領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議，平均每年收錄的論文數(shù)量?jī)H有數(shù)十篇，被譽(yù)為計(jì)算機(jī)操作系統(tǒng)界的“奧斯卡”，本屆SOSP大會(huì)僅收錄66篇論文。

目前，云服務(wù)商在提供AI模型服務(wù)時(shí)，資源效率低下問(wèn)題突出。平臺(tái)需托管數(shù)千個(gè)AI模型以應(yīng)對(duì)海量并發(fā)API調(diào)用，但用戶請(qǐng)求常集中于少數(shù)熱門(mén)模型，如阿里巴巴的Qwen系列模型。這種“長(zhǎng)尾效應(yīng)”致使大量資源閑置，在阿里云模型市場(chǎng)中，高達(dá)17.7%的GPU算力僅用于處理1.35%的請(qǐng)求，造成了高昂的成本浪費(fèi)。

圖｜研究框架圖

為解決這一痛點(diǎn)，阿里云推出Aegaeon系統(tǒng)。該系統(tǒng)運(yùn)用創(chuàng)新的GPU資源池化技術(shù)，打破了以往GPU與特定模型綁定的低效模式，允許單個(gè)GPU動(dòng)態(tài)服務(wù)于多個(gè)不同的AI模型。在阿里云模型市場(chǎng)進(jìn)行的為期超三個(gè)月的Beta測(cè)試中，Aegaeon系統(tǒng)展現(xiàn)出卓越效能。測(cè)試數(shù)據(jù)顯示，在服務(wù)數(shù)十個(gè)參數(shù)量高達(dá)720億的大模型時(shí)，所需的英偉達(dá)H20 GPU數(shù)量從1192個(gè)成功減少至213個(gè)，用量削減82%。這意味著僅用213張卡就完成了原本1192張卡才能完成的工作，極大地提高了資源利用率，降低了成本。

此次由北京大學(xué)與阿里云合作的研究成果，被認(rèn)為是“首個(gè)揭示并解決市場(chǎng)上并發(fā)大語(yǔ)言模型服務(wù)存在過(guò)高成本”的公開(kāi)工作，為行業(yè)提供了全新的優(yōu)化思路。SOSP作為計(jì)算機(jī)操作系統(tǒng)領(lǐng)域的頂尖會(huì)議，錄取率控制嚴(yán)格，平均每年收錄論文僅數(shù)十篇，入選論文代表了操作系統(tǒng)和軟件領(lǐng)域最具代表性的研究成果，Aegaeon系統(tǒng)研究成果的入選，無(wú)疑是對(duì)阿里云在該領(lǐng)域創(chuàng)新能力的高度認(rèn)可。

阿里云Aegaeon計(jì)算池化解決方案的推出，不僅為自身解決了AI模型服務(wù)中的資源浪費(fèi)問(wèn)題，也為整個(gè)云服務(wù)和AI產(chǎn)業(yè)提供了可借鑒的模式，有望推動(dòng)行業(yè)在提升資源效率、降低成本方面邁出重要一步。

來(lái)源：信創(chuàng)頭條

點(diǎn)擊報(bào)名：

點(diǎn)擊參與：（2025年10月22-24日）

點(diǎn)擊報(bào)名：?。?1月5日-7日）