近日，阿里云建议的揣摸池化处治有盘算“Aegaeon”收效入选顶级学术会议SOSP 2025，该有盘算可处治AI模子作事中广泛存在的GPU资源枉然问题，大幅升迁GPU资源把握率，现在其中枢本事已应用在阿里云百真金不怕火平台。

　　SOSP（操作系统旨趣讨论会）由ACM SIGOPS操纵，是揣摸机系统鸿沟顶级学术会议，平均每年收录的论文数目仅罕有十篇，被誉为揣摸机操作系统界的“奥斯卡”，入选论文代表了操作系统和软件鸿沟最具代表的规划甘休。本届SOSP大会上，系统软件与AI大模子本事的会通成为新的趋势。

　　数据透露，在阿里云模子阛阓为期超三个月的Beta测试中，Aegaeon系统在作事数十个参数目高达720亿的大模子时，所需的英伟达H20 GPU数目从1192个减至213个，削减比例高达82%（见下图）。GPU用量削减82%意味着公司硬件采购老本将显耀镌汰，这关于动辄使用更仆难数张GPU的大型模子作事商至关蹙迫。

　　在真是的模子作事场景中，少数热点模子（如阿里的Qwen）承载了绝大多数用户央求，而大王人不常被调用的“长尾”模子却各自独占着GPU资源。数据透露，在阿里云模子阛阓中，曾有17.7%的GPU算力仅用于处理1.35%的央求，资源闲置严重。

　　而Aegaeon系统通过GPU资源池化，冲破了“一个模子绑定一个GPU”的低效格式。

　　Token级退换是该系统的中枢鼎新点，Aegaeon多模子羼杂作事系统在每次生成下一个token后动态决定是否切换模子，竣事细致化顾问，同期，通过组件复用、显存细致化顾问和KV缓存同步优化等全栈本事，Aegaeon将模子切换支拨镌汰97%，确保了token级退换的及时性，可支捏亚秒级的模子切换反映。

　　据先容，Aegaeon系统支捏单GPU同期作事多达7个不同模子，比拟现存主流有盘算升迁1.5-9倍的灵验朦拢量，竣事2-2.5倍的央求处聪敏力。

　　何如从底层系统软件层面优化，以更好地援救和赋能表层AI应用，已成为世界学术界和工业界关切的焦点。往时AI的发展将不仅依赖于硬件算力的单纯增长，更需要通过系统级的软件鼎新来深度挖掘现存硬件的后劲。