跳到正文
同花顺·快讯·· 11 小时前AI 评分27

郑纬民团队Mooncake系统以PD分离技术盘活存量算力

我国日均词元调用量已突破500万亿 AI算力紧张有新解法

AI 导读

国内日均词元调用量突破500万亿,算力需求暴涨。郑纬民院士团队研发的大模型推理系统Mooncake采用PD分离技术,通过软件调度盘活存量算力。该系统使同样硬件规模下多承接75%用户请求,长文本吞吐能力提升五倍以上。

来源:同花顺·快讯 · news.10jqka.com.cn