华尔街见闻·快讯· 万小婷·· 11 小时前AI 评分36
我国日均词元调用量突破500万亿,郑纬民团队Mooncake系统盘活存量算力
我国日均词元调用量已突破500万亿
AI 导读
国内日均词元调用量已突破500万亿,智能算力短期供给不足。郑纬民院士团队研发的大模型推理系统Mooncake通过PD分离技术盘活存量算力,用软件调度把现有算力用足。P负责读入用户问题,D负责生成回答,同样硬件规模下系统多承接75%的用户请求,长文本吞吐能力提升五倍以上。
来源:华尔街见闻·快讯 · wallstreetcn.com