东方财富·策略研报· 质观工作室·· 20 小时前AI 评分60
质观工作室研报:HBM成本高企后AI服务器数据分层与四级存力重构
AI算力行业:HBM太贵之后,AI服务器把数据放在哪-KV Cache冷热分层卸载、四级存力重构与算力信用传导
AI 导读
质观工作室发布AI算力行业研报,讨论长上下文场景下HBM容量受限后,将约5%高频检索索引常驻HBM、95%温冷缓存向主机内存与闪存分级卸载的路径,vLLM百万Token实测单请求显存占用从17GB降至2GB、首字延迟缩短7.8倍。
来源:东方财富·策略研报 · data.eastmoney.com