计算所严明玉团队新作： Attention 并非永远是瓶颈，多 GPU 并不一定更快

随着大语言模型逐渐走向真实应用，推理阶段的性能问题正在成为制约落地的关键因素。 模型规模不断增大、上下文持续拉长，再加上 RAG、MoE 等新用法的引入，使得延迟、吞吐和能耗不再只是“调一调参数”的问题，而是直接影响系统架构和算力成本的核心挑战。 围绕这些问题，来自中国科学院计算所的严明玉团队，联合中国电信云计算研究院、浙江实验室和北京大学的研究者，在论文《A Systematic Characterization of LLM Inference on GPUs》中，对大语言模型在 GPU 上的推理行为进行了系统研究。 不同于以往侧重单一模型、单一算子或局部优化的研究路径，严明玉团队从系统和硬件协同的视角出发，通过大规模实验，对大语言模型在 GPU 上的推理行为进行了全面刻画，试图从根本上回答一个长期困扰工程实践的问题：大模型推理为什么会呈现出现在这样的性能特征。 这项工作并没有直接给出如何优化的现成答案，而是首先建立了一套统一、可解释的性能认知框架，将 Prefill 与 Decode 的差异上升为系统级的基本规律，并在不同模型规模、不同硬件平台以及 MoE、RAG 等新型推理范式下进行了验证。 在这一框架下，推理延迟、资源利用率和能耗不再是孤立的指标，而是随着工作负载和系统配置发生有规律的变化。这种从现象出发、最终回到系统根因的研究方式，使得这项工作更像是在为大模型推理建立一张可理解、可推演的性能全景图，而不是提供某个场景下的经验结论。 论文链接：https://arxiv.org/pdf/2512.01644v1 一次对大模型推理性能的系统性拆解 严明玉团队的这项工作通过大量有组织的实验，系统地总结了大语言模型在推理阶段的性能规律，而不是停留在零散的经验观察上。研究团队发现，LLM 的推理过程在本质上可以分成两个完全不同的阶段，而且这种差异并不是靠优化就能消除的。 <p s