清华刘知远团队论文：最小化结构改动，短文本到长文本丝滑升级 | ICLR 2026

在大语言模型快速迈向更强推理能力与更复杂应用场景的过程中，“上下文长度”已经从一个模型配置参数，演变为制约系统能力上限的关键瓶颈。 一方面，长文档理解、跨轮对话记忆、复杂规划与长链式推理等任务，对模型提出了远超传统 4k 或 8k 序列长度的需求；另一方面，主流 Transformer 架构中基于全注意力机制的计算模式，在序列长度增长时不可避免地带来平方级的时间与显存开销，使得“支持更长上下文”在现实工程中迅速转化为难以承受的成本问题。 围绕这一矛盾，稀疏注意力几乎成为学术界与工业界的共识方向，但随之而来的，并不是问题的彻底解决，而是一系列新的结构性张力。 过去数年中，大量工作尝试通过引入新的注意力结构、路由机制或可训练稀疏模块来缓解计算压力。这些方法在理论复杂度或特定评测上往往表现出色，但在真实模型训练与部署流程中，却逐渐暴露出一个被长期低估的问题：当前大语言模型几乎无一例外遵循“短序列预训练、长序列微调”的训练范式，而一些修改模型架构的稀疏注意力方案例如NSA，在结构、参数或输出形式上与标准 dense attention 存在显著不对齐。 正是在这一背景下，清华大学刘知远团队提出了《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》。与以往强调“引入新结构”或“增加可训练模块”的路径不同，这项研究将关注点前移至一个更基础的问题：稀疏注意力是否必须以改变模型结构为代价，才能获得长上下文效率？ 为此研究团队提出了一种 dense–sparse 可切换的注意力框架，试图在以原有 dense attention 参数作为起始点，保持输出形式不变，做到长短文本可同时训练，且能高效地实现从短上下文到长上下文的平滑过渡。 值得一提的是，这项工作并未将重点放在单一指标的提升上，而是系统性地从性能保持、训练稳定性以及端到端推理效率三个层面，对这一设计思路进行了验证，从而为长上下文大语言模型的研究与工程实践提供了一条不同于以往的技术路线。 <img src="https://static.leiphone.com/uplo