人大高瓴赵鑫团队新作：先拆掉 RLVR，再重建推理模型训练

当大语言模型开始被要求解数学题、写证明、规划任务流程，人们才真正意识到一件事：会生成并不等于会推理。 过去几年，行业把大模型推向前所未有的规模，用 RLHF 和各种奖励技术把答案校准得越来越像人类。但一个越来越尖锐的现实问题也随之浮现：模型为什么有时一本正经地胡说八道？为什么在同一训练框架下，它有时异常自信却错误，有时又显得畏首畏尾？在人们不断强化学习信号、追求更高分数的同时，一个关键问题始终没有被真正回答：正样本与负样本到底在模型内部改变了什么。 正是在这样的背景下，来自人大高瓴学院的赵鑫团队把注意力放在了这一核心问题上。他们没有急于再提出一个更大的模型或更复杂的算法，而是刻意退后一步，围绕 RLVR 框架设计了一整套系统实验：如果只用正样本会发生什么，只用负样本又会产生怎样的行为变化。模型是在真正形成推理能力，还是被奖励函数推着走向某些看似合理的套路？进一步地，在一条完整的推理链中，是否存在少数关键 token，像岔路口一样决定模型是走向正确，还是自信地偏离轨道。 围绕这些问题，研究团队完成了论文《A3PO: Adaptive Asymmetric Advantage Shaping for Reasoning Models》，并提出了推理模型训练方法 A3PO。与其说这是一次方法层面的创新，不如说它首先完成了一次机制澄清：正样本主要收缩策略空间，使模型在既有正确路径上更加笃定，负样本则扩张策略空间，推动模型跳出旧有模式持续探索，而真正决定训练走向的，并非整条样本本身，而是推理过程中那些冷门却正确、以及自信但错误的关键 token。 在这一认识基础上形成的 A3PO 方法，将训练重点从整体样本转向关键决策点，使推理模型的学习过程变得更加可解释、也更可控制。这一转变表明，推理大模型的进步不再只是依赖规模和算力，而正在走向对训练机制本身的深入理解。 论文地址：https://arxiv.org/pdf/2512.21625v1