DeepMind 颠覆机器人学习范式：让机器像人一样 “自由成长”

雷峰网讯 机器人在底层控制方面的应用始终局限于行为克隆，这种类似于照猫画虎的学习方式，要求机器人必须依赖海量标注的模仿数据，不仅收集成本极高，更无法让机器人应对训练数据之外的全新场景。 谷歌 DeepMind 的最新研究试图打破这一现状，他们受到大型语言模型微调中强化学习阶段成功经验的启发，提出了一种面向机器人学的两阶段后训练方法，第一阶段是监督微调（Supervised Fine-Tuning, SFT），第二阶段是自我提升（Self-Improvement）。 通过在真实世界与仿真机器人实体（LanguageTable 与 Aloha）上开展的大量实验，提出的后训练方法在具身基础模型上取得了显著成果，机器人能自主练习并习得元朝训练时模仿学习数据集中所观察到行为的新技能，并实现广泛泛化。 论文链接：https://arxiv.org/pdf/2509.15155 1、两阶段后训练框架 本研究的核心是探究强化学习后训练在机器人具身基础模型中的有效性。然而，机器人强化学习（尤其是操作任务）面临的关键挑战是奖励工程问题：设计有效的奖励函数需要反复迭代训练策略并修正奖励定义以规避非预期结果；此外，即便奖励定义完美，在真实世界中测量奖励也需要大量工程投入。因此，当团队致力于训练能够完成日益广泛任务的机器人时，人工设计奖励函数在真实世界机器人学中已难以为继。 <img src="https://static.leiphone.com/uploads/new/images/20