浙江大学研究员彭思达：底层空间感知技术对训练机器人有何作用？｜GAIR 2025

在“世界模型”分论坛上，浙江大学研究员彭思达带来了《面向具身智能的通用空间感知技术》的主题演讲，介绍了其团队近期在赋予机器人通用感知能力方面的多项工作。彭思达是浙江大学软件学院“百人计划”研究员、博士生导师，研究方向为三维计算机视觉和计算机图形学。 团队主要聚焦于赋予机器人三项基础能力：一是相机定位（Camera Pose Estimation），即让机器人知道自己在空间中的位置；二是深度估计（Depth Estimation），使机器人了解场景中各物体与自身的距离；三是物体运动估计（Object Motion Estimation），让机器人感知世界的运动状态。 这些底层空间感知技术有何作用？首先，它们能为机器人提供关键的决策信息。例如，无人机在空间中需要先知道自身位置、与场景目标的距离，才能实现基础避障；进而还需了解目标物体的运动情况，才能进行追踪。基于从场景中获取的三维空间信息，机器人的行为规划便能得到有力支持。 其次，这些技术可用于生成训练数据。当前具身智能领域的一大难题是数据匮乏。以往有人尝试仿真或遥操获取数据，但遥操数据虽好却难以规模化扩展，而仿真技术目前仍与真实世界存在较大差距。 彭思达提出，其实可将人类视作一种特殊形态的机器人——具备完整的身体结构与行为模式。若能发明一种数据采集设备，将人类日常行为完整记录下来，就相当于获取了机器人所需的行为数据，从而可用于训练人形机器人。这其中便涉及相机定位、深度估计与物体运动估计等技术。 相机定位 相机定位方面，最传统经典的方法是Colmap。该方法从图像中提取特征并进行两两匹配，再通过增量式运动恢复结构（SfM）得到相机位置。最终每张图像对应一个相机位置，并共同生成三维点云，形成经典的三维重建流程。 然而，该流程目前面临的挑战在于图像匹配。团队发现，传统匹配方法在恶劣环境或视角差异较大的情况下效果不佳，会影响后续相机位姿估计的准确性。 针对这一问题，彭思达所在实验室于2021年提出一种新方法：不再依赖传统匹配方式，而是直接使用Transformer大模型进行图像匹配。具体而言，将两张图像输入LoF