西湖大学张驰团队：从视觉合成到空间理解，视频 AI 正在「转向」丨CVPR 2026

过去两年，视频生成的发展几乎是指数级的。从最早只能生成模糊片段，到如今可以生成具有叙事结构、光影一致性甚至风格控制的长视频，行业表面上已经接近一个阶段性成熟。 但如果把评价标准从“能不能生成一段视频”稍微提高到“能不能控制镜头”，问题就会完全暴露出来。当前大多数模型仍然停留在一种近似二维的生成范式中，它们擅长在时间上延续视觉模式，却缺乏对空间结构的稳定建模能力。 一旦涉及视角变化，模型往往无法保证同一个物体在不同帧之间的几何一致性，人物会发生细微但累积的漂移，建筑结构在移动中逐渐扭曲，遮挡关系也难以维持连续，这意味着模型生成的并不是一个被持续观察的世界，而是一系列在视觉上相似但空间上不一致的结果。 在这样的行业背景下，西湖大学 AGI Lab 研究团队提出了论文《Taming Video Models for 3D and 4D Generation via Zero Shot Camera Control》，值得一提的是，这篇论文也入选了 CVPR Highlight。与以往通过重新训练模型来引入控制能力的路径不同，这项工作将问题重新落回到推理阶段本身，尝试在不改变模型参数的情况下，让相机轨迹成为生成过程中的约束条件，使模型在每一步生成中持续对齐同一个空间结构。 换句话说，这项研究关注的不是如何让模型生成更多内容，而是如何让模型在视角变化中保持世界的一致性，从而把视频生成从二维视觉合成，推进到具有三维结构约束的动态世界建模。 如果从应用角度理解这一点，可以把它看成一种能力的转变。过去模型更像一个能够不断画出新画面的系统，而现在的目标，是让模型像一个可以移动的摄影机，在同一个场景中进行观察和记录。无论是商品展示、空间漫游，还是内容创作中的镜头设计，本质上都依赖这种能力的成立。 WorldForge 的提出，正是在这一关键转折点上，给出了一个不依赖额外训练、却能够实现精确相机控制的路径，也因此成为当前视频生成从“生成能力竞争”走向“空间一致性与可控性竞争”的一个代表性工作。 <img src="https://static.leiphone.com/uploads/new/images/20260422/69e867ea7d