腾讯 ARC Lab 胡文博：“如何实现三维感知的视频世界模型，这非常值得探索”｜GAIR 2025

作者丨齐铖湧 编辑丨马晓宁 世界模型的研究尚处于起步阶段，共识尚未形成，有关该领域的研究形成了无数支流，过去一年多，Sora为代表的视频生成模型，成为继大语言模型（LLM）后新的学术热点。本质上讲，当下火爆的视频生成模型，是一种世界模型，其核心目的是生成一段逼真、连贯的视频。 要达到这样的目的，模型必须在一定程度上理解这个世界的运作方式（比如水往低处流、物体碰撞后的运动、人的合理动作等）。 胡文博正是世界模型研究领域近两年的绝对新锐。 在刚刚结束的 GAIR 2025，腾讯ARC Lab高级研究员胡文博，在雷峰网举办的GAIR大会现场带来了非常有见解的演讲：《迈向三维感知的视频世界模型》（Towards 3D-aware Video World Models ）。 以下是具体内容，AI科技评论做了不改变原意的编辑和整理。 感谢邀请和介绍，我今天分享的题目是《迈向三维感知的视频世界模型》（Towards 3D-aware Video World Models）。 之所以讲这个，是因为Sora在2024年初出来时，给大家带来很大震撼。比如它生成的视频，虽然看起来是二维的，但已经具备一定的3D一致性。不过从我们做三维重建的角度看，比如尝试把它重建出来，会发现墙面与地面的垂直性、平整度等都还不够好。 基于这个观察，领域内认为视频扩散模型有潜力作为世界模型的一种表示方式，但视频本身仍是二维的，而我们的世界是三维的。 所以我们思考：如何实现一个具备三维感知能力的视频世界模型？ 为了实现这种三维感知，我们主要做了两方面工作，今天重点讲第二方面。 第一方面是如何从二维观测中重建三维信息，这部分和前面彭老师讲的内容比较接近。第二方面是如何将重建得到的三维信息融入到生成过程中，使二维空间的视频扩散模型具备三维感知特性。 <p