在大模型迈向通用视觉智能的浪潮中,单一任务或单一模态的方法正面临瓶颈。现实世界的视觉理解系统不仅要回答问题,还要理解动态视频、定位事件、跟踪目标、生成描述乃至进行复杂的逻辑推理,这要求模型具备综合的跨任务和跨模态能力。 然而,现有方法多数依赖任务专化模型,难以实现不同视觉任务间的协同与知识共享,这不仅导致系统复杂度高,也限制了模型在综合推理场景中的表现。 在这样的行业背景下, 香港中文大学多媒体实验室(MMLab)与美团的联合研究团队提出了 OneThinker 多模态统一推理模型,并在论文中系统性地给出了答案。 不同于为每个视觉任务单独设计模型,OneThinker 选择了一条更激进的路线:将图像与视频中的问答、描述、时空定位、跟踪和分割等任务统一抽象为“先推理、后作答”的通用形式,并通过多任务强化学习对模型进行整体优化。 这项工作不仅关注模型在单一基准上的性能提升,更试图验证一个更根本的问题,“是否可以通过统一的推理机制,让一个模型同时具备多种视觉理解与推理能力,而不牺牲任何单项任务的表现?” 围绕这一问题,研究团队构建了大规模多任务数据集,引入改进的强化学习算法,并在图像与视频两种模态上进行了系统而全面的实验评测,为通用视觉推理模型的设计提供了具有参考价值的实证结果。 论文地址:https://arxiv.org/pdf/2512.03043v2 从任务割裂到统一推理 为验证 OneThinker 模型在多模态、多任务场景下的有效性,研究团队在图像与视频两种模态上,对多类典型视觉理解任务进行了系统评测。实验内容涵盖问答、描述、定位、跟踪和分割等多个方向,旨在全面评估模型在不同任务类型和不同模态下的整体表现。 从整体实验结果来看,OneThinker 在绝大多数视觉理解任务中均优于基础模型以及多种现有开源方法,表现出较为稳定的性能优势。这一结果表明,通过统一建模并引入多任
ARTICLE
/
雷锋网
港中文 MMlab×美团新研究:仅用一个模型,应对多种视觉推理任务
2025年12月17日 11:09 · 来自 雷锋网