ARTICLE / 雷锋网

ICML 2026:视觉自恢复 + 双奖励强化学习,提升受损图像理解

2026年06月16日 10:48 · 来自 雷锋网

阅读原文 → 收藏

原文作者:公众号“Today读什么” 原文链接:https://mp.weixin.qq.com/s/BrsWJJAv22qHVa_gfv2cpg 一张照片被压缩、噪声、暗光和模糊破坏后,多模态模型仍然可以写出一段逻辑完整的分析。但分析越流畅,不代表它看到的证据越充分:车头朝向已经模糊,模型仍能解释车辆为何“直行”;公交车轮廓已经重叠,它依然可以自信地数出三辆。 过去的方法通常让视觉编码器适应噪声,或者让模型先用文字分析图像受到了什么破坏。Robust-U1 换了一条路线:**既然关键视觉信息已经丢失,就先生成一张恢复后的图像,再让模型同时查看原图与恢复图完成回答。**方法由图像恢复监督训练、带双重视觉奖励的强化学习,以及双图联合推理组成。实验结果表明,性能提升并不只是来自“生成了一张更好看的图片”,而是恢复出的视觉证据确实帮助模型回答了原本看不清的问题。 Motivation Robust-U1 要处理的核心矛盾是:多模态模型可以继续推理,却无法仅凭语言补回已经消失的视觉细节。 视觉鲁棒性研究此前主要沿着两条路线展开。特征对齐方法让干净图像和受损图像在视觉编码空间中尽量接近,能够提高预测稳定性,却很难解释模型究竟恢复了什么信息。Robust-R1 这样的工作把过程显式化,让模型描述压缩、噪声或暗光如何影响画面,再依据描述进行推理。 文字能够提醒模型“这里可能看不清”,却无法重建车辆朝向、物体数量、边缘位置或细小文字。视觉证据已经被破坏时,再长的推理链也可能只是围绕错误观察组织出一段连贯解释。 作者由此提出一个更直接的问题:具备图像生成能力的统一多模态模型,能否自己完成视觉恢复,并把恢复结果作为中间推理证据?这不是在模型前面外挂一个图像修复器,而是让理解、恢复和回答由同一个模型协同完成。 现象剖析:推理补不回像素 论文中的案例很好地揭