上科大何旭明团队新作：克服简单样本偏置，让多模态模型学会「难题优先」

多模态模型在感知、理解与生成等方面的能力持续提升，但其输出中仍普遍存在与客观事实不一致的内容，即多模态幻觉现象。 当模型面对信息缺失、语义含混或视觉细节复杂的场景时，往往会通过臆测进行补全，从而捏造并不存在的病灶、物体或情节。这类问题并非偶发失误，而是偏好优化训练过程中逐渐积累的结构性偏差所致：模型更容易从数量庞大、差异明显的简单样本中获得学习收益，却对真正困难、歧义性强的样本关注不足，结果是在复杂真实场景中的可靠性受到限制。 围绕这一问题，上海科技大学信息科学与技术学院何旭明教授带领团队在论文《DA-DPO: Cost-efficient Difficulty-aware Preference Optimization for Reducing MLLM Hallucinations》中开展了系统研究。这项工作指出，现有偏好优化方法的核心症结不在于数据规模的不足，而在于样本难度分布失衡。 为此，团队提出了 DA-DPO 框架，通过预训练模型对样本难度进行估计，并在训练过程中动态调整样本权重，使模型的学习重点自适应地转向复杂且更易出错的样本，从而缓解简单样本主导训练所带来的偏置。 值得注意的是，DA-DPO 不依赖额外人工标注，也无需训练独立的奖励模型或引入复杂的强化学习流程，因而具有显著的成本效率。在多项多模态评测基准上，该方法不仅显著降低了幻觉发生频率，同时在很大程度上保持甚至提升了模型的整体理解与推理能力。 论文地址：https://arxiv.org/pdf/2601.00623v1 抑制幻觉，但不抑制能力 最终的实验结果表明，研究团队提出的 DA-DPO 方法在降低多模态大语言模型幻觉现象方面实现了稳定而显著的改进，同时在保持甚至提升模型综合能力方面也展现出明显优势。 研究人员首先在多个幻觉评测基准上开展了充分实验，包括 AMBER、MMHalBench、Object HalB