Evaluating the alignment between textual prompts and generated images is critical for ensuring the reliability and usability of text-to-image (T2I) models. However, most existing evaluation methods rely on coarse-grained metrics or static QA pipelines, which lack fine-grained interpretability and struggle to reflect human preferences. To address this, we propose REVEALER, a unified framework for element-level alignment evaluation based on reinforcement-guided visual reasoning. Adopting a structured "grounding-reasoning-conclusion" paradigm, our method enables Multimodal Large Language Models (MLLMs) to explicitly localize semantic elements and derive interpretable alignment judgments. We optimize the model via Group Relative Policy Optimization(GRPO) using a composite reward function that incorporates structural format, grounding accuracy, and alignment fidelity. Extensive experiments across four benchmarks-EvalMuse-40K, RichHF, MHaluBench, and GenAI-Bench-demonstrate that REVEALER achieves state-of-the-art performance. Our approach consistently outperforms both strong proprietary models and supervised baselines while demonstrating superior inference efficiency compared to existing iterative visual reasoning methods.


翻译:评估文本提示与生成图像之间的对齐程度,对于确保文本到图像(T2I)模型的可靠性和可用性至关重要。然而,现有的大多数评估方法依赖于粗粒度指标或静态问答流程,缺乏细粒度的可解释性,且难以反映人类偏好。为解决这一问题,我们提出了REVEALER,一个基于强化引导视觉推理的、用于细粒度元素级对齐评估的统一框架。该方法采用结构化的“定位-推理-结论”范式,使多模态大语言模型(MLLMs)能够显式地定位语义元素并得出可解释的对齐判断。我们通过组合奖励函数(包含结构格式、定位准确性和对齐保真度)并利用组相对策略优化(GRPO)对模型进行优化。在四个基准测试集——EvalMuse-40K、RichHF、MHaluBench和GenAI-Bench——上进行的大量实验表明,REVEALER实现了最先进的性能。我们的方法在持续超越强大的专有模型和有监督基线模型的同时,与现有的迭代视觉推理方法相比,还展现出更优的推理效率。

0
下载
关闭预览

相关内容

【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员