【CVPR2021】 针对场景图生成语义模糊性的概率性建模

本文由腾讯 AI Lab 主导，与清华大学、电子科技大学、香港中文大学（深圳）合作完成。为了生成“精确”表述的场景图，几乎所有现有的方法都以确定性的方式预测成对关系，我们认为视觉关系在语义上往往具有模糊歧义性。

具体来说，受语言学知识的启发，我们将歧义分为三类：同义歧义、上下义歧义和多视点歧义。这种模糊性自然会导致隐性多标签问题，也激发了对预测多样性的需求。在这项工作中，我们提出了一个新的即插即用概率不确定性建模（PUM）模块。它将每个联合区域建模为高斯分布，其方差度量相应视觉内容的不确定性。与传统的确定性方法相比，这种不确定性建模带来了特征表示的随机性，使得预测具有多样性。作为一个副产品，PUM还能够覆盖更细粒度的关系，从而减轻对频繁关系的偏见。

在大规模视觉数据集上的大量实验表明，将PUM与新提出的ResCAGCN相结合可以在平均召回度量下获得最佳性能。此外，我们通过将PUM插入到一些现有模型中，证明了PUM的普适性，文中也对其生成多样化但合理的视觉关系的能力进行了深入分析。

https://www.zhuanzhi.ai/paper/254379481b6040802beebbace52db94a