【CVPR2021】 针对场景图生成语义模糊性的概率性建模

2021 年 4 月 27 日 专知

Probabilistic Modeling of Semantic Ambiguity for Scene Graph Generation




本文由腾讯 AI Lab 主导,与清华大学、电子科技大学、香港中文大学(深圳)合作完成。为了生成“精确”表述的场景图,几乎所有现有的方法都以确定性的方式预测成对关系,我们认为视觉关系在语义上往往具有模糊歧义性。


具体来说,受语言学知识的启发,我们将歧义分为三类:同义歧义、上下义歧义和多视点歧义。这种模糊性自然会导致隐性多标签问题,也激发了对预测多样性的需求。在这项工作中,我们提出了一个新的即插即用概率不确定性建模(PUM)模块。它将每个联合区域建模为高斯分布,其方差度量相应视觉内容的不确定性。与传统的确定性方法相比,这种不确定性建模带来了特征表示的随机性,使得预测具有多样性。作为一个副产品,PUM还能够覆盖更细粒度的关系,从而减轻对频繁关系的偏见。


在大规模视觉数据集上的大量实验表明,将PUM与新提出的ResCAGCN相结合可以在平均召回度量下获得最佳性能。此外,我们通过将PUM插入到一些现有模型中,证明了PUM的普适性,文中也对其生成多样化但合理的视觉关系的能力进行了深入分析。


https://www.zhuanzhi.ai/paper/254379481b6040802beebbace52db94a


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“PUM” 就可以获取【CVPR2021】 针对场景图生成语义模糊性的概率性建模》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
1

相关内容

专知会员服务
22+阅读 · 2021年5月1日
专知会员服务
29+阅读 · 2021年4月5日
专知会员服务
20+阅读 · 2021年4月2日
专知会员服务
62+阅读 · 2021年3月12日
【CVPR2021】基于反事实推断的视觉问答框架
专知会员服务
26+阅读 · 2021年3月4日
【CVPR2021】跨模态检索的概率嵌入
专知会员服务
19+阅读 · 2021年3月2日
【NeurIPS 2020 】神经网络结构生成优化
专知会员服务
20+阅读 · 2020年10月24日
【ECCV2020】基于场景图分解的自然语言描述生成
专知会员服务
23+阅读 · 2020年9月3日
【CVPR2021】细粒度多标签分类
专知
44+阅读 · 2021年3月8日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
Arxiv
8+阅读 · 2020年10月7日
Arxiv
3+阅读 · 2018年3月29日
VIP会员
相关VIP内容
专知会员服务
22+阅读 · 2021年5月1日
专知会员服务
29+阅读 · 2021年4月5日
专知会员服务
20+阅读 · 2021年4月2日
专知会员服务
62+阅读 · 2021年3月12日
【CVPR2021】基于反事实推断的视觉问答框架
专知会员服务
26+阅读 · 2021年3月4日
【CVPR2021】跨模态检索的概率嵌入
专知会员服务
19+阅读 · 2021年3月2日
【NeurIPS 2020 】神经网络结构生成优化
专知会员服务
20+阅读 · 2020年10月24日
【ECCV2020】基于场景图分解的自然语言描述生成
专知会员服务
23+阅读 · 2020年9月3日
Top
微信扫码咨询专知VIP会员