人们普遍认为,一个词的标题的不确定性越高,就需要更多相互关联的上下文信息来确定它。然而,目前的图像描述生成方法通常考虑顺序、平等地生成句子中的所有单词。在本文中,我们提出了一个不确定性感知的图像描述成框架,该框架并行迭代地在已有词之间从易到难插入不连续候选词,直到收敛。我们假设句子中的高不确定性词需要更多的先验信息才能做出正确的决定,应该在后面的阶段产生。由此产生的非自回归层次结构使得标题生成可解释且直观。具体来说,我们利用图像条件下的单词袋模型来测量单词的不确定度,并应用动态规划算法来构造训练对。在推理过程中,我们设计了一种不确定性自适应并行波束搜索技术,它产生了一个经验对数时间复杂度。在MS COCO基准上的大量实验表明,我们的方法在描述质量和解码速度上都优于强基准和相关方法。

https://www.zhuanzhi.ai/paper/51c79cb91932a14e0000e8d71d3f8399

成为VIP会员查看完整内容
24

相关内容

【AAAI2023】图序注意力网络
专知会员服务
45+阅读 · 2022年11月24日
【AAAI2022】不确定性感知的多视角表示学习
专知会员服务
44+阅读 · 2022年1月25日
专知会员服务
13+阅读 · 2021年10月9日
专知会员服务
38+阅读 · 2021年6月11日
【AAAI2021】RSPNet: 相对速度感知的无监督视频表示学习
专知会员服务
18+阅读 · 2021年2月12日
【AAAI2021】双级协作变换器Transformer图像描述生成
专知会员服务
26+阅读 · 2021年1月26日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
【AAAI2021】层次推理图神经网络
专知会员服务
67+阅读 · 2020年12月27日
【AAAI2023】图序注意力网络
专知
5+阅读 · 2022年11月24日
生成扩散模型漫谈:DDPM = 贝叶斯 + 去噪
PaperWeekly
1+阅读 · 2022年7月24日
IJCAI 2021 | 不确定性感知小样本图像分类模型,实现SOTA性能
微软研究院AI头条
0+阅读 · 2021年8月19日
【GAN货】用神经网络生成音乐
专知
12+阅读 · 2018年9月15日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
31+阅读 · 2020年9月21日
VIP会员
相关VIP内容
【AAAI2023】图序注意力网络
专知会员服务
45+阅读 · 2022年11月24日
【AAAI2022】不确定性感知的多视角表示学习
专知会员服务
44+阅读 · 2022年1月25日
专知会员服务
13+阅读 · 2021年10月9日
专知会员服务
38+阅读 · 2021年6月11日
【AAAI2021】RSPNet: 相对速度感知的无监督视频表示学习
专知会员服务
18+阅读 · 2021年2月12日
【AAAI2021】双级协作变换器Transformer图像描述生成
专知会员服务
26+阅读 · 2021年1月26日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
【AAAI2021】层次推理图神经网络
专知会员服务
67+阅读 · 2020年12月27日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员