从语义描述中识别视觉类别是一种很有前途的方法,它可以扩展视觉分类器的能力,使其超越训练数据中所表示的概念(即看到的类别)。这个问题是由(广义的)零样本学习方法(GZSL)解决的,它利用语义描述将它们连接到所看到的类别(例如,标签嵌入,属性)。传统的GZSL主要是为了目标识别而设计的。在本文中,我们关注于零样本场景识别,这是一个更具挑战性的设置,有数百个类别,它们的差异可能是微妙的,通常在特定的物体或区域。传统的GZSL表示不够丰富,无法捕获这些局部差别。针对这些限制,我们提出了一个具有两个新组件的特征生成框架:1)多源语义信息(即属性、单词嵌入和描述),2)可以增强场景识别的区域描述。为了生成综合的视觉特征,我们提出了两步生成方法,其中局部描述采样和使用作为条件来生成视觉特征。生成的特征被聚合并与真实的特征一起用来训练一个联合分类器。为了对该方法进行评价,我们引入了一种新的具有多语义标注的零样本场景识别数据集。在该数据集和SUN属性数据集上的实验结果表明了该方法的有效性。

https://vipl.ict.ac.cn/homepage/jsq/publication/2020-Song-ACMMM.html

成为VIP会员查看完整内容
21

相关内容

零样本学习是AI识别方法之一。简单来说就是识别从未见过的数据类别,即训练的分类器不仅仅能够识别出训练集中已有的数据类别,还可以对于来自未见过的类别的数据进行区分。这是一个很有用的功能,使得计算机能够具有知识迁移的能力,并无需任何训练数据,很符合现实生活中海量类别的存在形式。
【EMNLP2020-清华】基于常识知识图谱的多跳推理语言生成
专知会员服务
72+阅读 · 2020年9月25日
【ACM MM2020】跨模态分布匹配的半监督多模态情感识别
专知会员服务
41+阅读 · 2020年9月8日
【ACM MM2020】对偶注意力GAN语义图像合成
专知会员服务
33+阅读 · 2020年9月2日
【ACMMM2020】零样本语义分割的上下文感知特征生成
专知会员服务
15+阅读 · 2020年8月21日
【ACMMM2020-北航】协作双路径度量的小样本学习
专知会员服务
28+阅读 · 2020年8月11日
7篇必读ACM MM 2019论文:图神经网络+多媒体
新智元
43+阅读 · 2019年11月9日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
30+阅读 · 2019年3月26日
Arxiv
29+阅读 · 2020年3月16日
Arxiv
99+阅读 · 2020年3月4日
Arxiv
29+阅读 · 2019年3月13日
Arxiv
7+阅读 · 2018年1月31日
VIP会员
微信扫码咨询专知VIP会员