Zero-shot learning (ZSL) aims to recognize unseen classes based on the knowledge of seen classes. Previous methods focused on learning direct embeddings from global features to the semantic space in hope of knowledge transfer from seen classes to unseen classes. However, an unseen class shares local visual features with a set of seen classes and leveraging global visual features makes the knowledge transfer ineffective. To tackle this problem, we propose a Region Semantically Aligned Network (RSAN), which maps local features of unseen classes to their semantic attributes. Instead of using global features which are obtained by an average pooling layer after an image encoder, we directly utilize the output of the image encoder which maintains local information of the image. Concretely, we obtain each attribute from a specific region of the output and exploit these attributes for recognition. As a result, the knowledge of seen classes can be successfully transferred to unseen classes in a region-bases manner. In addition, we regularize the image encoder through attribute regression with a semantic knowledge to extract robust and attribute-related visual features. Experiments on several standard ZSL datasets reveal the benefit of the proposed RSAN method, outperforming state-of-the-art methods.


翻译:零点学习( ZSL) 旨在根据可见类知识识别隐蔽类。 以往的方法侧重于学习从全球特征到语义空间的直接嵌入, 希望知识从可见类向隐蔽类转移。 然而, 一个隐蔽类共享本地视觉特征, 包含一组可见类并利用全球视觉特征, 使得知识转移无效。 为了解决这一问题, 我们提议建立一个区域模拟统一网络( RSAN), 将隐蔽类的本地特征映射到语义属性。 我们不用使用图像编码器后通过平均集合层获得的全球特征, 而是直接利用维持图像本地信息的图像编码器的输出。 具体地说, 我们从产出的特定区域获取每个属性并利用这些属性进行识别。 结果, 所见类的知识可以成功传输到区域基地的隐蔽类。 此外, 我们通过属性回归和语义知识来规范图像编码。 在几个标准 ZSLL 数据集上进行实验, 展示了拟议的 RSAN 方法的效益, 表现方式 。

0
下载
关闭预览

相关内容

迁移学习简明教程,11页ppt
专知会员服务
108+阅读 · 2020年8月4日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
96+阅读 · 2020年5月31日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
165+阅读 · 2020年3月18日
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
弱监督语义分割最新方法资源列表
专知
9+阅读 · 2019年2月26日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Zero-Shot Learning相关资源大列表
专知
52+阅读 · 2019年1月1日
计算机视觉领域顶会CVPR 2018 接受论文列表
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
17+阅读 · 2021年2月15日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Arxiv
14+阅读 · 2019年9月11日
VIP会员
相关VIP内容
迁移学习简明教程,11页ppt
专知会员服务
108+阅读 · 2020年8月4日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
96+阅读 · 2020年5月31日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
165+阅读 · 2020年3月18日
相关资讯
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
弱监督语义分割最新方法资源列表
专知
9+阅读 · 2019年2月26日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Zero-Shot Learning相关资源大列表
专知
52+阅读 · 2019年1月1日
计算机视觉领域顶会CVPR 2018 接受论文列表
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员