主题: Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning

摘要: 广义零样本学习(GZSL)解决了同时涉及可见类和不可见类的实例分类问题。关键问题是如何有效地将从可见类学习到的模型转换为不可见类。GZSL中现有的工作通常假设关于未公开类的一些先验信息是可用的。然而,当新的不可见类动态出现时,这种假设是不现实的。为此,我们提出了一种新的基于异构图的知识转移方法(HGKT),该方法利用图神经网络对GZSL、不可知类和不可见实例进行知识转移。具体地说,一个结构化的异构图,它是由所见类的高级代表节点构造而成,这些代表节点通过huasstein-barycenter来选择,以便同时捕获类间和类内的关系,聚集和嵌入函数可以通过图神经网络来学习,它可以用来计算不可见类的嵌入,方法是从它们的内部迁移知识。在公共基准数据集上的大量实验表明,我们的方法达到了最新的结果。

成为VIP会员查看完整内容
0
51

相关内容

零样本学习是AI识别方法之一。简单来说就是识别从未见过的数据类别,即训练的分类器不仅仅能够识别出训练集中已有的数据类别,还可以对于来自未见过的类别的数据进行区分。这是一个很有用的功能,使得计算机能够具有知识迁移的能力,并无需任何训练数据,很符合现实生活中海量类别的存在形式。

主题: DEPARA: Deep Attribution Graph for Deep Knowledge Transferability

摘要: 探索经过PRe训练的深度神经网络(PR-DNN)编码的异构任务之间的知识之间的内在联系,揭示了它们的相互可移植性,从而使知识能够从一项任务转移到另一项任务,从而减少了后者的培训工作量。在本文中,我们提出了DEeP属性图(DEPARA),以研究从PR-DNN中获得的知识的可传递性。在DEPARA中,节点对应于输入,并由其相对于PR-DNN输出的矢量归因图表示。边缘表示输入之间的相关性,并通过从PR-DNN中提取的特征相似性来衡量。两个PR-DNN的知识可传递性是通过它们对应的DEPARA的相似性来衡量的。我们将DEPARA应用于转移学习中的两个重要但尚未充分研究的问题:预先训练的模型选择和层选择。进行了广泛的实验以证明所提出的方法在解决这两个问题上的有效性和优越性。

成为VIP会员查看完整内容
0
24

现有的知识蒸馏方法主要集中在卷积神经网络(convolutional neural networks~, CNNs)上,其中图像等输入样本位于一个网格域内,而处理非网格数据的graph convolutional networks~(GCN)则在很大程度上被忽略。在这篇论文中,我们提出从一个预先训练好的GCN模型中蒸馏知识的第一个专门方法。为了实现知识从教师到学生的迁移,我们提出了一个局部结构保留模块,该模块明确地考虑了教师的拓扑语义。在这个模块中,来自教师和学生的局部结构信息被提取为分布,因此最小化这些分布之间的距离,使得来自教师的拓扑感知的知识转移成为可能,从而产生一个紧凑但高性能的学生模型。此外,所提出的方法很容易扩展到动态图模型,其中教师和学生的输入图可能不同。我们使用不同架构的GCN模型,在两个不同的数据集上对所提出的方法进行了评估,并证明我们的方法达到了GCN模型最先进的知识蒸馏性能。

成为VIP会员查看完整内容
0
77

机器学习的许多应用都需要一个模型来对测试样本做出准确的预测,这些测试样本在分布上与训练示例不同,而在训练期间,特定于任务的标签很少。应对这一挑战的有效方法是,在数据丰富的相关任务上对模型进行预训练,然后在下游任务上对其进行微调。尽管预训练在许多语言和视觉领域都是有效的,但是如何在图数据集上有效地使用预训练仍是一个有待解决的问题。本文提出了一种新的图神经网络训练策略和自监督方法。我们的策略成功的关键是在单个节点以及整个图的层次上预训练一个具有强表示能力的GNN,以便GNN能够同时学习有用的局部和全局表示。我们系统地研究了多类图分类数据集的预处理问题。我们发现,在整个图或单个节点级别上对GNN进行预训练的朴素策略改进有限,甚至可能导致许多下游任务的负迁移。相比之下,我们的策略避免了负迁移,显著提高了下游任务的泛化能力,使得ROC-AUC相对于未经训练的模型提高了9.4%,实现了分子特性预测和蛋白质功能预测的最好性能。

成为VIP会员查看完整内容
0
70

题目: MEMORY-BASED GRAPH NETWORKS

摘 要:

图神经网络是一类对任意拓扑结构的数据进行操作的深度模型。我们为GNNs引入了一个有效的记忆层,它可以联合学习节点表示并对图进行粗化。在此基础上,我们还引入了两个新的网络:基于记忆的GNN (MemGNN)和可以学习层次图表示的图存储网络(GMN)。实验结果表明,所提出的模型在9个图分类和回归基准中有8个达到了最新的结果。我们也证明了这些表示学习可以对应于分子数据中的化学特征。

成为VIP会员查看完整内容
0
93

题目

知识图谱的生成式对抗零样本关系学习:Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs

简介

大规模知识图谱(KGs)在当前的信息系统中显得越来越重要。为了扩大知识图的覆盖范围,以往的知识图完成研究需要为新增加的关系收集足够的训练实例。本文考虑一种新的形式,即零样本学习,以摆脱这种繁琐的处理,对于新增加的关系,我们试图从文本描述中学习它们的语义特征,从而在不见实例的情况下识别出看不见的关系。为此,我们利用生成性对抗网络(GANs)来建立文本与知识边缘图域之间的联系:生成器学习仅用有噪声的文本描述生成合理的关系嵌入。在这种背景下,零样本学习自然转化为传统的监督分类任务。从经验上讲,我们的方法是模型不可知的,可以应用于任何版本的KG嵌入,并在NELL和Wikidataset上产生性能改进。

作者 Pengda Qin,Xin Wang,Wenhu Chen,Chunyun Zhang,Weiran Xu1William Yang Wang

成为VIP会员查看完整内容
0
53

题目: Large Scale Learning of General Visual Representations for Transfer

摘要: 在训练深层视觉神经网络时,预训练表示的传递提高了样本效率,简化了超参数整定。我们重新审视了在大监督数据集上进行预训练和微调目标任务权重的范例。我们扩大了训练前的规模,并创建了一个简单的配方,我们称之为大转移(BiT)。通过组合一些精心挑选的组件,并使用简单的启发式进行传输,我们在20多个数据集上获得了很强的性能。BiT在一系列出人意料的数据体系中表现良好——从10到100万个标记示例。BiT在ILSVRC-2012上达到87.8%的top-1精度,在CIFAR-10上达到99.3%,在视觉任务适应基准(包括19个任务)上达到76.7%。在小型数据集上,ILSVRC-2012每类25个示例的BiT达到86.4%,CIFAR-10每类10个示例的BiT达到97.6%。我们对导致高传输性能的主要组件进行了详细的分析。

作者简介: Alexander Kolesnikov,谷歌仪器科学家。个人主页:[https://neutrons.ornl.gov/contacts/kolesnikovai]{https://neutrons.ornl.gov/contacts/kolesnikovai}

成为VIP会员查看完整内容
0
8

​【导读】NeurIPS 是全球最受瞩目的AI、机器学习顶级学术会议之一,每年全球的人工智能爱好者和科学家都会在这里聚集,发布最新研究。NIPS 2019大会已经在12月8日-14日在加拿大温哥华举行。这次专知小编发现零样本学习(Zero-Shot Learning, ZSL)在今年的NeurIPS出现了好多篇,也突出其近期的火热程度, 为此,专知小编整理了NIPS 2019零样本学习(Zero-Shot Learning)相关的论文供大家学习收藏—零样本知识迁移、Transductive ZSL、多注意力定位、ZSL语义分割、对偶对抗语义一致网络。

  1. Zero-shot Knowledge Transfer via Adversarial Belief Matching

作者:Paul Micaelli and Amos Storkey

摘要:在现代深度学习应用中,将知识从一个大的teacher network迁移到一个小的student network中是一个很受欢迎的任务。然而,由于数据集的规模越来越大,隐私法规也越来越严格,越来越多的人无法访问用于训练teacher network的数据。我们提出一种新方法,训练student network在不使用任何数据或元数据的情况下,与teacher network的预测相匹配。我们通过训练一个对抗生成器来搜索student与teacher匹配不佳的图片,然后使用它们来训练student,从而达到这个目的。我们得到的student在SVHN这样的简单数据集上与teacher非常接近,而在CIFAR10上,尽管没有使用数据,我们在few-shot distillation (100 images per class)的技术水平上进行了改进。最后,我们还提出了一种度量标准,来量化teacher与student在决策边界附近的信念匹配程度,并观察到我们的zero-shot student与teacher之间的匹配程度显著高于用真实数据提取的student与teacher之间的匹配程度。我们的代码链接如下:

https://github.com/polo5/ZeroShotKnowledgeTransfer。

网址:

https://papers.nips.cc/paper/9151-zero-shot-knowledge-transfer-via-adversarial-belief-matching 2. Transductive Zero-Shot Learning with Visual Structure Constraint

作者:Ziyu Wan, Dongdong Chen, Yan Li, Xingguang Yan, Junge Zhang, Yizhou Yu and Jing Liao

摘要:为了识别未知类的目标,现有的零样本学习(Zero-Shot Learning, ZSL)方法大多是先根据源可见类的数据,在公共语义空间和视觉空间之间学习一个相容的投影函数,然后直接应用于目标未知类。然而,在实际场景中,源域和目标域之间的数据分布可能不匹配,从而导致众所周知的domain shift问题。基于观察到的测试实例的视觉特征可以被分割成不同的簇,我们针对转导ZSL的类中心提出了一种新的视觉结构约束,以提高投影函数的通用性(即缓解上述域移位问题)。具体来说,采用了三种不同的策略 (symmetric Chamfer-distance, Bipartite matching distance, 和Wasserstein distance) 来对齐测试实例的投影不可见的语义中心和可视集群中心。我们还提出了一种新的训练策略,以处理测试数据集中存在大量不相关图像的实际情况,这在以前的方法中是没有考虑到的。在许多广泛使用的数据集上进行的实验表明,我们所提出的视觉结构约束能够持续地带来可观的性能增益,并取得最先进的结果。我们源代码在:https://github.com/raywzy/VSC。

网址:

https://papers.nips.cc/paper/9188-transductive-zero-shot-learning-with-visual-structure-constraint

  1. Semantic-Guided Multi-Attention Localization for Zero-Shot Learning

作者:Yizhe Zhu, Jianwen Xie, Zhiqiang Tang, Xi Peng and Ahmed Elgammal

摘要:零样本学习(Zero-shot learning)通过引入类的语义表示,将传统的目标分类扩展到不可见的类识别。现有的方法主要侧重于学习视觉语义嵌入的映射函数,而忽视了学习discriminative视觉特征的效果。本文研究了discriminative region localization的意义。提出了一种基于语义引导的多注意力定位模型,该模型能自动发现目标中最discriminative的部分,实现零样本学习,不需要人工标注。我们的模型从整个目标和被检测部分共同学习协作的全局和局部特征,根据语义描述对对象进行分类。此外,在嵌入softmax loss和class-center triplet loss的联合监督下,鼓励模型学习具有高类间离散性和类内紧凑性的特征。通过对三种广泛使用的零样本学习基准的综合实验,我们证明了multi-attention localization的有效性,我们提出的方法在很大程度上改进了最先进的结果。

网址:

https://papers.nips.cc/paper/9632-semantic-guided-multi-attention-localization-for-zero-shot-learning

  1. Zero-shot Learning via Simultaneous Generating and Learning

作者:Hyeonwoo Yu and Beomhee Lee

摘要:为了克服不可见类训练数据的不足,传统的零样本学习方法主要在可见数据点上训练模型,并利用可见类和不可见类的语义描述。在探索类与类之间关系的基础上,我们提出了一个深度生成模型,为模型提供了可见类与不可见类的经验。该方法基于类特定多模态先验的变分自编码器,学习可见类和不可见类的条件分布。为了避免使用不可见类的示例,我们将不存在的数据视为缺失的示例。也就是说,我们的网络目标是通过迭代地遵循生成和学习策略来寻找最优的不可见数据点和模型参数。由于我们得到了可见类和不可见类的条件生成模型,因此无需任何现成的分类器就可以直接进行分类和生成。在实验结果中,我们证明了所提出的生成和学习策略使模型取得了优于仅在可见类上训练的结果,也优于几种最先进的方法。

网址:

https://papers.nips.cc/paper/8300-zero-shot-learning-via-simultaneous-generating-and-learning

  1. Zero-Shot Semantic Segmentation

作者:Maxime Bucher, Tuan-Hung VU, Matthieu Cord and Patrick Pérez

摘要:语义分割模型在扩展到大量对象类别的能力上受到限制。在本文中,我们介绍了零样本语义分割的新任务:用零训练实例学习从未见过的对象类别的像素级分类器。为此,我们提出了一个新的架构,ZS3Net,结合了一个深度的视觉分割模型和一种从语义词嵌入生成视觉表示的方法。通过这种方式,ZS3Net解决了在测试时可见和不可见的类别都面临的像素分类任务(所谓的“generalized” zero-shot 分类)。通过依赖于不可见类的像素的自动伪标记的自训练步骤,可以进一步提高性能。在两个标准的细分数据集,Pascal-VOC和Pascal-Context,我们提出了zero-shot基准和设置竞争的baseline。对于Pascal-Context数据集中的复杂场景,我们通过使用图形-上下文编码来扩展我们的方法,以充分利用来自类分割图的空间上下文先验。

网址:

https://papers.nips.cc/paper/8338-zero-shot-semantic-segmentation

  1. Dual Adversarial Semantics-Consistent Network for Generalized Zero-Shot Learning

作者:Jian Ni, Shanghang Zhang and Haiyong Xie

摘要:广义零样本学习(Generalized zero-shot learning,GZSL)是一类具有挑战性的视觉和知识迁移问题,在测试过程中,既有看得见的类,也有看不见的类。现有的GZSL方法要么在嵌入阶段遭遇语义丢失,抛弃有区别的信息,要么不能保证视觉语义交互。为了解决这些局限性,我们提出了一个Dual Adversarial Semantics-Consistent Network (简称DASCN),它在一个统一的GZSL框架中学习原始的和对偶的生成的对抗网络(GANs)。在DASCN中,原始的GAN学习综合类间的区别和语义——从可见/不可见类的语义表示和对偶GAN重构的语义表示中保留视觉特征。对偶GAN通过语义一致的对抗性学习,使合成的视觉特征能够很好地表示先验语义知识。据我们所知,这是针对GZSL采用新颖的Dual-GAN机制的第一个工作。大量的实验表明,我们的方法比最先进的方法取得了显著的改进。

网址:

https://papers.nips.cc/paper/8846-dual-adversarial-semantics-consistent-network-for-generalized-zero-shot-learning

成为VIP会员查看完整内容
0
51

论文题目

Model Cards for Model Reporting

论文摘要

在给定一些具有足够训练样本的基本类别上,少镜头学习的目的是从很少的样本中学习新的类别。这项任务的主要挑战是新的类别容易受到颜色、纹理、物体形状或背景背景(即特异性)的支配,这对于给定的少数训练样本是不同的,但对于相应的类别则不常见。幸运的是,我们发现基于范畴可以帮助学习新概念,从而避免新概念被特定性所支配。此外,结合不同类别之间的语义关联,可以有效地规范这种信息传递。在这项工作中,我们以结构化知识图的形式来表示语义关联,并将此图集成到深度神经网络中,利用一种新的知识图转移网络(KGTN)来促进少量镜头的学习。具体地说,通过使用对应类别的分类器权重初始化每个节点,学习传播机制以自适应地通过图来探索节点间的相互作用,并将基本类别的分类器信息传递给新类别的分类器信息。在ImageNet数据集上进行的大量实验表明,与当前领先的竞争对手相比,性能有了显著提高。此外,我们还构建了一个涵盖更大尺度类别(即6000个类别)的ImageNet-6K数据集,在该数据集上的实验进一步证明了我们提出的模型的有效性。

论文作者 陈日泉,陈天水,许晓璐,吴鹤峰,李冠斌,梁林,中山大学达克马特人工智能研究所。

成为VIP会员查看完整内容
0
92

题目: GNNExplainer: Generating Explanations for Graph Neural Networks

简介: 图神经网络(GNN)通过沿输入图的边缘递归传递神经消息,将节点特征信息与图结构结合在一起。但是同时包含图结构和特征信息会导致模型复杂,并且解释GNN所做的预测仍未解决。在这里,我们提出GNNExplainer,这是第一种通用的,与模型无关的方法,可为任何基于GNN的模型的预测提供可解释性。给定一个实例,GNNExplainer会确定紧凑的子图结构和节点特征的一小部分,这些特征对GNN的预测至关重要。此外,GNNExplainer可以为整个实例类生成一致而简洁的解释。我们将GNNExplainer公式化为优化任务,该优化任务可最大化GNN的预测与可能的子图结构的分布之间的相互信息。在合成图和真实世界图上进行的实验表明,我们的方法可以识别重要的图结构以及节点特征,并且比基准性能高出17.1%。 GNNExplainer提供了各种好处,从可视化语义相关结构的能力到可解释性,再到洞悉有缺陷的GNN的错误。

作者简介: 领域的大牛Jure Leskovec,是斯坦福大学计算机学院的副教授,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。研究重点是对大型社会和信息网络进行挖掘和建模,它们的演化,信息的传播以及对它们的影响。 调查的问题是由大规模数据,网络和在线媒体引起的。 Jure Leskovec主页

代码链接: https://github.com/RexYing/gnn-model-explainer

成为VIP会员查看完整内容
0
68
小贴士
相关VIP内容
专知会员服务
77+阅读 · 2020年3月25日
专知会员服务
93+阅读 · 2020年2月22日
相关论文
Heterogeneous Relational Reasoning in Knowledge Graphs with Reinforcement Learning
Mandana Saebi,Steven Krieg,Chuxu Zhang,Meng Jiang,Nitesh Chawla
9+阅读 · 2020年3月12日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Jianhong Zhang,Manli Zhang,Zhiwu Lu,Tao Xiang,Jirong Wen
61+阅读 · 2020年2月28日
Chuxu Zhang,Huaxiu Yao,Chao Huang,Meng Jiang,Zhenhui Li,Nitesh V. Chawla
11+阅读 · 2019年11月26日
Riquan Chen,Tianshui Chen,Xiaolu Hui,Hefeng Wu,Guanbin Li,Liang Lin
14+阅读 · 2019年11月21日
Rik Koncel-Kedziorski,Dhanush Bekal,Yi Luan,Mirella Lapata,Hannaneh Hajishirzi
32+阅读 · 2019年4月4日
Mohamed Elhoseiny,Mohamed Elfeki
4+阅读 · 2019年4月3日
Qingyao Ai,Vahid Azizi,Xu Chen,Yongfeng Zhang
10+阅读 · 2018年5月9日
Yongfeng Zhang,Qingyao Ai,Xu Chen,Pengfei Wang
21+阅读 · 2018年3月22日
Liwei Cai,William Yang Wang
5+阅读 · 2018年2月20日
Shafin Rahman,Salman H. Khan,Fatih Porikli
3+阅读 · 2017年10月26日
Top