【导读】小样本学习是学术界和工业界近年来关注的焦点。2020年以来,AAAI、WSDM、ICLR、CVPR会议论文公布,专知小编整理了最新8篇关于知识图谱的论文,来自Google、PSU、人大、微软、腾讯、阿里巴巴等,包含元迁移学习、图神经网络、小样本文本分类等,请大家查看!

1、Graph Few-shot Learning via Knowledge Transfer(通过知识迁移的图小样本学习),AAAI2020

摘要:对于具有挑战性的半监督节点分类问题,已有广泛的研究。图神经网络(GNNs)作为一个前沿领域,近年来引起了人们极大的兴趣。然而,大多数gnn具有较浅的层,接收域有限,并且可能无法获得令人满意的性能,特别是在标记节点数量很少的情况下。为了解决这一问题,我们创新性地提出了一种基于辅助图的先验知识的图小样本学习(GFL)算法,以提高目标图的分类精度。具体来说,辅助图与目标之间共享一个可转移的度量空间,该空间以节点嵌入和特定于图的原型嵌入函数为特征,便于结构知识的传递。对四个真实世界图形数据集的大量实验和消融研究证明了我们提出的模型的有效性

论文地址:

https://arxiv.org/abs/1910.03053

2、AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning(自适应聚合GCN的小样本学习)

摘要:现有的小样本学习(FSL)方法假设源类中存在足够的训练样本,可以将知识转移到训练样本较少的目标类中。然而,这种假设通常是无效的,特别是在细粒度识别方面。在这项工作中,我们定义了一个新的FSL设置,称为few-shot fewshot learning (FSFSL),在这种情况下,源类和目标类都只有有限的训练样本。为了克服源类数据稀缺的问题,一个自然的选择是从web中抓取具有类名作为搜索关键字的图像。然而,爬行图像不可避免地会受到大量噪声(不相关的图像)的破坏,从而影响性能。针对这一问题,我们提出了一种基于GCN的图形卷积网络标签去噪(LDN)方法来去除不相关的图像。在此基础上,我们提出了一种基于gcn的清洁web图像和原始训练图像的FSL方法。针对LDN和FSL任务,提出了一种新的自适应聚合GCN (AdarGCN)模型。利用AdarGCN,可以自动确定每个图节点所携带的信息在图结构中传播了多少以及传播了多远,从而减轻了噪声和边缘训练样本的影响。大量的实验表明,我们的AdarGCN在新的FSFSL和传统的FSL设置下的优越性能。

论文地址:

https://www.zhuanzhi.ai/paper/5189982e35b0950b3dd3da91d68a5d07

3、Few-shot Natural Language Generation for Task-Oriented Dialog(面向任务对话的小样本自然语言生成)

摘要:自然语言生成(NLG)模块是面向任务的对话系统的重要组成部分,它将语义形式的对话行为转化为自然语言的响应。传统的基于模板或统计模型的成功通常依赖于大量注释的数据,这对于新领域来说是不可行的。因此,在实际应用中,如何利用有限的标记数据很好地推广NLG系统至关重要。为此,我们提出了第一个NLG基准测试FewShotWoz来模拟面向任务的对话系统中的小样本学习设置。进一步,我们提出了SC-GPT模型。通过对大量的NLG标注语料库进行预训练,获得可控的生成能力,并通过少量的领域特定标签进行微调,以适应新的领域。在FewShotWoz和大型的多领域woz数据集上进行的实验表明,所提出的SC-GPT显著优于现有的方法(通过各种自动指标和人工评估进行测量)。

论文地址:

https://www.zhuanzhi.ai/paper/16510460dca11e426c62e6d82031c7fc

4、Meta-Transfer Learning for Zero-Shot Super-Resolution(元迁移学习的零样本超分)CVPR2020

摘要:卷积神经网络(CNNs)通过使用大规模的外部样本,在单幅图像的超分辨率(SISR)方面有了显著的改善。尽管它们基于外部数据集的性能非常出色,但它们无法利用特定图像中的内部信息。另一个问题是,它们只适用于它们所监督的数据的特定条件。例如,低分辨率(LR)图像应该是从高分辨率(HR)图像向下采样的“双三次”无噪声图像。为了解决这两个问题,零样本超分辨率(ZSSR)被提出用于灵活的内部学习。然而,他们需要成千上万的梯度更新,即推理时间长。在这篇论文中,我们提出了一种利用零样本超分辨的元转移学习方法。准确地说,它是基于找到一个适合内部学习的通用初始参数。因此,我们可以利用外部和内部信息,其中一个梯度更新可以产生相当可观的结果。(见图1)。通过我们的方法,网络可以快速适应给定的图像条件。在这方面,我们的方法可以应用于一个快速适应过程中的一个大光谱的图像条件。

论文地址:

https://www.zhuanzhi.ai/paper/060b612853dfdd5af41688d50ce946d0

5、Few-shot Text Classification with Distributional Signatures(小样本文本分类)ICLR2020

摘要:在本文中,我们探讨了元学习在小样本文本分类中的应用。元学习在计算机视觉方面表现出了很强的性能,在计算机视觉中,低级模式可以在学习任务之间转移。然而,直接将这种方法应用于文本是具有挑战性的——对于一个任务来说信息丰富的词汇特性对于另一个任务来说可能是无关紧要的。因此,我们的模型不仅从单词中学习,还利用它们的分布特征,这些分布特征编码相关的单词出现模式。我们的模型在元学习框架内进行训练,将这些特征映射到注意力分数,然后用注意力分数来衡量单词的词汇表示。我们证明,我们的模型在6个基准数据集(1-shot分类平均20.0%)上,在词汇知识学习的原型网络(Snell et al., 2017)上,在小样本文本分类和关系分类上都显著优于原型网络。

论文地址:

https://arxiv.org/abs/1908.06039

  1. Evolving Losses for Unsupervised Video Representation Learning(无监督视频表示学习的损失演化)CVPR2020

摘要:我们提出了一种从大规模无标记视频数据中学习视频表示的新方法。理想情况下,这种表现形式应该是通用的、可转移的,可以直接用于新的任务,比如动作识别和零或少样本学习。我们将无监督表示法学习描述为一个多模态、多任务学习问题,其中表示法通过精馏在不同的模式之间共享。在此基础上,我们引入了损失函数演化的概念,利用进化搜索算法自动寻找包含多个(自监督)任务和模式的损失函数的最优组合。在此基础上,我们提出了一种基于Zipf法则的无监督表示法评价指标,该指标使用对一个大的未标记数据集的分布匹配作为先验约束。这种不受监督的约束,不受任何标记的引导,与受弱监督的、特定于任务的约束产生类似的结果。提出的无监督表示学习方法在单RGB网络中取得了良好的学习效果,并优于已有的学习方法。值得注意的是,它也比几种基于标签的方法(如ImageNet)更有效,除了大型的、完全标记的视频数据集。

论文地址:

https://www.zhuanzhi.ai/paper/1cd13817179b2c3e512bbf00a320b4eb

  1. Few-shot acoustic event detection via meta-learning(元学习的小概率语音事件检测)ICASSP 2020

摘要:本文研究了小样本语音事件检测技术。少样本学习能够用非常有限的标记数据检测新事件。与计算机视觉等其他研究领域相比,语音识别的样本学习研究较少。我们提出了小样本AED问题,并探索了不同的方法来利用传统的监督方法,以及各种元学习方法,这些方法通常用于解决小样本分类问题。与有监督的基线相比,元学习模型具有更好的性能,从而显示了它对新音频事件的泛化效果。我们的分析包括初始化和领域差异的影响,进一步验证了元学习方法在小样本AED中的优势。

论文地址:

https://www.zhuanzhi.ai/paper/1600398c5662ddbea82187c132819ea4

  1. Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation(跨域小样本分类)ICLR2020

摘要:小样本分类旨在识别每个类别中只有少数标记图像的新类别。现有的基于度量的小样本分类算法通过使用学习度量函数将查询图像的特征嵌入与少数标记图像(支持示例)的特征嵌入进行比较来预测类别。虽然已经证明了这些方法有很好的性能,但是由于域之间的特征分布存在很大的差异,这些方法往往不能推广到不可见的域。在这项工作中,我们解决了基于度量的方法在领域转移下的少样本分类问题。我们的核心思想是在训练阶段利用仿射变换增强图像的特征,模拟不同领域下的各种特征分布。为了捕获不同领域中特性分布的变化,我们进一步应用了一种学习-学习方法来搜索Feature-Wise转换层的超参数。我们使用5个小样本分类数据集:mini-ImageNet、CUB、Cars、Places和Plantae,在域概化设置下进行了大量的实验和消融研究。实验结果表明,所提出的特征变换层适用于各种基于度量的模型,并对域转移下的小样本分类性能提供了一致的改进。。

论文地址:

https://arxiv.org/abs/2001.08735

成为VIP会员查看完整内容
0
177

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。

小样本学习(FSL)近年来引起了越来越多的关注,但仍然具有挑战性,因为学习从少数例子中归纳的固有困难。本文提出了一种自适应间隔原则,以提高基于度量的元学习方法在小样本学习问题中的泛化能力。具体地说,我们首先开发了一个与类相关的加性边缘损失算法,该算法考虑了每对类之间的语义相似性,从而将特征嵌入空间中的样本从相似的类中分离出来。此外,我们在抽样训练任务中加入所有类别之间的语义上下文,并开发了与任务相关的附加间隔损失,以更好地区分不同类别的样本。我们的自适应间隔方法可以很容易地推广到更现实的广义FSL设置。大量的实验表明,在标准FSL和通用FSL设置下,所提出的方法可以提高现有基于度量的元学习方法的性能。

成为VIP会员查看完整内容
0
60

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020已于2020年4月20日至4月24日在中国台湾台北举行。会议论文集已经公开,大家可以自己查看感兴趣的论文,专知小编继续整理WWW 2020 系列论文,这期小编为大家奉上的是WWW 2020六篇迁移学习(Transfer Learning)相关论文,供大家参考!——主动域迁移、多任务域迁移、类别注意力迁移网络、多模态域迁移、跨域推荐、跨域欺诈检测。

WWW 2020 会议论文集: https://dl.acm.org/doi/proceedings/10.1145/3366423

WWW2020KG+GNN、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN

CCF-A类顶会WWW2020最佳论文出炉!OSU最佳论文,北邮斩获最佳学生论文!

1. Active Domain Transfer on Network Embedding

作者:Lichen Jin, Yizhou Zhang, Guojie Song, Yilun Jin

摘要:最近的工作表明,端到端、监督(半监督)的网络嵌入模型可以生成令人满意的向量来表示网络拓扑,甚至可以通过归纳学习(inductive learning)适用于未知(unseen)的图。然而,归纳学习的训练网络和测试网络之间的域不匹配,以及缺乏标记数据,会影响这种方法的结果。相应地能够解决上述问题的迁移学习和主动学习(active learning)技术已经在常规独立同分布数据上得到了很好的研究,而它们在网络上的关注相对较少。因此,本文提出了一种网络上的主动迁移学习方法,称为主动迁移网络嵌入(Active-Transfer Network Embedding,ATNE)。在ATNE中,我们从迁移和主动学习两个角度综合考虑各个节点对网络的影响,从而在训练过程中结合这两个方面设计新颖有效的影响分值以方便节点的选择。我们证明了ATNE是有效的,并且与实际使用的模型是解耦的。进一步的实验表明,ATNE的性能优于最新的主动节点选择方法,并且在不同的情况下表现出了通用性。

网址: https://dl.acm.org/doi/abs/10.1145/3366423.3380024

2. Anchored Model Transfer and Soft Instance Transfer for Cross-Task Cross-Domain Learning: A Study Through Aspect-Level Sentiment Classification

作者:Yaowei Zheng, Richong Zhang, Suyuchen Wang, Samuel Mensah, Yongyi Mao

摘要:监督学习在很大程度上依赖于容易获得的标记数据来推断有效的分类函数。然而,在有监督学习下提出的方法面临领域内标注数据稀缺的问题,且通用性不够强,不能适用于其他任务。通过允许跨域和跨任务共享知识,迁移学习已被证明是解决这些问题的一个有价值的选择。通过允许跨域和跨任务共享知识,迁移学习已被证明是解决上述问题的一个有价值的选择。本文提出了Anchored Model迁移(AMT)和Soft Instance迁移(SIT)两种迁移学习方法,这两种学习方法都是基于多任务学习,兼顾了模型迁移和实例迁移,可以结合到一个通用的框架中。我们证明了AMT和SIT对于aspect-level的情感分类的有效性,在基准数据集上我们的模型表现出比基线模型更有竞争力的表现。有趣的是,AMT + SIT的集成可在同一任务上实现最先进的性能。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380034

  1. Domain Adaptation with Category Attention Network for Deep Sentiment Analysis

作者:Dongbo Xi, Fuzhen Zhuang, Ganbin Zhou, Xiaohu Cheng, Fen Lin, Qing He

摘要:跨域情感分类等领域自适应任务旨在利用源域中已有的已标记数据和目标域中未标记或很少的标记数据,通过减少数据分布之间的偏移来提高目标域的性能。现有的跨领域情感分类方法需要区中心点(pivots)(即领域共享的情感词)和非中心点(即领域特定的情感词),才能获得良好的自适应性能。本文首先设计了一个类别注意网络(CAN),然后提出了一种将CAN和卷积神经网络(CNN)相结合的CAN-CNN模型。该模型一方面将中心点和非中心点作为统一的类别属性词进行自动捕获,提高领域自适应性能;另一方面,对迁移后的类别属性词进行可解释性学习的尝试。具体地说,该模型的优化目标有三个不同的组成部分:1)监督分类损失;2)类别特征权重的分布损失;3)领域不变性损失。最后,在三个舆情分析数据集上对所提出的模型进行了评估,结果表明CAN-CNN的性能优于其他各种基线方法。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380088

4. Domain Adaptive Multi-Modality Neural Attention Network for Financial Forecasting

作者:Dawei Zhou, Lecheng Zheng, Yada Zhu, Jianbo Li, Jingrui He

摘要:金融时间序列分析在优化投资决策、对冲市场风险方面起着核心作用。这是一项具有挑战性的任务,因为问题总是伴随着双层(即数据级和任务级)的异构性。例如,在股价预测中,一个成功的具有有限风险的投资组合通常由来自不同领域(如公用事业、信息技术、医疗保健等)的大量股票组成,每个领域的股票预测可以视为一个任务;在一个投资组合中,每个股票的特征是从多个模态(例如金融、天气和新闻)收集的时间数据,这对应于数据层的异构性。此外,金融业遵循高度监管的过程,这就要求预测模型是可解释的,输出结果必须满足合规性。因此,一个自然的研究问题就是如何建立一个模型,既能在解决此类多通道多任务学习问题时取得满意的性能,又能为最终用户提供全面的解释。为了回答这个问题,本文提出了一个通用的时间序列预测框架Dandelion,它利用多模态的一致性,并使用深度神经网络来探索多个任务的相关性。此外,为了保证框架的可解释性,我们集成了一种新的三位一体的注意机制,允许最终用户在三个维度(即任务、通道和时间)上调查变量重要性。广泛的实证结果表明,Dandelion在过去15年中对来自4个不同领域的396只股票的金融市场预测取得了优异的表现。具体地说,两个有趣的案例研究显示了Dandelion在其盈利表现和输出结果对最终用户的可解释性方面的成效。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380288

5. Exploiting Aesthetic Preference in Deep Cross Networks for Cross-domain Recommendation

作者:Jian Liu, Pengpeng Zhao, Fuzhen Zhuang, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Xiaofang Zhou, Hui Xiong

摘要:产品的视觉美学在购买外观优先的产品(如服装)的决策过程中起着重要的作用。用户的审美偏好作为一种个性特征和基本要求,是与领域无关的,可以作为领域间知识迁移的桥梁。然而,现有的工作很少考虑产品图像中的审美信息进行跨域推荐。为此,本文提出了一种新的深度审美跨域网络(ACDN),通过跨网络共享表征个人审美偏好的参数来实现领域间的知识传递。具体地说,我们首先利用审美网络来提取审美特征。然后,我们将这些特征集成到一个跨域网络中,以传递用户与领域无关的审美偏好。此外,还引入了网络交叉连接,以实现跨域的双重知识转移。最后,在真实数据集上的实验结果表明,我们提出的模型ACDN在推荐准确率方面优于基准方法。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380036

6. Modeling Users’ Behavior Sequences with Hierarchical Explainable Network for Cross-domain Fraud Detection

作者:Yongchun Zhu, Dongbo Xi, Bowen Song, Fuzhen Zhuang, Shuai Chen, Xi Gu, Qing He

摘要:随着电子商务行业的爆炸式增长,检测现实应用中的网络交易欺诈对电子商务平台的发展变得越来越重要。用户的连续行为历史为区分欺诈支付和正常支付提供了有用的信息。最近,已经提出了一些方法来解决这一基于序列的欺诈检测问题。然而,这些方法通常存在两个问题:预测结果难以解释和对行为内部信息的利用不足。针对上述两个问题,本文提出了一种分层可解释网络(HEN)对用户行为序列进行建模,不仅提高了欺诈检测的性能,而且使推理过程具有可解释性。同时,随着电子商务业务扩展到新的领域,例如,新的国家或新的市场,在欺诈检测系统中建模用户行为的一个主要问题是数据收集的限制(例如,可用的数据/标签非常少)。因此,在本文中,我们进一步提出了一个跨域欺诈检测问题的迁移框架,该框架的目的是从现有领域(源域)迁移足够成熟数据的知识,以提高在新领域(目标域)的性能。我们提出的方法是一个通用的迁移框架,它不仅可以应用于HEN,而且可以应用于嵌入&MLP范式中的各种现有模型。利用世界领先的跨境电商平台的数据,我们在不同国家进行了广泛的检测盗卡交易诈骗的实验,以展示HEN的优越性能。此外,基于90个迁移任务的实验,证明了我们的迁移框架不仅可以用于HEN的跨域诈骗检测任务,而且对现有的各种模型都具有通用性和可扩展性。此外,HEN和迁移框架形成了三个级别的注意力,极大地提高了检测结果的可解释性。

网址:

https://dl.acm.org/doi/abs/10.1145/3366423.3380172

成为VIP会员查看完整内容
0
58

【导读】现有的机器学习方法在很多场景下需要依赖大量的训练样本。但机器学习方法是否可以模仿人类,基于先验知识等,只基于少量的样本就可以进行学习。本文介绍34页小样本学习综述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》,包含166篇参考文献,来自第四范式和香港科技大学习的研究学者。

小样本学习综述 Few-shot Learning: A Survey

【摘要】机器学习在数据密集型应用中非常成功,但当数据集很小时,它常常受到阻碍。为了解决这一问题,近年来提出了小样本学习(FSL)。利用先验知识,FSL可以快速地泛化到只包含少量有监督信息的样本的新任务中。在这篇论文中,我们进行了一个彻底的调研,以充分了解FSL。从FSL的正式定义出发,我们将FSL与几个相关的机器学习问题区分开来。然后指出了FSL的核心问题是经验风险最小化是不可靠的。基于先验知识如何处理这一核心问题,我们从三个角度对FSL方法进行了分类: (i) 数据,它使用先验知识来增加监督经验;(二) 利用先验知识缩小假设空间大小的模型;(iii)算法,利用先验知识在给定的假设空间中改变对最佳假设的搜索。有了这种分类法,我们就可以回顾和讨论每个类别的优缺点。在FSL问题的设置、技术、应用和理论方面也提出了有前景的方向,为未来的研究提供了见解。

  • 我们给出了FSL的形式化定义。它可以自然地链接到以往文献中提出的经典机器学习定义。这个定义不仅足够概括,包括所有现有的FSL -shot Learning: A Survey problems,而且足够具体,明确了什么是FSL的目标,以及我们如何解决它。这一定义有助于确定未来FSL领域的研究目标。

  • 指出了基于误差分解的FSL在机器学习中的核心问题。我们发现,正是不可靠的经验风险最小化使得FSL难以学习。这可以通过满足或降低学习的样本复杂度来缓解。理解核心问题有助于根据解决核心问题的方式将不同的工作分类为数据、模型和算法。更重要的是,这为更有组织和系统地改进FSL方法提供了见解。

  • 我们对从FSL诞生到最近发表的文献进行了广泛的回顾,并将它们进行了统一的分类。对不同类别的优缺点进行了深入的讨论。我们还对每个类别下的见解进行了总结。这对于初学者和有经验的研究人员都是一个很好的指导方针。

  • 我们在问题设置、技术、应用和理论方面展望了FSL未来的四个发展方向。这些见解都是基于当前FSL发展的不足之处,并有可能在未来进行探索。我们希望这部分能够提供一些见解,为解决FSL问题做出贡献,为真正的AI而努力。

  • 与已有的关于小样本概念学习和经验学习的FSL相关调相比,我们给出了什么是FSL,为什么FSL很难,以及FSL如何将小样本监督信息与先验知识结合起来使学习成为可能的正式定义。我们进行了广泛的文献审查的基础上提出的分类法与详细讨论的利弊,总结和见解。我们还讨论了FSL与半监督学习、不平衡学习、迁移学习和元学习等相关话题之间的联系和区别

成为VIP会员查看完整内容
0
155

元学习已被提出作为一个框架来解决具有挑战性的小样本学习设置。关键的思想是利用大量相似的小样本任务,以学习如何使基学习者适应只有少数标记的样本可用的新任务。由于深度神经网络(DNNs)倾向于只使用少数样本进行过度拟合,元学习通常使用浅层神经网络(SNNs),因此限制了其有效性。本文提出了一种新的学习方法——元转移学习(MTL)。具体来说,“meta”是指训练多个任务,“transfer”是通过学习每个任务的DNN权值的缩放和变换函数来实现的。此外,我们还介绍了作为一种有效的MTL学习课程的困难任务元批处理方案。我们使用(5类,1次)和(5类,5次)识别任务,在两个具有挑战性的小样本学习基准上进行实验:miniImageNet和Fewshot-CIFAR100。通过与相关文献的大量比较,验证了本文提出的HT元批处理方案训练的元转移学习方法具有良好的学习效果。消融研究还表明,这两种成分有助于快速收敛和高精度。

地址:

https://arxiv.org/abs/1812.02391

代码:

https://github.com/yaoyao-liu/meta-transfer-learning

成为VIP会员查看完整内容
0
116

【导读】知识图谱一直是学术界和工业界关注的热点。随着AAAI2020的到来,专知小编整理了最新10篇关于知识图谱的论文,来自清华大学、中科大、北航、中山大学、UCL、Facebook、腾讯、阿里巴巴等,包含义原知识图谱、知识迁移、知识图谱层次表示、常识知识图谱补全。

1、Towards Building a Multilingual Sememe Knowledge Base: Predicting Sememes for BabelNet Synsets(建立多语言义原知识库:预测BabelNet Synsets的义原)

AAAI2020 oral ,清华大学

作者:Fanchao Qi, Liang Chang, Maosong Sun, Sicong Ouyang, Zhiyuan Liu

摘要:义原是人类语言中最小的语义单位。义原知识库(KBs)包含了由义原标注的词,已成功地应用于许多自然语言处理任务中。然而,现有的义原KBs仅建立在少数几种语言上,这阻碍了它们的广泛应用。为了解决这个问题,我们提出基于BabelNet(一种多语言百科词典)为多种语言构建统一的义原知识库。我们首先构建一个作为多语言义原知识库种子的数据集。它为超过15000个synset (BabelNet的条目)手工注释义位。然后,我们提出了一种新的自动预测synsets义位的任务,目的是将种子数据集扩展成一个可用的知识库。我们还提出了两个简单有效的模型,利用了不同的synsets信息。最后,我们进行了定量和定性分析,以探索任务中的重要因素和困难。所有的源代码和数据,这项工作可以获得 https://github.com/thunlp/BabelNet-Sememe-Prediction

论文地址: https://www.zhuanzhi.ai/paper/a9486b11f2d44f239cd36c209b312946

2、Knowledge Graph Transfer Network for Few-Shot Recognition(知识图谱迁移网络小样本识别)

AAAI2020 oral ,中山大学,暗物质

作者:Riquan Chen, Tianshui Chen, Xiaolu Hui, Hefeng Wu, Guanbin Li, Liang Lin

摘要:小样本学习的目标是在给定一些基类有充足训练样本的情况下,从非常少的样本中学习新的类别。这个任务的主要挑战是新类很容易由颜色、质地、形状的物体或背景上下文(即特异性),这特别是对于训练样本少且不常见的相应的类别非常突出(见图1)。幸运的是,我们发现迁移信息的相关类别可以帮助学习新概念,从而避免新概念主导的特异性。此外,结合不同类别之间的语义关联可以有效地规范这种信息传递。在本文中,我们将语义关联以结构化的知识图谱的形式表示出来,并将此图集成到深度神经网络中,通过一种新的知识图谱传输网络(KGTN)来促进小样本学习。具体地,通过使用对应类别的分类器权值初始化每个节点,学习一种传播机制,通过图来自适应地传播节点消息,探索节点间的交互,将基类的分类器信息传递给新类别的分类器信息。在ImageNet数据集上的大量实验表明,与当前领先的对比方法相比,性能有了显著的改进。此外,我们还构建了一个覆盖更大范围类别的ImageNet-6K数据集。在这个数据集上的实验进一步证明了我们提出的模型的有效性。

论文地址: https://www.zhuanzhi.ai/paper/391fa8f7db194b700d66a14a75b714bd

3、Reasoning on Knowledge Graphs with Debate Dynamics(基于辩论动力学的知识图谱推理)

AAAI2020 ,Siemens Corporate Technology

作者:Marcel Hildebrandt, Jorge Andres Quintero Serna, Yunpu Ma, Martin Ringsquandl, Mitchell Joblin, Volker Tresp

摘要: 我们提出了一种基于辩论动力学的知识图谱自动推理方法。其主要思想是将三元组分类任务框定为两个抽取论点(知识图谱中的路径)的强化学习代理之间的辩论游戏,目标分别是促进事实为真(正题)或事实为假(反题)。基于这些论据,一个叫做“法官”的二元分类器决定事实是对还是错。这两个代理可以被看作是稀疏的、对抗性的特征生成器,它们为正题或反题提供了可解释的证据。与其他黑盒方法相比,这些参数允许用户了解法官的决定。由于这项工作的重点是创建一个可解释的方法,以保持一个有竞争力的预测精度,我们基准的三重分类和链接预测任务我们的方法。因此,我们发现我们的方法优于基准数据集FB15k-237、WN18RR和Hetionet上的几个基线。我们也进行了一个调查,发现提取的参数对用户是有益的。

论文地址: https://www.zhuanzhi.ai/paper/81aa00f925a022ed59d97dcce89c11d6

4、Differentiable Reasoning on Large Knowledge Bases and Natural Language(大规模知识库与自然语言上的可微分推理)

AAAI2020 ,UCL Centre for Artificial Intelligence, University College London,Facebook AI Research

作者:Pasquale Minervini, Matko Bošnjak, Tim Rocktäschel, Sebastian Riedel, Edward Grefenstette

摘要:用自然语言和知识库(KBs)表达的知识进行推理是人工智能面临的主要挑战,在机器阅读、对话和问题回答等方面都有应用。联合学习文本表示和转换的一些神经体系结构非常缺乏数据效率,很难分析它们的推理过程。这些问题由端到端的可微推理系统(如神经定理证明程序(NTPs))来解决,尽管它们只能用于小型符号KBs。在本文中,我们首先提出贪心NTPs (GNTPs),这是NTPs的扩展,解决了它们的复杂性和可伸缩性限制,从而使它们适用于真实世界的数据集。该结果是通过动态构建NTPs的计算图来实现的,并且只包含推理过程中最有希望的证明路径,从而获得更有效的模型。然后,我们提出了一种新的方法,通过在一个共享的嵌入空间中嵌入逻辑事实和自然语言句子来联合推理KBs和篇章提及。我们发现,GNTPs的性能与NTPs相当,但成本仅为NTPs的一小部分,同时在大型数据集上获得了具有竞争力的链接预测结果,为预测提供了解释,并引入了可解释的模型。源代码,数据集,和补充材料可在网上https://github.com/uclnlp/gntp

论文地址: https://www.zhuanzhi.ai/paper/5c5ba7a95bb0678315804cffdac41599

5、Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering(通过知识库问题回答来改进知识感知对话的生成)

AAAI2020 ,华南理工,腾讯

作者:Jian Wang, Junhao Liu, Wei Bi, Xiaojiang Liu, Kejing He, Ruifeng Xu, Min Yang

摘要:神经网络模型常常面临将常识引入开放域对话系统的挑战。本文提出了一种新的知识感知对话生成模型(TransDG),该模型将基于知识库问答(KBQA)任务的问题表示和知识匹配能力进行转换,以促进话语理解和对话生成的事实知识选择。此外,我们提出了一种响应引导注意和多步骤解码策略,以指导我们的模型将重点放在用于响应生成的相关特征上。在两个基准数据集上的实验表明,该模型在生成信息丰富、流畅的对话方面具有较强的优越性。我们的代码在 https://github.com/siat-nlp/TransDG.

论文地址https://www.zhuanzhi.ai/paper/9a1e55686d9b78f5c2569a607fa504b2

6、Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction(用于链接预测的学习层次感知知识图嵌入)

AAAI2020 ,中科大

作者:Zhanqiu Zhang, Jianyu Cai, Yongdong Zhang, Jie Wang

摘要:知识图谱嵌入的目的是将实体和关系表示为低维向量(或矩阵、张量等),已经被证明是一种预测知识图谱中缺失链接的强大技术。现有的知识图谱嵌入模型主要侧重于对称/反对称、反转、复合等关系模式的建模。然而,许多现有的方法无法对语义层次结构建模,而这在实际应用程序中是很常见的。为了解决这一问题,我们提出了一种新的知识图谱嵌入模型——层次感知知识图谱嵌入(HAKE),它将实体映射到极坐标系统中。HAKE的灵感来自于这样一个事实,即在极坐标系统中的同心圆可以自然地反映层次结构。具体来说,径向坐标的目标是在层次结构的不同层次上对实体进行建模,半径较小的实体被期望在更高的层次上;角坐标的目的是区分层次结构中同一层次上的实体,这些实体的半径大致相同,但角度不同。实验表明,HAKE可以有效地对知识图谱中的语义层次进行建模,并在链接预测任务的基准数据集上显著优于现有的最先进的方法。

.

论文地址: https://www.zhuanzhi.ai/paper/1369a6bd83e18cd1e6eeb97d883bb652

7、Knowledge Graph Alignment Network with Gated Multi-hop Neighborhood Aggregation(用具有门控多跳邻居聚合的知识图谱对齐网络)

AAAI2020 ,南京大学,阿里巴巴

作者:Zequn Sun, Chengming Wang, Wei Hu, Muhao Chen, Jian Dai, Wei Zhang, Yuzhong Qu

摘要:图神经网络由于具有识别同构子图的能力,已经成为一种强大的基于嵌入的实体对齐范式。然而,在实知识图(KGs)中,对应实体通常具有非同构的邻域结构,这很容易导致gnn产生不同的表示。为了解决这一问题,我们提出了一种新的KG对齐网络,即AliNet,旨在以端到端方式缓解邻域结构的非同构性。由于模式异构性,对等实体的直接邻居通常是不相似的,AliNet引入了远程邻居来扩展它们的邻居结构之间的重叠。它采用了一种注意机制,以突出有益的遥远的邻居和减少噪音。然后,利用门控机制控制直接和远处邻居信息的聚合。我们进一步提出了一个关系损失来细化实体表示。我们进行了深入的实验,详细的烧蚀研究和分析的五个实体对齐数据集,证明了AliNet的有效性。

.

论文地址: https://www.zhuanzhi.ai/paper/bc1ac5e992eb35a3f3a5f7fffee3368a

8、Rule-Guided Compositional Representation Learning on Knowledge Graphs(规则指导的知识图谱组合式表示学习)

AAAI2020 ,北航

作者:Guanglin Niu, Yongfei Zhang, Bo Li, Peng Cui, Si Liu, Jingyang Li, Xiaowei Zhang

摘要:知识图谱的表示学习是将知识图中的实体和关系嵌入到低维连续向量空间中。早期的KG嵌入方法只关注三元组编码的结构化信息,由于KGs的结构稀疏性,导致其性能有限。最近的一些尝试考虑路径信息来扩展KGs的结构,但在获取路径表示的过程中缺乏可解释性。本文提出了一种新的基于规则和路径的联合嵌入(RPJE)方案,该方案充分利用了逻辑规则的可解释性和准确性、KG嵌入的泛化性以及路径的补充语义结构。具体来说,首先从KG中挖掘出不同长度(规则体中的关系数)的Horn子句形式的逻辑规则,并对其进行编码,用于表示学习。然后,利用长度2的规则来精确地组合路径,而使用长度1的规则来明确地创建关系之间的语义关联和约束关系嵌入。优化时还考虑了规则的置信度,保证了规则在表示学习中的可用性。大量的实验结果表明,RPJE在KG完成任务上的表现优于其他最先进的基线,这也证明了利用逻辑规则和路径来提高表示学习的准确性和可解释性的优越性。

.

论文地址https://www.zhuanzhi.ai/paper/bc1ac5e992eb35a3f3a5f7fffee3368a

9、InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions(规InteractE:通过增加特征交互来改进基于卷积的知识图谱嵌入)

AAAI2020 ,Indian Institute of Science, Columbia University

作者:Shikhar Vashishth, Soumya Sanyal, Vikram Nitin, Nilesh Agrawal, Partha Talukdar

摘要:现有的知识图谱大多存在不完备性,可以通过基于已知事实推断缺失的链接来缓解不完备性。一种流行的方法是生成实体和关系的低维嵌入,并使用它们进行推论。ConvE是最近提出的一种方法,它将卷积滤波器应用于实体和关系嵌入的二维重塑,以捕获其组件之间丰富的交互。然而,ConvE能够捕获的交互的数量是有限的。在这篇论文中,我们分析了增加这些相互作用的数量如何影响链路预测性能,并利用我们的观测结果提出了相互作用。InteractE基于三个关键思想:特征置换、新颖的特征重塑和循环卷积。通过大量的实验,我们发现InteractE在FB15k-237上的性能优于最先进的卷积链路预测基线。此外,InteractE在FB15k-237、WN18RR和YAGO3-10数据集上的MRR评分分别比ConvE高9%、7.5%和23%。结果验证了我们的中心假设——增加特征交互有助于链接预测性能。我们提供InteractE的源代码,以鼓励可重复的研究。http://github.com/malllabiisc/ InteractE.

.

论文地址: https://www.zhuanzhi.ai/paper/5bbb1f49b1b4b26b6d1de5c7dce3a953

10、Commonsense Knowledge Base Completion with Structural and Semantic Context(具有结构和语义上下文的常识知识库的完成)

AAAI2020 ,Allen Institute for Artificial Intelligence 华盛顿大学

作者:Chaitanya Malaviya, Chandra Bhagavatula, Antoine Bosselut, Yejin Choi

摘要:与经过大量研究的传统知识库(如Freebase)相比,对常识知识图谱(如原子图和概念图)的自动知识库补全带来了独特的挑战。常识知识图谱使用自由格式的文本来表示节点,这使得节点的数量比传统KBs多了几个数量级(ATOMIC比Freebase多18倍(FB15K-237))。重要的是,这意味着图数据结构将显著稀疏化——这是现有KB补全方法面临的主要挑战,因为这些方法在相对较小的节点集上采用密集连接的图数据。在本文中,我们提出了新的知识库完成模型,该模型可以通过利用节点的结构和语义上下文来解决这些挑战。具体来说,我们研究了两个关键的思想: (1) 从局部图结构学习,使用图卷积网络和自动图加密,(2) 从预先训练的语言模型学习到知识图谱,以增强知识的上下文表示。我们描述了将来自这两个来源的信息合并到一个联合模型中的方法,并提供了原子知识库完成和使用ConceptNet上的排名指标进行评估的第一个经验结果。我们的结果证明了语言模型表示在提高链接预测性能方面的有效性,以及在训练子图以提高计算效率时从局部图结构(对ConceptNet的MRR +1.5分)学习的优势。对模型预测的进一步分析揭示了语言模型能够很好地捕捉到的常识类型。

.

论文地址: https://www.zhuanzhi.ai/paper/535d810640d4b84fb46f3fd7e678f423

成为VIP会员查看完整内容
0
113

​【导读】NeurIPS 是全球最受瞩目的AI、机器学习顶级学术会议之一,每年全球的人工智能爱好者和科学家都会在这里聚集,发布最新研究。NIPS 2019大会已经在12月8日-14日在加拿大温哥华举行。这次专知小编发现零样本学习(Zero-Shot Learning, ZSL)在今年的NeurIPS出现了好多篇,也突出其近期的火热程度, 为此,专知小编整理了NIPS 2019零样本学习(Zero-Shot Learning)相关的论文供大家学习收藏—零样本知识迁移、Transductive ZSL、多注意力定位、ZSL语义分割、对偶对抗语义一致网络。

  1. Zero-shot Knowledge Transfer via Adversarial Belief Matching

作者:Paul Micaelli and Amos Storkey

摘要:在现代深度学习应用中,将知识从一个大的teacher network迁移到一个小的student network中是一个很受欢迎的任务。然而,由于数据集的规模越来越大,隐私法规也越来越严格,越来越多的人无法访问用于训练teacher network的数据。我们提出一种新方法,训练student network在不使用任何数据或元数据的情况下,与teacher network的预测相匹配。我们通过训练一个对抗生成器来搜索student与teacher匹配不佳的图片,然后使用它们来训练student,从而达到这个目的。我们得到的student在SVHN这样的简单数据集上与teacher非常接近,而在CIFAR10上,尽管没有使用数据,我们在few-shot distillation (100 images per class)的技术水平上进行了改进。最后,我们还提出了一种度量标准,来量化teacher与student在决策边界附近的信念匹配程度,并观察到我们的zero-shot student与teacher之间的匹配程度显著高于用真实数据提取的student与teacher之间的匹配程度。我们的代码链接如下:

https://github.com/polo5/ZeroShotKnowledgeTransfer。

网址:

https://papers.nips.cc/paper/9151-zero-shot-knowledge-transfer-via-adversarial-belief-matching 2. Transductive Zero-Shot Learning with Visual Structure Constraint

作者:Ziyu Wan, Dongdong Chen, Yan Li, Xingguang Yan, Junge Zhang, Yizhou Yu and Jing Liao

摘要:为了识别未知类的目标,现有的零样本学习(Zero-Shot Learning, ZSL)方法大多是先根据源可见类的数据,在公共语义空间和视觉空间之间学习一个相容的投影函数,然后直接应用于目标未知类。然而,在实际场景中,源域和目标域之间的数据分布可能不匹配,从而导致众所周知的domain shift问题。基于观察到的测试实例的视觉特征可以被分割成不同的簇,我们针对转导ZSL的类中心提出了一种新的视觉结构约束,以提高投影函数的通用性(即缓解上述域移位问题)。具体来说,采用了三种不同的策略 (symmetric Chamfer-distance, Bipartite matching distance, 和Wasserstein distance) 来对齐测试实例的投影不可见的语义中心和可视集群中心。我们还提出了一种新的训练策略,以处理测试数据集中存在大量不相关图像的实际情况,这在以前的方法中是没有考虑到的。在许多广泛使用的数据集上进行的实验表明,我们所提出的视觉结构约束能够持续地带来可观的性能增益,并取得最先进的结果。我们源代码在:https://github.com/raywzy/VSC。

网址:

https://papers.nips.cc/paper/9188-transductive-zero-shot-learning-with-visual-structure-constraint

  1. Semantic-Guided Multi-Attention Localization for Zero-Shot Learning

作者:Yizhe Zhu, Jianwen Xie, Zhiqiang Tang, Xi Peng and Ahmed Elgammal

摘要:零样本学习(Zero-shot learning)通过引入类的语义表示,将传统的目标分类扩展到不可见的类识别。现有的方法主要侧重于学习视觉语义嵌入的映射函数,而忽视了学习discriminative视觉特征的效果。本文研究了discriminative region localization的意义。提出了一种基于语义引导的多注意力定位模型,该模型能自动发现目标中最discriminative的部分,实现零样本学习,不需要人工标注。我们的模型从整个目标和被检测部分共同学习协作的全局和局部特征,根据语义描述对对象进行分类。此外,在嵌入softmax loss和class-center triplet loss的联合监督下,鼓励模型学习具有高类间离散性和类内紧凑性的特征。通过对三种广泛使用的零样本学习基准的综合实验,我们证明了multi-attention localization的有效性,我们提出的方法在很大程度上改进了最先进的结果。

网址:

https://papers.nips.cc/paper/9632-semantic-guided-multi-attention-localization-for-zero-shot-learning

  1. Zero-shot Learning via Simultaneous Generating and Learning

作者:Hyeonwoo Yu and Beomhee Lee

摘要:为了克服不可见类训练数据的不足,传统的零样本学习方法主要在可见数据点上训练模型,并利用可见类和不可见类的语义描述。在探索类与类之间关系的基础上,我们提出了一个深度生成模型,为模型提供了可见类与不可见类的经验。该方法基于类特定多模态先验的变分自编码器,学习可见类和不可见类的条件分布。为了避免使用不可见类的示例,我们将不存在的数据视为缺失的示例。也就是说,我们的网络目标是通过迭代地遵循生成和学习策略来寻找最优的不可见数据点和模型参数。由于我们得到了可见类和不可见类的条件生成模型,因此无需任何现成的分类器就可以直接进行分类和生成。在实验结果中,我们证明了所提出的生成和学习策略使模型取得了优于仅在可见类上训练的结果,也优于几种最先进的方法。

网址:

https://papers.nips.cc/paper/8300-zero-shot-learning-via-simultaneous-generating-and-learning

  1. Zero-Shot Semantic Segmentation

作者:Maxime Bucher, Tuan-Hung VU, Matthieu Cord and Patrick Pérez

摘要:语义分割模型在扩展到大量对象类别的能力上受到限制。在本文中,我们介绍了零样本语义分割的新任务:用零训练实例学习从未见过的对象类别的像素级分类器。为此,我们提出了一个新的架构,ZS3Net,结合了一个深度的视觉分割模型和一种从语义词嵌入生成视觉表示的方法。通过这种方式,ZS3Net解决了在测试时可见和不可见的类别都面临的像素分类任务(所谓的“generalized” zero-shot 分类)。通过依赖于不可见类的像素的自动伪标记的自训练步骤,可以进一步提高性能。在两个标准的细分数据集,Pascal-VOC和Pascal-Context,我们提出了zero-shot基准和设置竞争的baseline。对于Pascal-Context数据集中的复杂场景,我们通过使用图形-上下文编码来扩展我们的方法,以充分利用来自类分割图的空间上下文先验。

网址:

https://papers.nips.cc/paper/8338-zero-shot-semantic-segmentation

  1. Dual Adversarial Semantics-Consistent Network for Generalized Zero-Shot Learning

作者:Jian Ni, Shanghang Zhang and Haiyong Xie

摘要:广义零样本学习(Generalized zero-shot learning,GZSL)是一类具有挑战性的视觉和知识迁移问题,在测试过程中,既有看得见的类,也有看不见的类。现有的GZSL方法要么在嵌入阶段遭遇语义丢失,抛弃有区别的信息,要么不能保证视觉语义交互。为了解决这些局限性,我们提出了一个Dual Adversarial Semantics-Consistent Network (简称DASCN),它在一个统一的GZSL框架中学习原始的和对偶的生成的对抗网络(GANs)。在DASCN中,原始的GAN学习综合类间的区别和语义——从可见/不可见类的语义表示和对偶GAN重构的语义表示中保留视觉特征。对偶GAN通过语义一致的对抗性学习,使合成的视觉特征能够很好地表示先验语义知识。据我们所知,这是针对GZSL采用新颖的Dual-GAN机制的第一个工作。大量的实验表明,我们的方法比最先进的方法取得了显著的改进。

网址:

https://papers.nips.cc/paper/8846-dual-adversarial-semantics-consistent-network-for-generalized-zero-shot-learning

成为VIP会员查看完整内容
0
50

论文题目

FEW SHOT LINK PREDICTION VIA META LEARNING

论文摘要

我们考虑了样本链接预测的任务,其目标是仅使用一个小样本的已知边来预测多个图中的未命中边。但是,目前的链路预测方法通常不适合处理这项任务,因为它们无法在多图环境中有效地在图之间传递知识,也无法有效地从非常稀疏的数据中学习。为了应对这一挑战,我们引入了一个新的基于梯度的元学习框架meta Graph,它利用高阶梯度和一个学习的Graph sig nature函数来有条件地生成一个Graph神经网络初始化,我们证明,元图形不仅可以快速适应,而且可以更好地最终收敛,并且仅使用一小部分真实边缘样本就可以有效地学习。

论文作者

Avishek Joey Bose*来自麦吉尔大学。

成为VIP会员查看完整内容
0
41
小贴士
相关论文
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Jianhong Zhang,Manli Zhang,Zhiwu Lu,Tao Xiang,Jirong Wen
56+阅读 · 2020年2月28日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
325+阅读 · 2019年4月10日
Confidence-based Graph Convolutional Networks for Semi-Supervised Learning
Shikhar Vashishth,Prateek Yadav,Manik Bhandari,Partha Talukdar
4+阅读 · 2019年2月12日
Yanbin Liu,Juho Lee,Minseop Park,Saehoon Kim,Eunho Yang,Sungju Hwang,Yi Yang
19+阅读 · 2018年12月25日
Learning Embedding Adaptation for Few-Shot Learning
Han-Jia Ye,Hexiang Hu,De-Chuan Zhan,Fei Sha
9+阅读 · 2018年12月10日
Meta-Transfer Learning for Few-Shot Learning
Qianru Sun,Yaoyao Liu,Tat-Seng Chua,Bernt Schiele
6+阅读 · 2018年12月6日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
9+阅读 · 2018年7月8日
Luke Metz,Niru Maheswaranathan,Brian Cheung,Jascha Sohl-Dickstein
6+阅读 · 2018年5月23日
Andrew K. Lampinen,James L. McClelland
5+阅读 · 2017年10月27日
Yannis Papanikolaou,Grigorios Tsoumakas
3+阅读 · 2017年9月16日
Top