【KDD20】TAdaNet: 用于图增强元学习的任务自适应网络

论文专栏： KDD 2020 元学习相关论文分享

论文解读者： 北邮 GAMMA Lab 硕士生 王春辰

题目： TAdaNet: Task-Adaptive Network for Graph-Enriched Meta-Learning

会议： KDD 2020

论文地址： https://dl.acm.org/doi/pdf/10.1145/3394486.3403230

推荐理由： 标准的元学习过程是共享全局的经验进行参数调整。具有全局共享知识的标准元学习不能很好地处理任务的异构性问题，即任务位于不同的分布。本文提出了一种可以融合领域知识的框架，并提供对于特定任务的参数定制。相比于标准元学习过程，该方法可以更好的使的参数适应于一种特定的任务。

1 引言

现实应用程序中带注释的数据样本通常是有限的。元学习利用从相关任务中学习到的先验知识，并将其推广到有监督经验有限的新任务中，是一种有效的少发式学习方法。然而，具有全局共享知识的标准元学习不能很好地处理任务的异构性问题，即任务位于不同的分布。而KDD2020上的这篇文章利用领域知识图来丰富数据表示，并提供特定于任务的定制。

2 动机与贡献

本文着眼于将领域图中的信息引入到元学习当中来，提出了一个任务自适应的元学习框架TAdaNet，该框架允许跨领域知识图的节点传递消息，并促进针对不同任务的元知识定制。该模型通过在记忆网络中组织历史任务中的任务知识来学习任务嵌入，并根据任务嵌入的条件产生任务感知参数调整来定制学习器参数。每项任务的学习者为分类任务的每个类生成一个原型。具体地说，该框架利用给定图上的类关系，通过注意力机制组合邻域信息来学习原型。数据表示可以通过聚合来自其邻居的信息来丰富，并且任务关系由图上链接类的路径来捕获。

3 模型

3.1 基于图的原型学习

一种原型可以看做一个类别的代表，我们通过计算embedding在同一种类别中的平均向量来得到某一种类别的初始原型。

其中 是任务 中训练集的第 个类， 是集合当中样本的数量

之后利用层次图来排列相关的类，以便更好的学习类原型。在层次图中，目标few-short类作为叶子节点，而来自祖先的粗略节点指示两个目标类之间的距离。为了结合来自层次图中的类相关性信息，本文在第 次迭代中为叶中的每个目标类更新原型，使用其祖先在最后一次迭代中的嵌入如下：

其中 是注意分数，用于衡量父类与子类之间的相似程度。最后我们在任务 中更新原型：

其中 是来衡量两部分权重的参数。

3.2 任务表征学习

为了提高模型的表现力，本文引入了参数定制，使特征提取器的行为具有任务自适应性。特定于任务的参数以任务表示形式为条件。学习任务表征应该考虑以下属性：不同任务之间有足够的区别，相关任务之间有足够的相似性，对特定任务中样本的数量和顺序不敏感。

我们得到了任务表示：

任务表示 是通过将嵌入在任务中的示例与平均汇集操作聚合而获得的.

本文利用从历史任务中获得的底层知识来增强任务表示，以便更好地刻画任务关系。为了从历史学习过程中提取知识。即计算当前任务表示与历史任务表示之间的相似度，进行特定任务的定制。

最终得到当前任务表示与通过历史学习过程中学习到的知识的任务的表示的拼接，用来作为当前任务的最终表示：

3.3 特定于任务的预测

本文提出了一个门函数，允许相似的任务由相似的元参数初始化，然后使定制的参数适应新的任务：

3.4 算法

4 实验

本实验在两个医疗领域的数据集上进行了测试：

为了评估模型的泛化性能，采用随机抽样和子图抽样两种抽样策略生成任务。在随机采样中，从整个图的叶节点中随机选择少镜头类。在子图采样中，我们将图分成多个子图而不重叠目标类，每个任务都是从一个子图中的节点采样的。在此设置中，任务是异构构建的，从同一子图采样的任务可以认为彼此更相似，而来自不同子图的任务则被认为是不相似的。子图采样对应于需要从相同类别(例如，神经退行性疾病)中区分细粒度类别(例如，帕金森氏病、阿尔茨海默病和亨廷顿病)的应用场景。

5 总结

本文提出了一种任务自适应的基于度量的元学习框架TAdaNet，以便于元学习处理复杂分布中的采样任务。在该问题中，给出了一个以叶节点为目标类的少镜头学习层次图。图中的粗节点提供有助于处理数据不足的额外信息。此外，图上与任务相关的路径有助于识别任务关系。该方法以两种方式利用图结构：通过在图上聚合来自其祖先原型的信息来提炼每个类的原型；通过规则化任务表示来触发对模型参数的特定于任务的定制。在实验中，我们将所提出的方法与复杂任务分布环境下的各种最新方法进行了比较。实验结果表明，TAdaNet能够有效地利用图丰富的信息学习更准确的类原型，识别任务关系以适应特定任务的度量进行分类。我们还将所提出的方法应用于一个真实世界的问题，即疾病预测。我们利用组织良好的疾病本体为TAdaNet提供图形信息。对两个完全不同的应用进行了实验分析，证明了该方法的通用性。

本期责任编辑：杨成

本期编辑：刘佳玮

下载一：中文版！学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套！
后台回复【五件套】

下载二：南大模式识别PPT
后台回复【南大模式识别】

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

推荐两个专辑给大家：

专辑 | 李宏毅人类语言处理2020笔记

专辑 | NLP论文解读

专辑 | 情感分析

整理不易，还望给个在看！