Natural language is compositional; the meaning of a sentence is a function of the meaning of its parts. This property allows humans to create and interpret novel sentences, generalizing robustly outside their prior experience. Neural networks have been shown to struggle with this kind of generalization, in particular performing poorly on tasks designed to assess compositional generalization (i.e. where training and testing distributions differ in ways that would be trivial for a compositional strategy to resolve). Their poor performance on these tasks may in part be due to the nature of supervised learning which assumes training and testing data to be drawn from the same distribution. We implement a meta-learning augmented version of supervised learning whose objective directly optimizes for out-of-distribution generalization. We construct pairs of tasks for meta-learning by sub-sampling existing training data. Each pair of tasks is constructed to contain relevant examples, as determined by a similarity metric, in an effort to inhibit models from memorizing their input. Experimental results on the COGS and SCAN datasets show that our similarity-driven meta-learning can improve generalization performance.


翻译:自然语言是构成性的; 句子的含义是其部分含义的函数。 这种属性使人类能够创造和解释新句子,在他们以前的经验之外大力推广。 神经网络已经证明与这种概括性斗争,特别是在为评估构成性而设计的任务方面表现不佳(即培训和测试分布方式不同,对于解决构成性战略来说微不足道); 它们在这些任务上的不良表现可能部分是由于监督性学习的性质,这种学习假定了从同一分布中获取培训和测试数据。 我们实施了一种强化的监督性学习模式,其目标直接优化于分配外的概括化。 我们通过对现有培训数据进行分抽样,为元化学习搭建了对齐的任务。 每对任务的设计都包含由类似指标确定的有关实例,以努力抑制模型的记忆性投入。 COGS和SCAN数据集的实验结果表明,我们类似驱动的元化学习可以改进一般化业绩。

0
下载
关闭预览

相关内容

强化学习最新教程,17页pdf
专知会员服务
176+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
202+阅读 · 2019年9月30日
已删除
将门创投
7+阅读 · 2020年3月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Arxiv
13+阅读 · 2019年1月26日
FIGR: Few-shot Image Generation with Reptile
Arxiv
5+阅读 · 2019年1月8日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
7+阅读 · 2018年6月8日
VIP会员
相关资讯
已删除
将门创投
7+阅读 · 2020年3月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
相关论文
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Arxiv
13+阅读 · 2019年1月26日
FIGR: Few-shot Image Generation with Reptile
Arxiv
5+阅读 · 2019年1月8日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
7+阅读 · 2018年6月8日
Top
微信扫码咨询专知VIP会员