Methods proposed in the literature for zero-shot learning (ZSL) are typically suitable for offline learning and cannot continually learn from sequential streaming data. The sequential data comes in the form of tasks during training. Recently, a few attempts have been made to handle this issue and develop continual ZSL (CZSL) methods. However, these CZSL methods require clear task-boundary information between the tasks during training, which is not practically possible. This paper proposes a task-free (i.e., task-agnostic) CZSL method, which does not require any task information during continual learning. The proposed task-free CZSL method employs a variational autoencoder (VAE) for performing ZSL. To develop the CZSL method, we combine the concept of experience replay with knowledge distillation and regularization. Here, knowledge distillation is performed using the training sample's dark knowledge, which essentially helps overcome the catastrophic forgetting issue. Further, it is enabled for task-free learning using short-term memory. Finally, a classifier is trained on the synthetic features generated at the latent space of the VAE. Moreover, the experiments are conducted in a challenging and practical ZSL setup, i.e., generalized ZSL (GZSL). These experiments are conducted for two kinds of single-head continual learning settings: (i) mild setting-: task-boundary is known only during training but not during testing; (ii) strict setting-: task-boundary is not known at training, as well as testing. Experimental results on five benchmark datasets exhibit the validity of the approach for CZSL.


翻译:文献中推荐的零光学习方法( ZSL) 通常适合离线学习, 无法不断从连续流数据中学习。 连续数据以培训中的任务形式出现。 最近, 曾尝试过几次来处理这个问题, 并开发连续的 ZSL (CZSL) 方法。 然而, 这些 CZSL 方法需要在培训期间的任务之间提供明确的任务范围信息, 这实际上是不可能的。 本文建议了一种任务( 即任务- 不可知性) CZSL 方法, 它在持续学习期间不需要任何任务信息。 拟议的无任务 CZSL 方法在进行 ZSL 任务时使用变换自动计算器( VAE ) 。 要开发 CZSL 方法, 我们将经验重现的概念与知识蒸馏和规范结合起来。 这里, 知识蒸馏使用培训样品的暗知识, 基本上有助于克服灾难性的遗忘问题。 此外, 能够使用短期的记忆来进行任务性学习。 最后, 将一个分类器用于在 CSLVASL VSL 的隐藏空间中生成的合成功能, 5 。 在实际的实验中进行两次的实验中进行 。 。 这些实验中, 正在进行 正在进行 进行 。 这些实验 进行 进行 。 这些实验中进行 。 这些实验中进行 的 的 的 正在进行 。 这些实验进行 。 这些实验 。 这些实验 。 这些实验 。 这些实验进行 。 这些实验 。 这些实验 。

0
下载
关闭预览

相关内容

让 iOS 8 和 OS X Yosemite 无缝切换的一个新特性。 > Apple products have always been designed to work together beautifully. But now they may really surprise you. With iOS 8 and OS X Yosemite, you’ll be able to do more wonderful things than ever before.

Source: Apple - iOS 8
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
95+阅读 · 2020年5月31日
【强化学习资源集合】Awesome Reinforcement Learning
专知会员服务
93+阅读 · 2019年12月23日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
17+阅读 · 2021年2月15日
Deep Learning for Energy Markets
Arxiv
9+阅读 · 2019年4月10日
Arxiv
6+阅读 · 2018年12月10日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
17+阅读 · 2021年2月15日
Deep Learning for Energy Markets
Arxiv
9+阅读 · 2019年4月10日
Arxiv
6+阅读 · 2018年12月10日
Arxiv
11+阅读 · 2018年7月8日
Arxiv
8+阅读 · 2018年5月15日
Top
微信扫码咨询专知VIP会员