【ICML2021】学会用长序列记忆来排练

现有的推理任务通常有一个重要的假设，即在推理时总是可以访问输入内容，这需要无限的存储资源，并且在长序列上存在严重的时间延迟。为了在有限的存储资源下对长序列进行有效的推理，记忆增强神经网络引入了一种类似人类的写-读存储器，以一次压缩和记忆长输入序列，尝试只基于该存储器回答后续的查询。但它们有两个严重的缺点: 1)不断地根据当前的信息更新记忆，不可避免地忘记早期的内容; 2)他们不区分什么信息是重要的，平等对待所有内容。在本文中，我们提出了一种基于历史采样器的自监督复述来增强长序列记忆的复述记忆方法。为了缓解早期信息的逐渐遗忘，我们设计了回忆和熟悉任务的自监督预演训练。此外，我们设计了一个历史采样器来选择有信息的片段进行排练训练，使记忆集中在关键信息上。我们通过综合bAbI任务和几个下游任务(包括文本/视频问答和长序列推荐)来评估我们的排练记忆性能。

https://www.zhuanzhi.ai/paper/a9ef9bbbf67e6d52ee9fd6a085a6071e