【ICML2020】持续终身学习的神经主题建模

最近，终身学习在构建不断积累和转移知识以帮助未来学习的机器学习系统方面引起了关注。无监督主题建模广泛用于从文档集合中发现主题。然而，由于数据稀疏性，例如，在一个小的(短)文档集合中，会产生不连贯的主题和次优的文档表示，主题建模的应用具有挑战性。为了解决这个问题，我们提出了一个神经主题建模的终身学习框架，它可以连续处理文档集流，积累主题，并通过从多个来源的知识转移来指导未来的主题建模任务，以更好地处理稀疏的数据。在终身学习过程中，我们特别共同研究:(1)终生共享生成同源性(潜在话题)以转移先验知识，(2)通过新颖的选择性数据增强、联合训练和话题正则化方法最小化保留过去学习的灾难性遗忘。在给定一个文档集合流的情况下，我们应用所提出的终身神经主题建模(LNTM)框架，将三个稀疏文档集合建模为未来任务，并通过perplexity、Topic coherence和information retrieval task量化，证明了性能的提高。

https://128.84.21.199/pdf/2006.10909

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“NTMCL” 可以获取《【ICML2020】持续终身学习的神经主题建模》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源