如何持续深度学习？看这份《DNN2GP: 从深度神经网络到高斯过程》45页ppt和论文提供新思路

【导读】终身学习是机器学习中的热门研究话题之一。如何实现持续学习？来自东京RIKEN研究中心的Emtiyaz Khan给了关于从深度神经网络到高斯过程的教程《DNN2GP: From Deep Networks to Gaussian Processes》，共有45页ppt，以及撰写了最新的论文，通过提出一种新的函数正则化方法来解决这个问题，该方法利用了一些过去的难忘样例，这些样例对于避免遗忘至关重要。通过使用深度网络的高斯过程公式，能够在权重空间中进行训练，同时识别难忘的过去样例和功能性样例。非常具有启发性，值得查看！

持续深度学习

不断学习新技能对智能系统来说很重要，但大多数深度学习方法都存在严重的遗忘问题。最近的研究用权重调整来解决这个问题。函数正则化虽然在计算上很昂贵，但人们期望它能表现得更好，但在实践中却很少这样做。在本文中，我们通过提出一种新的函数正则化方法来解决这个问题，该方法利用了一些过去的难忘的例子，这些例子对于避免遗忘至关重要。通过使用深度网络的高斯过程公式，我们的方法能够在权重空间中进行训练，同时识别难忘的过去样例和功能性样例。我们的方法在标准基准上实现了最先进的性能，并为终身学习开辟了一个新的方向，使正则化和基于记忆的方法自然地结合在一起。

https://arxiv.org/abs/2004.14070

DNN2GP: 从深度神经网络到高斯过程

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“DNN2GP” 可以获取《DNN2GP: 从深度神经网络到高斯过程》45页ppt》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源