如何持续深度学习？看这份《DNN2GP: 从深度神经网络到高斯过程》45页ppt和论文提供新思路

【导读】终身学习是机器学习中的热门研究话题之一。如何实现持续学习？来自东京RIKEN研究中心的Emtiyaz Khan给了关于从深度神经网络到高斯过程的教程《DNN2GP: From Deep Networks to Gaussian Processes》，共有45页ppt，以及撰写了最新的论文，通过提出一种新的函数正则化方法来解决这个问题，该方法利用了一些过去的难忘样例，这些样例对于避免遗忘至关重要。通过使用深度网络的高斯过程公式，能够在权重空间中进行训练，同时识别难忘的过去样例和功能性样例。非常具有启发性，值得查看！

** 持续深度学习**

不断学习新技能对智能系统来说很重要，但大多数深度学习方法都存在严重的遗忘问题。最近的研究用权重调整来解决这个问题。函数正则化虽然在计算上很昂贵，但人们期望它能表现得更好，但在实践中却很少这样做。在本文中，我们通过提出一种新的函数正则化方法来解决这个问题，该方法利用了一些过去的难忘的例子，这些例子对于避免遗忘至关重要。通过使用深度网络的高斯过程公式，我们的方法能够在权重空间中进行训练，同时识别难忘的过去样例和功能性样例。我们的方法在标准基准上实现了最先进的性能，并为终身学习开辟了一个新的方向，使正则化和基于记忆的方法自然地结合在一起。

DNN2GP: 从深度神经网络到高斯过程