【ML热点】贝叶斯学习与深度学习如何结合？看这份《贝叶斯深度学习 Deep Learning with Bayesian Principles 》NeurIPS2019硬核教程

​【导读】NeurIPS 2019刚落下帷幕，大会发布了7篇最佳论文，一系列论文和tutorial，涉及很多热点比如图机器学习、元学习、核方法、软硬一体化等。不得不看！NeurIPS 2019三个关键研究热点趋势：贝叶斯、GNN、凸优化。来自东京RIKEN研究中心的Emtiyaz Khan给了关于以贝叶斯原理进行深度学习的教程《Deep Learning with Bayesian Principles》，共有86页ppt，以及撰写了最新的论文，讲述贝叶斯和深度学习如何结合到一起进行学习新算法，提出了一种基于贝叶斯原理的学习规则，它使我们能够连接各种各样的学习算法。利用这一规则，可以在概率图形模型、连续优化、深度学习、强化学习、在线学习和黑盒优化等领域得到广泛的学习算法。非常具有启发性，值得查看！

深度学习和贝叶斯学习被认为是两个完全不同的领域，通常用于互补的设置情景。显然，将这两个领域的思想结合起来是有益的，但鉴于它们的根本区别，我们如何才能做到这一点呢?

本教程将介绍现代贝叶斯原理来填补这一空白。利用这些原理，我们可以推出一系列学习算法作为特例，例如，从经典算法，如线性回归和前向后向算法，到现代深度学习算法，如SGD、RMSprop和Adam。然后，这个视图提供了新的方法来改进深度学习的各个方面，例如，不确定性、健壮性和解释。它也使设计新的方法来解决挑战性的问题，如那些出现在主动学习，持续学习，强化学习等。

总的来说，我们的目标是让贝叶斯和深度学习比以往任何时候都更接近，并激励它们一起工作，通过结合他们的优势来解决具有挑战性的现实问题。