(ICML 2020 Tutorial)贝叶斯深度学习与概率模型构建，134页ppt

Andrew Gordon Wilson，纽约大学Courant数学科学研究所和数据科学中心助理教授，曾担任AAAI 2018、AISTATS 2018、UAI 2018、NeurIPS 2018、AISTATS 2019、ICML 2019、UAI 2019、NeurIPS 2019、AAAI 2020、ICLR 2020的区域主席/SPC以及ICML 2019、2020年EXO主席。 个人主页：https://cims.nyu.edu/~andrewgw/

贝叶斯深度学习与概率模型构建

贝叶斯方法的关键区别属性是间隔化，而不是使用单一的权重设置。贝叶斯间隔化尤其可以提高现代深度神经网络的准确性和标度，这些数据通常不充分指定，并可以代表许多引人注目但不同的解决方案。研究表明，深层的综合系统提供了一种有效的近似贝叶斯间隔化机制，并提出了一种相关的方法，在没有显著开销的情况下，通过在吸引 basins 内间隔化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数，从概率的角度解释了这些模型的泛化特性。从这个角度出发，我们解释了一些神秘而又不同于神经网络泛化的结果，比如用随机标签拟合图像的能力，并表明这些结果可以用高斯过程重新得到。我们还表明贝叶斯平均模型减轻了双下降，从而提高了灵活性，提高了单调性能。最后，我们提供了一个贝叶斯角度的调温校正预测分布。

视频地址：https://www.youtube.com/watch?v=E1qhGw8QxqY