个人主页:https://cims.nyu.edu/~andrewgw/
贝叶斯方法的关键区别属性是间隔化,而不是使用单一的权重设置。贝叶斯间隔化尤其可以提高现代深度神经网络的准确性和标度,这些数据通常不充分指定,并可以代表许多引人注目但不同的解决方案。研究表明,深层的综合系统提供了一种有效的近似贝叶斯间隔化机制,并提出了一种相关的方法,在没有显著开销的情况下,通过在吸引 basins 内间隔化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数,从概率的角度解释了这些模型的泛化特性。从这个角度出发,我们解释了一些神秘而又不同于神经网络泛化的结果,比如用随机标签拟合图像的能力,并表明这些结果可以用高斯过程重新得到。我们还表明贝叶斯平均模型减轻了双下降,从而提高了灵活性,提高了单调性能。最后,我们提供了一个贝叶斯角度的调温校正预测分布。
视频地址:https://www.youtube.com/watch?v=E1qhGw8QxqY
视频:
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“BAYESDL2020” 可以获取《(ICML 2020 Tutorial)贝叶斯深度学习与概率模型构建,134页ppt》专知下载链接索引