【牛津大学|DeepMind】论深度学习中的统计思维，附49页ppt- 专知

【牛津大学|DeepMind】论深度学习中的统计思维，附49页ppt

导读

DeepMind曾在机器学习顶会ICML2018上提出深度学习的新方向：神经过程模型（Neural Processese, NPs）。神经过程模型结合了神经网络和随机过程的优点，在多任务上实现了很好的性能和高计算效率。之后陆续发布了神经过程模型的新工作，探讨了使用神经网络学习逼近随机过程的方法，以及结合神经网络与高斯过程解决监督学习问题的端到端方法等。本文总结了相关方面的工作，讨论了深度学习中的统计思维。

作者 | Yee Whye Teh

编译 | Xiaowen

完整PPT下载：

请关注专知公众号（点击上方蓝色专知关注）

后台回复“DL统计思维” 即可获取牛津《On statistical thinking in Deep Learning》PPT下载链接

基于贝叶斯非参数动态主题模型的动态特征模型的泊松随机场分析:

统计与机器学习与人工智能的关系：

主要内容：

元学习随机过程 Meta-learning stochastic processes with neural processes

条件神经过程 Conditional neural processes. Garnelo et al. ICML 2018. arXiv:1807.01613
神经过程 Garnelo et al. ICML 2018 Workshop on Deep Generative Models. arXiv:1807.01622
细心的神经过程 Kim et al. ICLR 2019. arXiv:1901.05761
神经过程目标的经验评价 Empirical evaluation of neural process objectives. Le et al. NeurIPS 2018 Workshop on Bayesian Deep Learning.
序列决策的元学习代理模型 Meta-learning surrogate models for sequential decision making. Galashov et al. arXiv:1903.11907

概率对称与不变神经网络 Probabilistic symmetries and invariant neural networks. Bloem-Reddy and Teh. arXiv:1901.06082

Meta-Learning 的优化角度：

Meta-Learning 的概率角度：

神经过程：学习神经随机过程

用神经网络参数化和学习条件分布。

总结一下：

神经过程允许我们从数据中学习特定于领域的先验知识。

侧重于预测（条件）分布 Focussing on predictive (conditional) distributions with latent processes marginalised out works very well [Garnelo et al 2018b, Le et al 2018].
不保证学习的条件分布是一致的。