【导读】今年 8 月份,毕业于斯坦福、现就职于英伟达人工智能应用团队的 Chip Huyen 撰写了一篇博客,讲述她对NeurlPS2019的观感,讲述了研究热点与发展趋势,感兴趣的三个方向是: 贝叶斯学习、图神经网络和凸优化,来看下。

地址: https://huyenchip.com/2019/12/18/key-trends-neurips-2019.html

  1. 深度学习与贝叶斯原理

正如Emtiyaz Khan在他的《深度学习与贝叶斯原则》演讲中所强调的那样,贝叶斯学习和深度学习是非常不同的。根据Khan的说法,深度学习使用“试错”的方法——让我们看看实验会把我们带向何方——而贝叶斯原则迫使你事先思考一个假设(先验)。

与常规的深度学习相比,贝叶斯深度学习主要有两个优点:不确定性估计和对小数据集的更好的泛化。在实际应用中,仅仅系统做出预测是不够的。知道每个预测的确定性是很重要的。例如,预测癌症有50.1%的确定性需要不同的治疗,同样的预测有99.9%的确定性。在贝叶斯学习中,不确定性估计是一个内置特性。

传统的神经网络给出单点估计——它们使用一组权值在数据点上输出预测。另一方面,Bayesian神经网络使用网络权值上的概率分布,并输出该分布中所有权值集的平均预测,其效果与许多神经网络上的平均预测相同。因此,贝叶斯神经网络是自然的集合体,它的作用类似于正则化,可以防止过度拟合。

拥有数百万参数的贝叶斯神经网络的训练在计算上仍然很昂贵。收敛到一个后验值可能需要数周时间,因此诸如变分推论之类的近似方法已经变得流行起来。概率方法-变分贝叶斯推理会议上发表了10篇关于这种变分贝叶斯方法的论文。

我喜欢读一些关于贝叶斯深度学习的NeurIPS论文:

  1. 图神经网络(GNNs)

多年来,我一直在谈论图论是机器学习中最被低估的话题之一。我很高兴看到图机器学习在今年的NeurIPS上非常流行。

对于许多类型的数据,例如社交网络、知识库和游戏状态,图形是美丽而自然的表示。用于推荐系统的用户项数据可以表示为一个二部图,其中一个不相交集由用户组成,另一个由物品组成。

图也可以表示神经网络的输出。正如 Yoshua Bengio在他的特邀演讲中提醒我们的那样,任何联合分布都可以表示为一个因子图。

这使得graph neural network对于组合优化(例如旅行推销员、日程安排)、身份匹配(这个Twitter用户和这个Facebook用户一样吗?)、推荐系统等任务来说是完美的。

最流行的图神经网络是图卷积神经网络(GCNN),这是预期的,因为它们都对本地信息进行编码。卷积倾向于寻找输入相邻部分之间的关系。图通过边编码与输入最相关的部分。

推荐阅读:

  1. 凸优化

我很欣赏Stephen Boyd关于凸优化的工作,所以很高兴看到它在NeurIPS上越来越受欢迎——有32篇论文与这个主题相关(1,2)。Stephen Boyd和J. Zico Kolter的实验室也发表了他们的论文《可微凸优化层》,展示了如何通过凸优化问题的解决方案进行区分,使其有可能嵌入可微程序(如神经网络)并从数据中学习它们。

凸优化问题是有吸引力的,因为它们可以准确地解决(1e-10的误差容忍度是可以实现的)和快速。它们也不会产生奇怪的/意料之外的输出,而这对于真实的应用程序是至关重要的。尽管在开放环境遇到的许多问题都是非凸的,但将它们分解成一系列凸问题是可行的。

利用凸优化算法训练神经网络。然而,虽然神经网络的重点是从头开始学习,但在端到端的方式中,凸优化问题的应用明确地强调建模系统,使用领域特定的知识。当可以以凸的方式显式地对系统建模时,通常需要的数据要少得多。可微凸优化层的工作是混合端到端学习和显式建模的优点的一种方法。

当你想控制一个系统的输出时,凸优化特别有用。例如,SpaceX使用凸优化来让火箭着陆,贝莱德(BlackRock)将其用于交易算法。在深度学习中使用凸优化真的很酷,就像现在的贝叶斯学习。

Akshay Agrawal推荐的关于凸优化的NeurIPS论文。

NeurlPS 2019 研究内容分析

  • 强化学习甚至在机器人学之外也越来越流行。有显著正性变化的关键词有bandit、feedback、regret、control。
  • 生成模型仍然很流行。GAN仍然吸引着我们的想象力,但远没有那么夸张。
  • 递归神经网络和卷积神经网络在去年确实如此。
  • 硬件关键字也在上升,信号更多的硬件感知算法。这是对硬件是机器学习瓶颈这一担忧的回答。
  • 我很难过数据在下降。
  • Meta learning预计,今年这一比例的增幅最高。
  • 尽管贝叶斯定理下降了,不确定性却上升了。去年,有很多论文使用了贝叶斯原理,但没有针对深度学习。

参考链接: https://huyenchip.com/2019/12/18/key-trends-neurips-2019.html

成为VIP会员查看完整内容
57

相关内容

NeurIPS 是全球最受瞩目的AI、机器学习顶级学术会议之一,每年全球的人工智能爱好者和科学家都会在这里聚集,发布最新研究。NeurIPS 2019大会将在12月8日-14日在加拿大温哥华举行。据官方统计消息,NeurIPS今年共收到投稿6743篇,其中接收论文1428篇,接收率21.1%。官网地址:https://neurips.cc/

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【新书册】贝叶斯神经网络,41页pdf
专知会员服务
173+阅读 · 2020年6月3日
2020图机器学习GNN的四大研究趋势,21篇论文下载
专知会员服务
135+阅读 · 2020年2月10日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
43+阅读 · 2020年1月10日
【NeurIPS 2019的主要趋势】Key trends from NeurIPS 2019
专知会员服务
11+阅读 · 2019年12月19日
异常检测论文大列表:方法、应用、综述
专知
125+阅读 · 2019年7月15日
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
深度 | 变分自编码器VAE面临的挑战与发展方向
机器之心
16+阅读 · 2018年3月21日
贝叶斯机器学习前沿进展
无人机
7+阅读 · 2018年1月26日
Heterogeneous Deep Graph Infomax
Arxiv
11+阅读 · 2019年11月19日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Explanatory Graphs for CNNs
Arxiv
4+阅读 · 2018年12月18日
A General and Adaptive Robust Loss Function
Arxiv
7+阅读 · 2018年11月5日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
15+阅读 · 2018年4月5日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关论文
Heterogeneous Deep Graph Infomax
Arxiv
11+阅读 · 2019年11月19日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Explanatory Graphs for CNNs
Arxiv
4+阅读 · 2018年12月18日
A General and Adaptive Robust Loss Function
Arxiv
7+阅读 · 2018年11月5日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
15+阅读 · 2018年4月5日
Arxiv
7+阅读 · 2018年1月10日
微信扫码咨询专知VIP会员