Recent works have suggested that finite Bayesian neural networks may sometimes outperform their infinite cousins because finite networks can flexibly adapt their internal representations. However, our theoretical understanding of how the learned hidden layer representations of finite networks differ from the fixed representations of infinite networks remains incomplete. Perturbative finite-width corrections to the network prior and posterior have been studied, but the asymptotics of learned features have not been fully characterized. Here, we argue that the leading finite-width corrections to the average feature kernels for any Bayesian network with linear readout and Gaussian likelihood have a largely universal form. We illustrate this explicitly for three tractable network architectures: deep linear fully-connected and convolutional networks, and networks with a single nonlinear hidden layer. Our results begin to elucidate how task-relevant learning signals shape the hidden layer representations of wide Bayesian neural networks.


翻译:最近的工作表明,有限的贝叶西亚神经网络有时可能优于其无限表兄妹,因为有限的网络可以灵活地调整其内部代表形式。然而,我们对有限网络所学到的隐性层表示与无限网络的固定代表形式不同是如何不同的理论理解仍然不完整。对先前的网络和后方网络的不成熟的有限宽度校正进行了研究,但所学特征的无足轻重的描述还没有得到充分描述。在这里,我们争论说,对任何具有线性读出和高斯概率的巴伊西亚网络的平均地物内核内核内核进行的主要有限边缘校正基本上具有普遍性。我们明确地为三种可移动的网络结构说明这一点:深线性完全连通和连动的网络,以及带有单一非线性隐性层的网络。我们的成果开始阐明任务相关学习信号如何塑造大海湾神经网络的隐藏层表示。

0
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
专知会员服务
28+阅读 · 2021年8月2日
专知会员服务
50+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
123+阅读 · 2020年11月20日
专知会员服务
53+阅读 · 2019年12月22日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
64+阅读 · 2021年6月18日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
10+阅读 · 2021年2月18日
Arxiv
14+阅读 · 2020年12月17日
Arxiv
17+阅读 · 2019年3月28日
Parsimonious Bayesian deep networks
Arxiv
5+阅读 · 2018年10月17日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
10+阅读 · 2018年3月22日
VIP会员
相关资讯
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
相关论文
Arxiv
64+阅读 · 2021年6月18日
Arxiv
7+阅读 · 2021年5月13日
Arxiv
10+阅读 · 2021年2月18日
Arxiv
14+阅读 · 2020年12月17日
Arxiv
17+阅读 · 2019年3月28日
Parsimonious Bayesian deep networks
Arxiv
5+阅读 · 2018年10月17日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
10+阅读 · 2018年3月22日
Top
微信扫码咨询专知VIP会员