基于粒子的贝叶斯深度学习通常需要相似性度量来比较两个网络。然而,简单的相似性度量缺乏置换不变性,不适合用于网络比较。提出了基于特征核的中心核对齐(CKA)用于比较深度网络,但在贝叶斯深度学习中尚未作为优化目标使用。在本文中,我们探索了在贝叶斯深度学习中使用 CKA 来生成多样化的集成和输出网络后验的超网络。我们注意到 CKA 将核投影到单位超球面上,而直接优化 CKA 目标在两个网络非常相似时会导致梯度衰减。为了解决这一缺陷并提高训练稳定性,我们提出在 CKA 核的基础上采用超球面能量(HE)的方法。此外,通过利用基于 CKA 的特征核,我们推导出施加于合成生成的异常值示例的特征排斥项。在多样化集成和超网络的实验中,我们的方法在合成和实际异常检测任务中显著优于基线方法,尤其在不确定性量化方面。

成为VIP会员查看完整内容
6

相关内容

【NeurIPS2023】将持续学习重新定义为序列建模
专知会员服务
33+阅读 · 2023年10月19日
【AAAI2023】用于图对比学习的谱特征增强
专知会员服务
17+阅读 · 2022年12月11日
【Cell】可扩展深度图神经网络的高性能材料性能预测
专知会员服务
17+阅读 · 2022年5月4日
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
专知会员服务
15+阅读 · 2022年3月17日
专知会员服务
40+阅读 · 2021年6月10日
专知会员服务
37+阅读 · 2021年4月25日
专知会员服务
19+阅读 · 2020年3月29日
【AAAI2023】用于图对比学习的谱特征增强
专知
18+阅读 · 2022年12月11日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
153+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
395+阅读 · 2023年3月31日
Arxiv
65+阅读 · 2023年3月26日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【NeurIPS2023】将持续学习重新定义为序列建模
专知会员服务
33+阅读 · 2023年10月19日
【AAAI2023】用于图对比学习的谱特征增强
专知会员服务
17+阅读 · 2022年12月11日
【Cell】可扩展深度图神经网络的高性能材料性能预测
专知会员服务
17+阅读 · 2022年5月4日
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
专知会员服务
15+阅读 · 2022年3月17日
专知会员服务
40+阅读 · 2021年6月10日
专知会员服务
37+阅读 · 2021年4月25日
专知会员服务
19+阅读 · 2020年3月29日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员