【ICML2022】深度神经网络中的特征学习与信号传播

2022 年 6 月 2 日 专知


Baratin等人最近的工作(2021)揭示了深度神经网络训练期间发生的一个有趣的模式:与其他层相比,一些层与数据的对齐更多(其中对齐被定义为切线特征矩阵和数据标签矩阵的欧氏乘积)。对齐曲线作为层指数的函数(通常)表现出一种上升-下降模式,在某些隐藏层达到最大值。在这项工作中,我们为这一现象提供了第一种解释。我们引入平衡假设,将这种对齐模式与深度神经网络中的信号传播联系起来。我们的实验证明与理论预测非常吻合。


https://www.zhuanzhi.ai/paper/eb536aebcbd07e082fa029bfa966c533



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“FLSP” 就可以获取《【ICML2022】深度神经网络中的特征学习与信号传播》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
0

相关内容

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。
【ICML2022】图神经网络的局域数据增强方法
专知会员服务
29+阅读 · 2022年7月24日
图时卷积神经网络:架构与理论分析
专知会员服务
23+阅读 · 2022年7月3日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
【ICLR2022】图神经网络复杂时间序列建模
专知会员服务
83+阅读 · 2022年4月15日
专知会员服务
35+阅读 · 2021年8月17日
专知会员服务
16+阅读 · 2021年8月6日
专知会员服务
23+阅读 · 2021年8月1日
专知会员服务
23+阅读 · 2021年6月8日
专知会员服务
79+阅读 · 2021年5月10日
专知会员服务
27+阅读 · 2020年10月24日
【ICML2022】几何多模态对比表示学习
专知
1+阅读 · 2022年7月17日
【ICML2022】通过能量最小化学习迭代推理
图时卷积神经网络:架构与理论分析
专知
0+阅读 · 2022年7月3日
【ICLR2022】分布外泛化的不确定性建模
专知
2+阅读 · 2022年2月11日
【ICML2021】统一鲁棒半监督变分自编码器
专知
1+阅读 · 2021年7月12日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年7月27日
Max-Margin Contrastive Learning
Arxiv
17+阅读 · 2021年12月21日
Arxiv
13+阅读 · 2021年6月14日
Arxiv
11+阅读 · 2021年2月17日
Arxiv
14+阅读 · 2020年12月17日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
VIP会员
相关VIP内容
【ICML2022】图神经网络的局域数据增强方法
专知会员服务
29+阅读 · 2022年7月24日
图时卷积神经网络:架构与理论分析
专知会员服务
23+阅读 · 2022年7月3日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
【ICLR2022】图神经网络复杂时间序列建模
专知会员服务
83+阅读 · 2022年4月15日
专知会员服务
35+阅读 · 2021年8月17日
专知会员服务
16+阅读 · 2021年8月6日
专知会员服务
23+阅读 · 2021年8月1日
专知会员服务
23+阅读 · 2021年6月8日
专知会员服务
79+阅读 · 2021年5月10日
专知会员服务
27+阅读 · 2020年10月24日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
相关论文
Arxiv
0+阅读 · 2022年7月27日
Max-Margin Contrastive Learning
Arxiv
17+阅读 · 2021年12月21日
Arxiv
13+阅读 · 2021年6月14日
Arxiv
11+阅读 · 2021年2月17日
Arxiv
14+阅读 · 2020年12月17日
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Top
微信扫码咨询专知VIP会员