会员服务
ICML 2022 · 深度神经网络 · 特征学习 ·
2022 年 6 月 2 日
【ICML2022】深度神经网络中的特征学习与信号传播
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

Baratin等人最近的工作(2021)揭示了深度神经网络训练期间发生的一个有趣的模式:与其他层相比，一些层与数据的对齐更多(其中对齐被定义为切线特征矩阵和数据标签矩阵的欧氏乘积)。对齐曲线作为层指数的函数(通常)表现出一种上升-下降模式，在某些隐藏层达到最大值。在这项工作中，我们为这一现象提供了第一种解释。我们引入平衡假设，将这种对齐模式与深度神经网络中的信号传播联系起来。我们的实验证明与理论预测非常吻合。

https://www.zhuanzhi.ai/paper/eb536aebcbd07e082fa029bfa966c533

成为VIP会员查看完整内容
https://www.zhuanzhi.ai/paper/eb536aebcbd07e082fa029bfa966c533
Feature Learning and Signal Propagation in Deep Neural Networks
25

相关内容

国际机器学习大会(International Conference on Machine Learning，简称ICML ) 是由国际机器学习学会（IMLS）主办的机器学习国际顶级会议，也是CCF-A类学术会议。ICML 2022 共收到5630 投稿，接收1117 篇 short oral，118篇 long oral，录用率为21.94%。
【ICML2022】通过能量最小化学习迭代推理
【ICML2022】通过能量最小化学习迭代推理
专知会员服务
25+阅读 · 2022年7月3日
信息论揭开深度学习黑匣子？纽约大学Ravid博士论文《深度神经网络信息流》139页pdf探究信息瓶颈来解释深度学习理论
信息论揭开深度学习黑匣子？纽约大学Ravid博士论文《深度神经网络信息流》139页pdf探究信息瓶颈来解释深度学习理论
专知会员服务
96+阅读 · 2022年2月21日
几何视角下深度神经网络的对抗攻击与可解释性研究进展
专知会员服务
23+阅读 · 2021年10月14日
【ICML2021】无训练神经架构搜索
专知会员服务
19+阅读 · 2021年9月16日
【ICML2021】利用傅立叶稳定增强神经网络的鲁棒性
专知会员服务
19+阅读 · 2021年9月14日
【ICML2021】深度架构持续学习，127页ppt
专知会员服务
74+阅读 · 2021年7月21日
【ICML2021】深度残差网络的可扩展特性
专知会员服务
19+阅读 · 2021年5月30日
【ICML2021】有向图网络
专知会员服务
81+阅读 · 2021年5月10日
【ICLR2021】对未标记数据进行深度网络自训练的理论分析
【ICLR2021】对未标记数据进行深度网络自训练的理论分析
专知会员服务
25+阅读 · 2021年2月22日
【Cell 2020】神经网络中的持续学习
【Cell 2020】神经网络中的持续学习
专知会员服务
59+阅读 · 2020年11月7日
【ICML2022】长尾识别中分布外检测的部分和非对称对比学习
【ICML2022】长尾识别中分布外检测的部分和非对称对比学习
专知
0+阅读 · 2022年7月5日
ICML2022|谱图神经网络有多强大？线性GNN就能达到SOTA
ICML2022|谱图神经网络有多强大？线性GNN就能达到SOTA
图与推荐
1+阅读 · 2022年7月4日
【ICML2022】通过能量最小化学习迭代推理
【ICML2022】通过能量最小化学习迭代推理
专知
0+阅读 · 2022年7月3日
CVPR 2022 | 子空间对抗训练
CVPR 2022 | 子空间对抗训练
PaperWeekly
1+阅读 · 2022年5月31日
信息论揭开深度学习黑匣子？纽约大学研究员Ravid博士论文《深度神经网络信息流》139页pdf探究信息瓶颈来解释深度学习理论
信息论揭开深度学习黑匣子？纽约大学研究员Ravid博士论文《深度神经网络信息流》139页pdf探究信息瓶颈来解释深度学习理论
专知
7+阅读 · 2022年2月21日
深度学习预测蛋白质-蛋白质相互作用
深度学习预测蛋白质-蛋白质相互作用
机器之心
5+阅读 · 2022年1月15日
【ICLR2022】Transformers亦能贝叶斯推断
【ICLR2022】Transformers亦能贝叶斯推断
专知
0+阅读 · 2021年12月23日
NeurIPS'21 | 面向开放世界特征的图学习
NeurIPS'21 | 面向开放世界特征的图学习
图与推荐
2+阅读 · 2021年12月18日
【伯克利PNAS最新论文】可解释机器学习的定义、方法和应用
【伯克利PNAS最新论文】可解释机器学习的定义、方法和应用
专知
75+阅读 · 2019年10月20日
神经网络bp算法推导
神经网络bp算法推导
统计学习与视觉计算组
11+阅读 · 2017年11月17日
基于深度学习的音乐特征学习与分类
国家自然科学基金
7+阅读 · 2014年12月31日
信号时频分析与包络的数学模型
国家自然科学基金
1+阅读 · 2014年12月31日
广义加速光束的理论和实验研究
国家自然科学基金
0+阅读 · 2014年12月31日
非线性反馈移位寄存器序列子簇的研究
国家自然科学基金
0+阅读 · 2012年12月31日
单分量框架与信号自适应稀疏表示
国家自然科学基金
0+阅读 · 2012年12月31日
周期量级激光脉冲在非线性介质中传播特性研究
国家自然科学基金
0+阅读 · 2011年12月31日
基于二维随机映射和一范数优化的有监督图像分类研究
国家自然科学基金
3+阅读 · 2011年12月31日
网络知识互联结构自主发育模型研究
国家自然科学基金
0+阅读 · 2009年12月31日
SATB2在结直肠癌转移中的作用及相关信号网络
国家自然科学基金
0+阅读 · 2009年12月31日
小世界神经网络中信号传输的建模研究
国家自然科学基金
1+阅读 · 2008年12月31日
Actionable and Interpretable Fault Localization for Recurring Failures in Online Service Systems
Arxiv
0+阅读 · 2022年7月20日
GATE: Gated Additive Tree Ensemble for Tabular Classification and Regression
Arxiv
0+阅读 · 2022年7月19日
Rewiring Networks for Graph Neural Network Training Using Discrete Geometry
Arxiv
0+阅读 · 2022年7月16日
MixTailor: Mixed Gradient Aggregation for Robust Learning Against Tailored Attacks
Arxiv
0+阅读 · 2022年7月16日
Multiscale Causal Structure Learning
Arxiv
0+阅读 · 2022年7月16日
Partial Disentanglement via Mechanism Sparsity
Arxiv
0+阅读 · 2022年7月15日
Attentive Fine-Grained Structured Sparsity for Image Restoration
Arxiv
0+阅读 · 2022年7月15日
Bayesian Deep Learning for Graphs
Arxiv
23+阅读 · 2022年2月24日
Learning Discrete Structures for Graph Neural Networks
Arxiv
17+阅读 · 2019年3月28日
Feature Denoising for Improving Adversarial Robustness
Feature Denoising for Improving Adversarial Robustness
Arxiv
15+阅读 · 2018年12月9日
VIP会员
相关主题
ICML 2022
深度神经网络
特征学习
相关VIP内容
【ICML2022】通过能量最小化学习迭代推理
【ICML2022】通过能量最小化学习迭代推理
专知会员服务
25+阅读 · 2022年7月3日
信息论揭开深度学习黑匣子？纽约大学Ravid博士论文《深度神经网络信息流》139页pdf探究信息瓶颈来解释深度学习理论
信息论揭开深度学习黑匣子？纽约大学Ravid博士论文《深度神经网络信息流》139页pdf探究信息瓶颈来解释深度学习理论
专知会员服务
96+阅读 · 2022年2月21日
几何视角下深度神经网络的对抗攻击与可解释性研究进展
专知会员服务
23+阅读 · 2021年10月14日
【ICML2021】无训练神经架构搜索
专知会员服务
19+阅读 · 2021年9月16日
【ICML2021】利用傅立叶稳定增强神经网络的鲁棒性
专知会员服务
19+阅读 · 2021年9月14日
【ICML2021】深度架构持续学习，127页ppt
专知会员服务
74+阅读 · 2021年7月21日
【ICML2021】深度残差网络的可扩展特性
专知会员服务
19+阅读 · 2021年5月30日
【ICML2021】有向图网络
专知会员服务
81+阅读 · 2021年5月10日
【ICLR2021】对未标记数据进行深度网络自训练的理论分析
【ICLR2021】对未标记数据进行深度网络自训练的理论分析
专知会员服务
25+阅读 · 2021年2月22日
【Cell 2020】神经网络中的持续学习
【Cell 2020】神经网络中的持续学习
专知会员服务
59+阅读 · 2020年11月7日
热门VIP内容
相关资讯
【ICML2022】长尾识别中分布外检测的部分和非对称对比学习
【ICML2022】长尾识别中分布外检测的部分和非对称对比学习
专知
0+阅读 · 2022年7月5日
ICML2022|谱图神经网络有多强大？线性GNN就能达到SOTA
ICML2022|谱图神经网络有多强大？线性GNN就能达到SOTA
图与推荐
1+阅读 · 2022年7月4日
【ICML2022】通过能量最小化学习迭代推理
【ICML2022】通过能量最小化学习迭代推理
专知
0+阅读 · 2022年7月3日
CVPR 2022 | 子空间对抗训练
CVPR 2022 | 子空间对抗训练
PaperWeekly
1+阅读 · 2022年5月31日
信息论揭开深度学习黑匣子？纽约大学研究员Ravid博士论文《深度神经网络信息流》139页pdf探究信息瓶颈来解释深度学习理论
信息论揭开深度学习黑匣子？纽约大学研究员Ravid博士论文《深度神经网络信息流》139页pdf探究信息瓶颈来解释深度学习理论
专知
7+阅读 · 2022年2月21日
深度学习预测蛋白质-蛋白质相互作用
深度学习预测蛋白质-蛋白质相互作用
机器之心
5+阅读 · 2022年1月15日
【ICLR2022】Transformers亦能贝叶斯推断
【ICLR2022】Transformers亦能贝叶斯推断
专知
0+阅读 · 2021年12月23日
NeurIPS'21 | 面向开放世界特征的图学习
NeurIPS'21 | 面向开放世界特征的图学习
图与推荐
2+阅读 · 2021年12月18日
【伯克利PNAS最新论文】可解释机器学习的定义、方法和应用
【伯克利PNAS最新论文】可解释机器学习的定义、方法和应用
专知
75+阅读 · 2019年10月20日
神经网络bp算法推导
神经网络bp算法推导
统计学习与视觉计算组
11+阅读 · 2017年11月17日
相关基金
基于深度学习的音乐特征学习与分类
国家自然科学基金
7+阅读 · 2014年12月31日
信号时频分析与包络的数学模型
国家自然科学基金
1+阅读 · 2014年12月31日
广义加速光束的理论和实验研究
国家自然科学基金
0+阅读 · 2014年12月31日
非线性反馈移位寄存器序列子簇的研究
国家自然科学基金
0+阅读 · 2012年12月31日
单分量框架与信号自适应稀疏表示
国家自然科学基金
0+阅读 · 2012年12月31日
周期量级激光脉冲在非线性介质中传播特性研究
国家自然科学基金
0+阅读 · 2011年12月31日
基于二维随机映射和一范数优化的有监督图像分类研究
国家自然科学基金
3+阅读 · 2011年12月31日
网络知识互联结构自主发育模型研究
国家自然科学基金
0+阅读 · 2009年12月31日
SATB2在结直肠癌转移中的作用及相关信号网络
国家自然科学基金
0+阅读 · 2009年12月31日
小世界神经网络中信号传输的建模研究
国家自然科学基金
1+阅读 · 2008年12月31日
相关论文
Actionable and Interpretable Fault Localization for Recurring Failures in Online Service Systems
Arxiv
0+阅读 · 2022年7月20日
GATE: Gated Additive Tree Ensemble for Tabular Classification and Regression
Arxiv
0+阅读 · 2022年7月19日
Rewiring Networks for Graph Neural Network Training Using Discrete Geometry
Arxiv
0+阅读 · 2022年7月16日
MixTailor: Mixed Gradient Aggregation for Robust Learning Against Tailored Attacks
Arxiv
0+阅读 · 2022年7月16日
Multiscale Causal Structure Learning
Arxiv
0+阅读 · 2022年7月16日
Partial Disentanglement via Mechanism Sparsity
Arxiv
0+阅读 · 2022年7月15日
Attentive Fine-Grained Structured Sparsity for Image Restoration
Arxiv
0+阅读 · 2022年7月15日
Bayesian Deep Learning for Graphs
Arxiv
23+阅读 · 2022年2月24日
Learning Discrete Structures for Graph Neural Networks
Arxiv
17+阅读 · 2019年3月28日
Feature Denoising for Improving Adversarial Robustness
Feature Denoising for Improving Adversarial Robustness
Arxiv
15+阅读 · 2018年12月9日
微信扫码咨询专知VIP会员
Top