【ICML2022】张量卷积神经网络的统一权值初始化范式

2022 年 6 月 8 日 专知


张量卷积神经网络(Tensorial Convolutional Neural Networks, TCNNs)因其在减小模型参数或提高泛化能力方面的优势而受到广泛的研究。然而,甚至权重初始化方法也阻碍了tcnn的探索。具体来说,一般的初始化方法,如Xavier或Kaiming初始化,通常无法为TCNN生成合适的权值。同时,虽然有针对特定架构的特别方法(如张量环网),但它们不适用于具有其他张量分解方法的TCNN(如CP或Tucker分解)。为了解决这一问题,我们提出了一种通用的权值初始化范式,推广了Xavier和Kaiming方法,可广泛应用于任意的TCNN。具体来说,我们首先提出了再现变换,将TCNNs中的逆向过程转换为等效的卷积过程。然后,基于前向和后向过程中的卷积算子,构建统一的范式来控制TCNN中的特征和梯度方差。因此,我们可以推导出各种TCNN的扇入和扇出初始化。我们证明,我们的范式可以稳定TCNNs的训练,导致更快的收敛和更好的结果。


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“TCNN” 就可以获取【ICML2022】张量卷积神经网络的统一权值初始化范式》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
1

相关内容

【KDD2022】基于知识增强提示学习的统一会话推荐系统
专知会员服务
28+阅读 · 2022年6月26日
【NeurIPS2021】未见深度架构参数预测
专知会员服务
9+阅读 · 2021年10月27日
专知会员服务
18+阅读 · 2021年9月13日
专知会员服务
35+阅读 · 2021年8月17日
专知会员服务
25+阅读 · 2021年7月11日
专知会员服务
23+阅读 · 2021年6月8日
专知会员服务
50+阅读 · 2021年5月19日
专知会员服务
79+阅读 · 2021年5月10日
【ICML2022】通过能量最小化学习迭代推理
【CVPR2022】通过特征Mixing进行主动学习
专知
0+阅读 · 2022年3月15日
【ICML2021】统一鲁棒半监督变分自编码器
专知
1+阅读 · 2021年7月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
22+阅读 · 2022年2月4日
Arxiv
37+阅读 · 2021年2月10日
Arxiv
11+阅读 · 2018年1月18日
VIP会员
相关VIP内容
【KDD2022】基于知识增强提示学习的统一会话推荐系统
专知会员服务
28+阅读 · 2022年6月26日
【NeurIPS2021】未见深度架构参数预测
专知会员服务
9+阅读 · 2021年10月27日
专知会员服务
18+阅读 · 2021年9月13日
专知会员服务
35+阅读 · 2021年8月17日
专知会员服务
25+阅读 · 2021年7月11日
专知会员服务
23+阅读 · 2021年6月8日
专知会员服务
50+阅读 · 2021年5月19日
专知会员服务
79+阅读 · 2021年5月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员