【ICML2022】深度学习中的协同和对称:数据、模型和推理算法之间的交互

尽管人们普遍认为高维学习面临维数灾难，但现代机器学习方法往往表现出惊人的能力，可以在不使用大量数据的情况下解决各种具有挑战性的现实世界学习问题。这些方法究竟是如何打破这一诅咒的，仍然是深度学习理论中一个根本的开放问题。虽然以前的努力通过研究数据(D)、模型(M)和推理算法(I)作为独立模块来研究这个问题，但在本文中，我们将三元组(D, M, I)作为一个集成系统来分析，并识别有助于减轻维度诅咒的重要协同作用。我们首先研究了与各种学习算法(M, I)相关的基本对称性，重点关注深度学习中的四种原型架构:全连接网络(FCN)、本地连接网络(LCN)和带池化和不带池化的卷积网络(GAP/VEC)。我们发现，当这些对称性与数据分布的对称性相容时，学习效率最高，而当(D, M, I)三元组中的任何成员不一致或次优时，学习效率显著下降。

https://arxiv.org/pdf/2207.04612.pdf

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“SIDL” 就可以获取《【ICML2022】深度学习中的协同和对称:数据、模型和推理算法之间的交互》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料