【CVPR2021】神经网络中的知识演化

深度学习依赖于大量数据的可用性(有标记的或无标记的)。因此，一个挑战性的尚未解决的问题是:如何在相对较小的数据集上训练深度网络?为了解决这个问题，我们提出了一种演化启发的训练方法来提高相对较小的数据集的性能。知识演化方法将深度网络分为两个假说: 拟合假说和重置假说。我们通过对重置假说的干扰，对拟合假说内的知识进行多次迭代演化。该方法不仅提高了网络的性能，而且学习出了一个具有较小推理成本的超薄网络。KE与普通卷积网络和剩余卷积网络无缝集成。KE减少了过拟合和数据收集的负担。

我们在不同的网络结构和损耗函数上评估KE。我们使用相对较小的数据集(如CUB-200)和随机初始化的深度网络来评估KE。KE在最先进的基础上实现了绝对21%的改进幅度。与此同时，推理成本也相对降低了73%。KE在分类和度量学习基准方面取得了最先进的成果。代码可在http://bit.ly/3uLgwYb

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“NNKE” 就可以获取《【CVPR2021】神经网络中的知识演化》专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源