本文综述了近年来在大间隔训练及其理论基础方面取得的进展,主要针对(非线性)深度神经网络(DNNs),这可能是过去十年来社区中针对大规模数据最著名的机器学习模型。我们概括了从经典研究到最新DNNs分类边界的形成,总结了间隔、网络泛化和鲁棒性之间的理论联系,并全面介绍了近年来在扩大DNNs分类间隔方面所做的努力。由于不同方法的观点存在差异,为了便于比较和讨论,本文将其分组。希望我们的讨论和概述能够启发社区中旨在提高DNNs性能的新研究工作,也为大间隔原则的验证指明方向,为DNNs的某些正则化在实践中发挥良好作用提供理论依据。我们设法缩短了论文,以便更好地强调大间隔学习的关键思想和相关方法。

https://www.zhuanzhi.ai/paper/617d18bafec0d3c2310043f9f6822010

成为VIP会员查看完整内容
18

相关内容

专知会员服务
47+阅读 · 2021年3月5日
20年单类别(One-Class)分类全面综述论文,从2001到2020
专知会员服务
21+阅读 · 2021年1月12日
专知会员服务
62+阅读 · 2020年9月10日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
176+阅读 · 2020年9月7日
【综述】迁移自适应学习十年进展
专知
41+阅读 · 2019年11月26日
图数据表示学习综述论文
专知
51+阅读 · 2019年6月10日
One-Class Classification: A Survey
Arxiv
7+阅读 · 2021年1月8日
Interpretable CNNs for Object Classification
Arxiv
20+阅读 · 2020年3月12日
Arxiv
4+阅读 · 2019年4月17日
VIP会员
相关主题
微信扫码咨询专知VIP会员