本文综述了近年来在大间隔训练及其理论基础方面取得的进展,主要针对(非线性)深度神经网络(DNNs),这可能是过去十年来社区中针对大规模数据最著名的机器学习模型。我们概括了从经典研究到最新DNNs分类边界的形成,总结了间隔、网络泛化和鲁棒性之间的理论联系,并全面介绍了近年来在扩大DNNs分类间隔方面所做的努力。由于不同方法的观点存在差异,为了便于比较和讨论,本文将其分组。希望我们的讨论和概述能够启发社区中旨在提高DNNs性能的新研究工作,也为大间隔原则的验证指明方向,为DNNs的某些正则化在实践中发挥良好作用提供理论依据。我们设法缩短了论文,以便更好地强调大间隔学习的关键思想和相关方法。
https://www.zhuanzhi.ai/paper/617d18bafec0d3c2310043f9f6822010