Modern machine learning systems such as deep neural networks are often highly over-parameterized so that they can fit the noisy training data exactly, yet they can still achieve small test errors in practice. In this paper, we study this "benign overfitting" (Bartlett et al. (2020)) phenomenon of the maximum margin classifier for linear classification problems. Specifically, we consider data generated from sub-Gaussian mixtures, and provide a tight risk bound for the maximum margin linear classifier in the over-parameterized setting. Our results precisely characterize the condition under which benign overfitting can occur in linear classification problems, and improve on previous work. They also have direct implications for over-parameterized logistic regression.


翻译:深神经网络等现代机器学习系统往往高度超度,以便它们能够精确地适应吵闹的培训数据,但它们实际上仍然能够达到小的测试错误。在本文中,我们研究了线性分类问题的最大差值分类器(Bartlett et al. (2020))现象。具体地说,我们考虑了从子高加索混合物产生的数据,并为超度参数环境中的最大差值线性分类器提供了严格的风险。我们的结果准确地说明了在线性分类问题中可发生良性过大的情况,并改进了先前的工作。它们也直接影响到过分的后勤回归。

0
下载
关闭预览

相关内容

专知会员服务
14+阅读 · 2021年5月21日
专知会员服务
42+阅读 · 2020年12月18日
已删除
将门创投
4+阅读 · 2018年12月10日
Arxiv
3+阅读 · 2018年8月17日
VIP会员
相关VIP内容
专知会员服务
14+阅读 · 2021年5月21日
专知会员服务
42+阅读 · 2020年12月18日
相关资讯
已删除
将门创投
4+阅读 · 2018年12月10日
Top
微信扫码咨询专知VIP会员