题目: Do ImageNet Classifiers Generalize to ImageNet?
摘要:
我们为CIFAR-10和ImageNet数据集构建新的测试集。近十年来,这两种基准都是激烈研究的焦点,这增加了过度拟合过度重复使用测试集的危险。通过密切跟踪原始数据集的创建过程,我们测试了当前分类模型对新数据的泛化程度。我们评估了大量的模型,发现CIFAR-10的准确率下降了3% - 15%,而ImageNet的准确率下降了11% - 14%。然而,对原始测试集的准确性收益转化为对新测试集的更大收益。我们的结果表明,准确性下降不是由于自适应,而是由于模型不能泛化到比原始测试集发现的稍微“硬”的图像。
作者:
Benjamin Recht是加州大学伯克利分校电子工程和计算机科学系的副教授。他之前是威斯康星大学麦迪逊分校计算机科学系的助理教授。在芝加哥大学获得数学学士学位,并在麻省理工学院媒体实验室获得硕士和博士学位。完成博士论文后,他成为加州理工学院信息数学中心的博士后研究员。研究方向为模式分类,优化,统计信号处理。个人官网:https://people.eecs.berkeley.edu/~brecht/index.html