题目: Do ImageNet Classifiers Generalize to ImageNet?

摘要:

我们为CIFAR-10和ImageNet数据集构建新的测试集。近十年来,这两种基准都是激烈研究的焦点,这增加了过度拟合过度重复使用测试集的危险。通过密切跟踪原始数据集的创建过程,我们测试了当前分类模型对新数据的泛化程度。我们评估了大量的模型,发现CIFAR-10的准确率下降了3% - 15%,而ImageNet的准确率下降了11% - 14%。然而,对原始测试集的准确性收益转化为对新测试集的更大收益。我们的结果表明,准确性下降不是由于自适应,而是由于模型不能泛化到比原始测试集发现的稍微“硬”的图像。

作者:

Benjamin Recht是加州大学伯克利分校电子工程和计算机科学系的副教授。他之前是威斯康星大学麦迪逊分校计算机科学系的助理教授。在芝加哥大学获得数学学士学位,并在麻省理工学院媒体实验室获得硕士和博士学位。完成博士论文后,他成为加州理工学院信息数学中心的博士后研究员。研究方向为模式分类,优化,统计信号处理。个人官网:https://people.eecs.berkeley.edu/~brecht/index.html

成为VIP会员查看完整内容
2

相关内容

ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库。超过1400万的图像URL被ImageNet手动注释,以指示图片中的对象;在至少一百万个图像中,还提供了边界框。ImageNet包含2万多个类别; [2]一个典型的类别,如“气球”或“草莓”,包含数百个图像。第三方图像URL的注释数据库可以直接从ImageNet免费获得;但是,实际的图像不属于ImageNet。自2010年以来,ImageNet项目每年举办一次软件比赛,即ImageNet大规模视觉识别挑战赛(ILSVRC),软件程序竞相正确分类检测物体和场景。 ImageNet挑战使用了一个“修剪”的1000个非重叠类的列表。2012年在解决ImageNet挑战方面取得了巨大的突破,被广泛认为是2010年的深度学习革命的开始。
微软-少标签样本构建高性能文本分类器
专知
6+阅读 · 2019年4月1日
【干货】使用Pytorch实现卷积神经网络
专知
13+阅读 · 2018年5月12日
【干货】卷积神经网络中的四种基本组件
Generating Rationales in Visual Question Answering
Arxiv
5+阅读 · 2020年4月4日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
A General and Adaptive Robust Loss Function
Arxiv
7+阅读 · 2018年11月5日
Arxiv
5+阅读 · 2018年1月30日
VIP会员
相关VIP内容
微信扫码咨询专知VIP会员