We show that object detectors can hallucinate and detect missing objects; potentially even accurately localized at their expected, but non-existing, position. This is particularly problematic for applications that rely on visual part verification: detecting if an object part is present or absent. We show how popular object detectors hallucinate objects in a visual part verification task and introduce the first visual part verification dataset: DelftBikes, which has 10,000 bike photographs, with 22 densely annotated parts per image, where some parts may be missing. We explicitly annotated an extra object state label for each part to reflect if a part is missing or intact. We propose to evaluate visual part verification by relying on recall and compare popular object detectors on DelftBikes.


翻译:我们显示,天体探测器可以产生幻觉并探测失踪物体;甚至有可能精确定位于预期的、但不存在的位置。这对于依赖视觉部分核查的应用来说尤其有问题:检测物体部件是否存在;我们显示在视觉部分核查任务中流行的物体探测器致幻物体是如何在视觉部分核查任务中出现,并引入第一个视觉部分核查数据集:DelftBikes,它有10,000个自行车照片,每个图像有22个密集的附加说明部件,有些部分可能丢失。我们明确为每个部分附加一个额外的物体状态标签,以反映某一部件丢失或完好无损。我们提议通过在 DelftBikes 上对流行物体探测器进行回溯和比较来评价视觉部分核查。

0
下载
关闭预览

相关内容

【KDD2020教程】多模态网络表示学习
专知会员服务
131+阅读 · 2020年8月26日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Soft-NMS – Improving Object Detection With One Line of Code
统计学习与视觉计算组
6+阅读 · 2018年3月30日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Arxiv
6+阅读 · 2021年3月11日
Arxiv
3+阅读 · 2019年3月29日
DPOD: Dense 6D Pose Object Detector in RGB images
Arxiv
5+阅读 · 2019年2月28日
Arxiv
5+阅读 · 2018年10月4日
Arxiv
4+阅读 · 2018年6月14日
Arxiv
5+阅读 · 2018年5月22日
Arxiv
7+阅读 · 2018年3月19日
VIP会员
相关资讯
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Soft-NMS – Improving Object Detection With One Line of Code
统计学习与视觉计算组
6+阅读 · 2018年3月30日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
相关论文
Arxiv
6+阅读 · 2021年3月11日
Arxiv
3+阅读 · 2019年3月29日
DPOD: Dense 6D Pose Object Detector in RGB images
Arxiv
5+阅读 · 2019年2月28日
Arxiv
5+阅读 · 2018年10月4日
Arxiv
4+阅读 · 2018年6月14日
Arxiv
5+阅读 · 2018年5月22日
Arxiv
7+阅读 · 2018年3月19日
Top
微信扫码咨询专知VIP会员