自监督式VO方法在视频中联合估计摄像机姿态和深度方面取得了很大的成功。然而,与大多数数据驱动的方法一样,现有的VO网络在面对与训练数据不同的场景时,性能显著下降,不适合实际应用。在本文中,我们提出了一种在线元学习算法,使VO网络能够以一种自监督的方式不断适应新的环境。该方法利用卷积长短时记忆(convLSTM)来聚合过去的丰富时空信息。网络能够记忆和学习过去的经验,以便更好地估计和快速适应当前帧。在开放环境中运行VO时,为了应对环境的变化,我们提出了一种在线的特征对齐方法,即在不同的时刻对特征分布进行对齐。我们的VO网络能够无缝地适应不同的环境。在看不见的户外场景、虚拟到真实世界和户外到室内环境的大量实验表明,我们的方法始终比最先进的自监督的VO基线性能更好。

成为VIP会员查看完整内容
0
20

相关内容

自监督学习(self-supervised learning)可以被看作是机器学习的一种“理想状态”,模型直接从无标签数据中自行学习,无需标注数据。

题目: Deep Isometric Learning for Visual Recognition

简介: 初始化,正则化和skip连接被认为是训练非常深的卷积神经网络并获得最新性能的三种必不可少的技术。 本文表明,无需规范化或skip连接的深层卷积网络也可以训练出在标准图像识别基准上获得令人惊讶的良好性能。 这是通过在初始化和训练过程中强制卷积内核接近等距来实现的,还可以通过使用ReLU的变体来实现等距变迁。 进一步的实验表明,如果与skip连接结合使用,则即使完全不进行正则化,此类近等距网络也可以达到ResNet在ImageNet与COCO数据集上相同的性能。

成为VIP会员查看完整内容
0
16

题目: Online Deep Clustering for Unsupervised Representation Learning

摘要:

联合聚类和特征学习方法在无监督表示学习中表现出了显著的效果。但是,特征聚类和网络参数更新训练计划的交替导致视觉表征学习的不稳定。为了克服这个挑战,我们提出在线深度集群(ODC),它可以同时执行集群和网络更新,而不是交替进行。关键见解是,聚类中心应该稳步发展,以保持分类器的稳定更新。具体来说,设计和维护了两个动态内存模块,即样本记忆用于存储样本标签和特征,中心记忆用于中心进化。我们将全局聚类分解为稳定的内存更新和成批的标签重新分配。该过程被集成到网络更新迭代中。通过这种方式,标签和网络齐头并进,而不是交替发展。大量的实验表明,ODC能够稳定训练过程,有效地提高训练性能。

成为VIP会员查看完整内容
0
50

场景流估计在三维环境感知中越来越受到重视。单目场景流估计是一个高度不适定的问题,目前缺乏实用的解决方案。单目场景流估计是从两个时间上连续的图像中获取三维结构和三维运动。我们提出了一种新的单目场景流算法,该算法具有较强的精度和实时性。采用逆问题观点,我们设计了一个单独的卷积神经网络(CNN),它可以成功地从一个经典的光流成本体积同时估计深度和三维运动。我们采用带有三维损失函数和遮挡推理的自监督学习来利用未标记的数据。我们验证了我们的设计选择,包括代理丢失和增加设置。我们的模型在单目场景流的无监督/自监督学习方法中达到了最先进的精度,并在光流和单目深度估计子任务中获得了具有竞争力的结果。半监督微调进一步提高了精度,并在实时产生有希望的结果。

成为VIP会员查看完整内容
0
17

题目: Self-Supervised Viewpoint Learning From Image Collections

简介:

训练深度神经网络以估计对象的视点需要标记大型训练数据集。但是,手动标记视点非常困难,容易出错且耗时。另一方面,从互联网(例如汽车或人脸)上挖掘许多未分类的物体类别图像相对容易。我们试图回答这样的研究问题:是否可以仅通过自我监督将这种未标记的野外图像集合成功地用于训练一般对象类别的视点估计网络。这里的自我监督是指网络具有的唯一真正的监督信号是输入图像本身。我们提出了一种新颖的学习框架,该框架结合了“综合分析”范式,利用生成网络以视点感知的方式重构图像,并具有对称性和对抗性约束,以成功地监督我们的视点估计网络。我们表明,对于人脸,汽车,公共汽车和火车等几个对象类别,我们的方法在完全监督方法上具有竞争性。我们的工作为自我监督的观点学习开辟了进一步的研究,并为其提供了坚实的基础。

成为VIP会员查看完整内容
0
20

题目: Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey

摘要: 为了在计算机视觉应用中从图像或视频中获得更好的视觉特征学习性能,通常需要大规模的标记数据来训练深度神经网络。为了避免大规模数据集收集和标注的大量开销,作为无监督学习方法的一个子集,提出了一种自监督学习方法,在不使用任何人类标注的标签的情况下,从大规模无标记数据中学习图像和视频的一般特征。本文对基于深度学习的自监督一般视觉特征学习方法进行了广泛的综述。首先,描述了该领域的动机、通用管道和术语。在此基础上,总结了常用的用于自监督学习的深度神经网络体系结构。接下来,回顾了自监督学习方法的模式和评价指标,然后介绍了常用的图像和视频数据集以及现有的自监督视觉特征学习方法。最后,总结和讨论了基于基准数据集的定量性能比较方法在图像和视频特征学习中的应用。最后,对本文的研究进行了总结,并提出了一套具有发展前景的自监督视觉特征学习方法。

成为VIP会员查看完整内容
0
73
小贴士
相关VIP内容
相关论文
Learning Discriminative Model Prediction for Tracking
Goutam Bhat,Martin Danelljan,Luc Van Gool,Radu Timofte
6+阅读 · 2019年4月15日
Sudeep Pillai,Rares Ambrus,Adrien Gaidon
5+阅读 · 2018年10月3日
Qi Dou,Cheng Ouyang,Cheng Chen,Hao Chen,Pheng-Ann Heng
4+阅读 · 2018年6月19日
Luke Metz,Niru Maheswaranathan,Brian Cheung,Jascha Sohl-Dickstein
7+阅读 · 2018年5月23日
Wenbin Li,Jing Huo,Yinghuan Shi,Yang Gao,Lei Wang,Jiebo Luo
8+阅读 · 2018年5月15日
Yuyin Zhou,Yan Wang,Peng Tang,Wei Shen,Elliot K. Fishman,Alan L. Yuille
5+阅读 · 2018年5月12日
Zhanxiang Feng,Jianhuang Lai,Xiaohua Xie
7+阅读 · 2018年3月30日
Jianming Lv,Weihang Chen,Qing Li,Can Yang
6+阅读 · 2018年3月20日
Top
微信扫码咨询专知VIP会员