本项研究针对深度传感系统获取的场景深度图像分辨率低和细节丢失等问题，突破现有基于彩色指导的场景深度复原方法的局限性，即在训练及测试阶段同时需要高分辨率彩色图像和降质深度图像作为网络输入来估计高质量深度图像（在实际测试环境中，同视角的高分辨率彩色辅助信息并不容易获得）。首次提出基于跨任务场景结构知识迁移的单一场景深度图像超分辨率方法，在训练阶段从彩色图像蒸馏出场景结构信息来辅助提升深度复原性能，而测试阶段仅提供单张降质深度图像作为输入即可实现深度图像重建。该算法框架同时构造了深度估计任务（彩色图像为输入估计深度信息）及深度复原任务（低质量深度为输入估计高质量深度），并提出了基于师生角色交换的跨任务知识蒸馏策略以及不确定度引导的结构正则化学习来实现双边知识迁移，通过协同训练两个任务来提升深度超分辨率任务的性能。在实际部署和测试中，所提出的方法具有模型轻量化，算法速度快等特点，且在缺少高分辨率彩色信息辅助的情况下仍可获得优异的性能。
http://faculty.dlut.edu.cn/yexinchen/zh_CN/zdylm/1123985/list/index.htm
成为VIP会员查看完整内容
Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for Single Depth Super-Resolution
相关内容
迁移学习（Transfer Learning）是一种机器学习方法，是把一个领域（即源领域）的知识，迁移到另外一个领域（即目标领域），使得目标领域能够取得更好的学习效果。迁移学习（TL）是机器学习（ML）中的一个研究问题，着重于存储在解决一个问题时获得的知识并将其应用于另一个但相关的问题。例如，在学习识别汽车时获得的知识可以在尝试识别卡车时应用。尽管这两个领域之间的正式联系是有限的，但这一领域的研究与心理学文献关于学习转移的悠久历史有关。从实践的角度来看，为学习新任务而重用或转移先前学习的任务中的信息可能会显着提高强化学习代理的样本效率。
Arxiv
0+阅读 · 2021年5月13日
Arxiv
4+阅读 · 2019年1月4日
相关VIP内容
相关资讯
相关论文
Arxiv
0+阅读 · 2021年5月13日
Arxiv
4+阅读 · 2019年1月4日
微信扫码咨询专知VIP会员