We propose a novel reference-based video colorization framework with spatiotemporal correspondence. Reference-based methods colorize grayscale frames referencing a user input color frame. Existing methods suffer from the color leakage between objects and the emergence of average colors, derived from non-local semantic correspondence in space. To address this issue, we warp colors only from the regions on the reference frame restricted by correspondence in time. We propagate masks as temporal correspondences, using two complementary tracking approaches: off-the-shelf instance tracking for high performance segmentation, and newly proposed dense tracking to track various types of objects. By restricting temporally-related regions for referencing colors, our approach propagates faithful colors throughout the video. Experiments demonstrate that our method outperforms state-of-the-art methods quantitatively and qualitatively.


翻译:我们提出一个新的基于参考的视频色彩化框架,使用时空通信。基于参考的方法将灰度框架颜色化,为用户输入的颜色框架提供参照。现有的方法因物体之间的颜色泄漏和来自空间非本地语义通信的平均颜色的出现而受到影响。为了解决这一问题,我们只在时间通信限制的参考框架中从区域扭曲颜色。我们使用两种互补的跟踪方法,将面具作为时间通信传播,使用两种互补的跟踪方法:高性能分解的现成实例跟踪,以及新提出的大量跟踪跟踪以跟踪各种类型的物体。通过限制与时间有关的区域以查找颜色,我们的方法在整个视频中传播忠实的颜色。实验表明,我们的方法在数量上和质量上优于最先进的方法。

0
下载
关闭预览

相关内容

商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
视频目标检测大盘点
极市平台
5+阅读 · 2020年11月27日
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
简评 | Video Action Recognition 的近期进展
极市平台
20+阅读 · 2019年4月21日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【泡泡一分钟】基于视频修复的时空转换网络
泡泡机器人SLAM
5+阅读 · 2018年12月30日
【ECCV2018】24篇论文代码实现
专知
17+阅读 · 2018年9月10日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
目标跟踪的一篇论文及代码视频
CreateAMind
8+阅读 · 2017年9月7日
Arxiv
5+阅读 · 2020年3月16日
Single-frame Regularization for Temporally Stable CNNs
Arxiv
3+阅读 · 2012年11月20日
VIP会员
相关VIP内容
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
相关资讯
视频目标检测大盘点
极市平台
5+阅读 · 2020年11月27日
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
简评 | Video Action Recognition 的近期进展
极市平台
20+阅读 · 2019年4月21日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【泡泡一分钟】基于视频修复的时空转换网络
泡泡机器人SLAM
5+阅读 · 2018年12月30日
【ECCV2018】24篇论文代码实现
专知
17+阅读 · 2018年9月10日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
目标跟踪的一篇论文及代码视频
CreateAMind
8+阅读 · 2017年9月7日
Top
微信扫码咨询专知VIP会员