Video frame interpolation (VFI) is a fundamental vision task that aims to synthesize several frames between two consecutive original video images. Most algorithms aim to accomplish VFI by using only keyframes, which is an ill-posed problem since the keyframes usually do not yield any accurate precision about the trajectories of the objects in the scene. On the other hand, event-based cameras provide more precise information between the keyframes of a video. Some recent state-of-the-art event-based methods approach this problem by utilizing event data for better optical flow estimation to interpolate for video frame by warping. Nonetheless, those methods heavily suffer from the ghosting effect. On the other hand, some of kernel-based VFI methods that only use frames as input, have shown that deformable convolutions, when backed up with transformers, can be a reliable way of dealing with long-range dependencies. We propose event-based video frame interpolation with attention (E-VFIA), as a lightweight kernel-based method. E-VFIA fuses event information with standard video frames by deformable convolutions to generate high quality interpolated frames. The proposed method represents events with high temporal resolution and uses a multi-head self-attention mechanism to better encode event-based information, while being less vulnerable to blurring and ghosting artifacts; thus, generating crispier frames. The simulation results show that the proposed technique outperforms current state-of-the-art methods (both frame and event-based) with a significantly smaller model size.


翻译:视频框架间插( VFI) 是一项基本的愿景任务, 目的是在连续两个原始视频图像之间合成几个框架。 大多数算法都旨在通过仅使用键盘框架来实现 VFI, 这是一个错误的问题, 因为键盘通常不会对现场对象的轨迹产生精确的精确度。 另一方面, 以事件为基础的摄像头可以在视频的关键框架之间提供更精确的信息。 最近一些以事件为基础的最先进的基于事件的方法, 利用事件的数据对视频框架进行更好的光学流量估计, 通过扭曲将视频框架进行内插。 尽管如此, 这些方法仍然受到幻影效应的严重影响。 另一方面, 一些以内核为基础的 VFIFI 方法通常不会对现场物体的轨迹产生任何精确度。 一些以内核为主的VIFIA 方法显示事件, 一些以内核为主的VIFIA 方法, 显示以标准性、 内核、 内核、 内核、 内核、 内核、 内核、 内核、 内核、 内核、 内核、 内核、 内核、 内装 内、 显示 内核、 内核、 制式的内核、 制式的内核、 较下式、 制式的内核、 制式、 内核、 制式、 显示较内核、 内核、 内核、 内核、 制式的内核、 制式的机、 制式的内核、 制式、 制式的内核、 制式、 制式、 内核、 制式、 内核、 内核、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 </s>

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
【论文推荐】小样本视频合成,Few-shot Video-to-Video Synthesis
专知会员服务
23+阅读 · 2019年12月15日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
16+阅读 · 2021年3月2日
Arxiv
26+阅读 · 2020年2月21日
Exploring Visual Relationship for Image Captioning
Arxiv
14+阅读 · 2018年9月19日
Arxiv
13+阅读 · 2017年12月5日
VIP会员
相关VIP内容
【论文推荐】小样本视频合成,Few-shot Video-to-Video Synthesis
专知会员服务
23+阅读 · 2019年12月15日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员