Video frame interpolation (VFI) is a fundamental vision task that aims to synthesize several frames between two consecutive original video images. Most algorithms aim to accomplish VFI by using only keyframes, which is an ill-posed problem since the keyframes usually do not yield any accurate precision about the trajectories of the objects in the scene. On the other hand, event-based cameras provide more precise information between the keyframes of a video. Some recent state-of-the-art event-based methods approach this problem by utilizing event data for better optical flow estimation to interpolate for video frame by warping. Nonetheless, those methods heavily suffer from the ghosting effect. On the other hand, some of kernel-based VFI methods that only use frames as input, have shown that deformable convolutions, when backed up with transformers, can be a reliable way of dealing with long-range dependencies. We propose event-based video frame interpolation with attention (E-VFIA), as a lightweight kernel-based method. E-VFIA fuses event information with standard video frames by deformable convolutions to generate high quality interpolated frames. The proposed method represents events with high temporal resolution and uses a multi-head self-attention mechanism to better encode event-based information, while being less vulnerable to blurring and ghosting artifacts; thus, generating crispier frames. The simulation results show that the proposed technique outperforms current state-of-the-art methods (both frame and event-based) with a significantly smaller model size.
翻译:视频框架间插( VFI) 是一项基本的愿景任务, 目的是在连续两个原始视频图像之间合成几个框架。 大多数算法都旨在通过仅使用键盘框架来实现 VFI, 这是一个错误的问题, 因为键盘通常不会对现场对象的轨迹产生精确的精确度。 另一方面, 以事件为基础的摄像头可以在视频的关键框架之间提供更精确的信息。 最近一些以事件为基础的最先进的基于事件的方法, 利用事件的数据对视频框架进行更好的光学流量估计, 通过扭曲将视频框架进行内插。 尽管如此, 这些方法仍然受到幻影效应的严重影响。 另一方面, 一些以内核为基础的 VFIFI 方法通常不会对现场物体的轨迹产生任何精确度。 一些以内核为主的VIFIA 方法显示事件, 一些以内核为主的VIFIA 方法, 显示以标准性、 内核、 内核、 内核、 内核、 内核、 内核、 内核、 内核、 内核、 内核、 内核、 内核、 内装 内、 显示 内核、 内核、 制式的内核、 制式的内核、 较下式、 制式的内核、 制式、 内核、 制式、 显示较内核、 内核、 内核、 内核、 制式的内核、 制式的机、 制式的内核、 制式、 制式的内核、 制式、 制式、 内核、 制式、 内核、 内核、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 制式、 </s>