Space-time video super-resolution (STVSR) aims to construct a high space-time resolution video sequence from the corresponding low-frame-rate, low-resolution video sequence. Inspired by the recent success to consider spatial-temporal information for space-time super-resolution, our main goal in this work is to take full considerations of spatial and temporal correlations within the video sequences of fast dynamic events. To this end, we propose a novel one-stage memory enhanced graph attention network (MEGAN) for space-time video super-resolution. Specifically, we build a novel long-range memory graph aggregation (LMGA) module to dynamically capture correlations along the channel dimensions of the feature maps and adaptively aggregate channel features to enhance the feature representations. We introduce a non-local residual block, which enables each channel-wise feature to attend global spatial hierarchical features. In addition, we adopt a progressive fusion module to further enhance the representation ability by extensively exploiting spatial-temporal correlations from multiple frames. Experiment results demonstrate that our method achieves better results compared with the state-of-the-art methods quantitatively and visually.


翻译:空间时超分辨率视频(STVSR)旨在从相应的低框架、低分辨率视频序列中构建一个高空间时分辨率视频序列。受最近成功审议空间时空信息用于空间时超分辨率的启发,我们这项工作的主要目标是在快速动态事件的视频序列中充分考虑空间和时间相关性。为此,我们提议为时空视频超分辨率建立一个新型的单级内存强化图形关注网(MEGAN)。具体地说,我们建立了一个新型的远程记忆图汇总模块,以动态地捕捉地貌图频道各层面的相互关系和适应性集成频道特征特征特征的特征。我们引入了一个非本地残留块,使每个有频道特点的特征都能够反映全球空间分级特征。此外,我们采用了一个渐进式融合模块,通过广泛利用多个框架的空间时空关联来进一步提高代表能力。实验结果表明,我们的方法与州级的定量和视觉方法相比,取得了更好的结果。

0
下载
关闭预览

相关内容

图注意力网络(Graph Attention Network,GAT),它通过注意力机制(Attention Mechanism)来对邻居节点做聚合操作,实现了对不同邻居权重的自适应分配,从而大大提高了图神经网络模型的表达能力。
【AAAI2021】Graph Diffusion Network提升交通流量预测精度
专知会员服务
53+阅读 · 2021年1月21日
Attention最新进展
极市平台
5+阅读 · 2020年5月30日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Hyperbolic Graph Attention Network
Arxiv
6+阅读 · 2019年12月6日
VIP会员
相关VIP内容
【AAAI2021】Graph Diffusion Network提升交通流量预测精度
专知会员服务
53+阅读 · 2021年1月21日
相关资讯
Attention最新进展
极市平台
5+阅读 · 2020年5月30日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员