如何正确建模视频序列中的帧间关系是视频恢复(VR)中一个重要但尚未解决的问题。**在本研究中,我们提出一种无监督流对齐序列对序列模型(S2SVR)来解决这个问题。**一方面,在虚拟现实中首次探索了在自然语言处理领域已被证明具有序列建模能力的序列对序列模型。优化的序列化建模显示了捕获帧之间的远程依赖关系的潜力。另一方面,我们提出序列到序列模型与无监督光流估计器,以最大限度地发挥其潜力。流量估计器使用我们提出的无监督蒸馏损失进行训练,这可以缓解以前基于流量的方法的数据差异和不准确的退化光流量问题。通过可靠的光流,我们可以在多个帧之间建立精确的对应关系,缩小一维语言帧和二维失调帧之间的域差异,提高序列对序列模型的潜力。S2SVR在多个VR任务中表现优异,包括视频去模糊、视频超分辨率、视频压缩质量增强等。https://github。com/linjing7/VR-Baseline

https://www.zhuanzhi.ai/paper/cd5d99f20f1647204b5e7a5158c9ee01

成为VIP会员查看完整内容
12

相关内容

国际机器学习大会(International Conference on Machine Learning,简称ICML ) 是由国际机器学习学会(IMLS)主办的机器学习国际顶级会议,也是CCF-A类学术会议。ICML 2022 共收到5630 投稿,接收1117 篇 short oral,118篇 long oral,录用率为21.94%。
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
【AAAI2022】基于对比时空前置学习的视频自监督表示
专知会员服务
19+阅读 · 2021年12月19日
【AAAI2022】通过自适应聚类关系建模的无监督行人再识别
专知会员服务
15+阅读 · 2021年10月4日
专知会员服务
7+阅读 · 2021年10月4日
专知会员服务
36+阅读 · 2021年6月3日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
【ACL2020-Facebook AI】大规模无监督跨语言表示学习
专知会员服务
33+阅读 · 2020年4月5日
【KDD2022】GraphMAE:自监督掩码图自编码器
专知
7+阅读 · 2022年6月12日
【CVPR2022】ContrastMask:对比学习来分割各种
专知
0+阅读 · 2022年3月21日
【AAAI2022】(2.5+1)D时空场景图用于视频问答
CVPR 2020 | 细粒度文本视频跨模态检索
AI科技评论
17+阅读 · 2020年3月24日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年7月13日
Multi-Domain Multi-Task Rehearsal for Lifelong Learning
Arxiv
12+阅读 · 2020年12月14日
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
Knowledge Representation Learning: A Quantitative Review
VIP会员
相关VIP内容
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
【AAAI2022】基于对比时空前置学习的视频自监督表示
专知会员服务
19+阅读 · 2021年12月19日
【AAAI2022】通过自适应聚类关系建模的无监督行人再识别
专知会员服务
15+阅读 · 2021年10月4日
专知会员服务
7+阅读 · 2021年10月4日
专知会员服务
36+阅读 · 2021年6月3日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
【ACL2020-Facebook AI】大规模无监督跨语言表示学习
专知会员服务
33+阅读 · 2020年4月5日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员