【AAAI2021】时间关系建模与自监督的动作分割

论文概述：视频中的时序关系建模对于行为动作理解（如动作识别和动作分割）至关重要。尽管图卷积网络（GCN）在许多任务的关系推理中显示出令人鼓舞的优势，但如何在长视频序列上有效地应用图卷积网络仍然是一个挑战。其主要原因是大量存在的视频帧节点使GCN难以捕获和建模视频中的时序依赖关系。为了解决此问题，本文引入了一个有效的GCN模块，即膨胀时序图推理模块（DTGRM），该模块旨在对不同时间跨度视频帧之间的时序关系和相关性进行建模，尤其可以通过构造多级扩张的时序图来捕获和建模长跨度的时序关系。此外，为了增强所提出模型的时序推理能力，本文提出了一种辅助的自监督任务，以鼓励膨胀的时序图推理模块找到并纠正视频中错误的时序关系。本模型在三个具有挑战性的数据集上均优于最新的行动分割模型。

https://www.zhuanzhi.ai/paper/c74cd67206e089bc164ab3112b168355

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“DTGRM” 可以获取《【AAAI2021】时间关系建模与自监督的动作分割》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源