AAAI2021 | DTGRM：具有自监督时间关系建模的动作分割

旨在对不同时间跨度的视频帧之间的时间关系和相关性进行建模，表现SOTA！性能优于50Salads、MSTCN++等网络，代码即将开源！

视频中的时间关系建模对于人类动作理解（例如行为识别和动作分割）至关重要。尽管图卷积网络（GCN）在许多任务的关系推理中显示出了令人鼓舞的优势，但在长视频序列上有效地应用图卷积网络仍然是一个挑战。主要原因是大量节点（即视频帧）使GCN难以捕获和建模视频中的时间关系。为了解决这个问题，在本文中，我们引入了一个有效的GCN模块，即膨胀时间图推理模块（DTGRM），该模块旨在对不同时间跨度的视频帧之间的时间关系和相关性进行建模。特别是，我们通过构造多级扩张的时间图来捕获和建模时间关系，其中节点表示视频中不同时刻的帧。此外，为了增强所提出模型的时间推理能力，提出了一种辅助的我监督任务，以鼓励膨胀的时间图推理模块找到并纠正视频中错误的时间关系。在三个具有挑战性的数据集上，我们的DTGRM模型优于最新的动作分割模型：50Salads，在GTEA和Breakfast数据集上。

https://www.zhuanzhi.ai/paper/c74cd67206e089bc164ab3112b168355

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“DTGRM” 可以获取《AAAI2021 | DTGRM：具有自监督时间关系建模的动作分割》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源