【AAAI2021】用于视频描述的语义分组网络

 本文提出一种语义分组网络通过建立词组与相关语义视频帧的映射来减少信息冗余。   本文提出了一个语义分组网络（SGN）的视频描述生成网络，该网络尝试（1）使用具有部分已解码描述的可区分词组对视频帧进行分组，然后（2）在预测下一个单词时使用这些语义对齐的视频帧组进行解码。 本文发现连续的帧可能提供了相同的信息，然而现有方法集中于仅基于输入视频来丢弃或合并重复信息。语义分组网络学习了一种算法来捕获部分已解码描述中最具区分性的词组以及将每个词组与相关视频帧的映射，通过建立此映射可以将语义上相关的帧聚类，从而减少冗余。与现有方法相反，来自已解码描述词的连续反馈使语义分组网络能够动态更新适应部分解码描述的视频表示。此外，本文提出了一种对比注意损失，以促进单词短语和视频帧之间的准确对齐而无需人工注释。

https://www.zhuanzhi.ai/paper/ca2f9fa733ff339f5ca3e10526823d47

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“SGVC” 可以获取《【AAAI2021】用于视频描述的语义分组网络》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源