TPAMI 2022 | 最新综述：基于不同数据模态的行为识别

转载机器之心

作者：孙泽华

本文对当前基于深度学习的行为识别方法进行了全面的综述。

人 类行为识别旨在了解人类的行为，并为行为指定标签，例如，握手、吃东西、跑步等。 它具有广泛的应用前景，在计算机视觉领域受到越来越多的关注。 人类行为可以使用各种数据模态来表示，如 RGB、骨架、深度、红外序列、点云、事件流、音频、加速信号、雷达和 WiFi，这些数据模态在不同的场景下具有不同的优势。本文研究者 基于主流深度学习，对当前基于深度学习的行为识别方法进行了全面的综述，涉及多种数据模态。

论文链接：https://www.zhuanzhi.ai/paper/2ec5816a403413a14f9787155e3546fc

具体而言：

（1）该论文回顾了基于单模态的行为识别方法，这些模态包括 RGB、骨架、深度、红外序列、点云、事件流、音频、加速信号、雷达和 WiFi。

（2）该论文回顾了基于多模态的行为识别方法，并将其分为多模态融合和跨模态协同学习两种类型。

（3）该论文回顾了最新和最先进的深度学习方法，包括 CNN、RNN、GCN 和 Transformer，并在几个基准数据集上对现有方法及其性能进行了全面比较。

行为识别是近些年来备受关注的重要研究领域，各种具有不同特征的数据模态被研究使用。虽然已有大量的行为识别工作被提出，但在（1）数据集、（2）多模态学习、（3）低成本计算、（4）动作预测、（5）小样本学习、（6）非监督和半监督学习等方面仍需要进一步的探索，坚信行为识别将在未来发挥更加关键的作用。

作者拟对此论文的 arXiv 版本每年进行定期更新，以覆盖人类行为识别领域的最新进展。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“HADL” 就可以获取《TPAMI 2022 | 最新综述：基于不同数据模态的行为识别》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料