多模态数据的行为识别综述

2022 年 11 月 30 日 专知
行为识别是当前计算机视觉方向中视频理解领域的重要研究课题。从视频中准确提取人体动作的特征并识别动作,能为医疗、安防等领域提供重要的信息,是一个十分具有前景的方向。本文从数据驱动的角度出发,全面介绍了行为识别技术的研究发展,对具有代表性的行为识别方法或模型进行了系统阐述。行为识别的数据分为RGB模态数据、深度模态数据、骨骼模态数据以及融合模态数据。首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集;然后根据数据模态分类,回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法,以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法。传统手工特征法包括基于时空体积和时空兴趣点的方法(RGB模态)、基于运动变化和外观的方法(深度模态)以及基于骨骼特征的方法(骨骼模态)等;深度学习方法主要涉及卷积网络、图卷积网络和混合网络,重点介绍了其改进点、特点以及模型的创新点。基于不同模态的数据集分类进行不同行为识别技术的对比分析。通过类别内部和类别之间两个角度对比分析后,得出不同模态的优缺点与适用场景、手工特征法与深度学习法的区别和融合多模态的优势。最后,总结了行为识别技术当前面临的问题和挑战,并基于数据模态的角度提出了未来可行的研究方向和研究重点。
http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20221101&flag=1


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“MDAR” 就可以获取多模态数据的行为识别综述》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料

登录查看更多
4

相关内容

行为识别的要旨是企业在内部协调和对外交往中应该有一种规范性准则。这种准则具体体现在全体员工上下一致的日常行为中。也就是说,员工们的一招一式的行为举动都应该是一种企业行为,能反映出企业的经营理念和价值取向,而不是独立的随心所欲的个人行为。
「多模态处理技术」最新2022研究进展综述
专知会员服务
130+阅读 · 2022年10月29日
数据受限条件下的多模态处理技术综述
专知会员服务
82+阅读 · 2022年7月16日
TPAMI 2022 | 最新综述:基于不同数据模态的行为识别
专知会员服务
48+阅读 · 2022年7月2日
深度学习人脸特征点自动定位综述
专知会员服务
23+阅读 · 2021年12月1日
专知会员服务
49+阅读 · 2021年8月13日
专知会员服务
58+阅读 · 2021年3月25日
专知会员服务
28+阅读 · 2020年12月16日
基于深度学习的数据融合方法研究综述
专知会员服务
127+阅读 · 2020年12月10日
多模态视觉语言表征学习研究综述
专知会员服务
185+阅读 · 2020年12月3日
多源数据行人重识别研究综述
专知会员服务
37+阅读 · 2020年11月2日
「多模态处理技术」最新2022研究进展综述
专知
4+阅读 · 2022年10月29日
深度学习药物发现综述
专知
4+阅读 · 2022年6月2日
文本风格迁移研究综述
专知
0+阅读 · 2022年1月1日
监控视频的异常检测与建模综述
专知
0+阅读 · 2021年12月27日
深度学习人脸特征点自动定位综述
专知
0+阅读 · 2021年12月1日
群体行为识别深度学习方法研究综述
专知
0+阅读 · 2021年11月29日
FPGA加速深度学习综述
专知
3+阅读 · 2021年11月13日
基于深度学习的数据融合方法研究综述
专知
25+阅读 · 2020年12月10日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
13+阅读 · 2022年1月20日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
19+阅读 · 2020年12月23日
VIP会员
相关VIP内容
「多模态处理技术」最新2022研究进展综述
专知会员服务
130+阅读 · 2022年10月29日
数据受限条件下的多模态处理技术综述
专知会员服务
82+阅读 · 2022年7月16日
TPAMI 2022 | 最新综述:基于不同数据模态的行为识别
专知会员服务
48+阅读 · 2022年7月2日
深度学习人脸特征点自动定位综述
专知会员服务
23+阅读 · 2021年12月1日
专知会员服务
49+阅读 · 2021年8月13日
专知会员服务
58+阅读 · 2021年3月25日
专知会员服务
28+阅读 · 2020年12月16日
基于深度学习的数据融合方法研究综述
专知会员服务
127+阅读 · 2020年12月10日
多模态视觉语言表征学习研究综述
专知会员服务
185+阅读 · 2020年12月3日
多源数据行人重识别研究综述
专知会员服务
37+阅读 · 2020年11月2日
相关资讯
「多模态处理技术」最新2022研究进展综述
专知
4+阅读 · 2022年10月29日
深度学习药物发现综述
专知
4+阅读 · 2022年6月2日
文本风格迁移研究综述
专知
0+阅读 · 2022年1月1日
监控视频的异常检测与建模综述
专知
0+阅读 · 2021年12月27日
深度学习人脸特征点自动定位综述
专知
0+阅读 · 2021年12月1日
群体行为识别深度学习方法研究综述
专知
0+阅读 · 2021年11月29日
FPGA加速深度学习综述
专知
3+阅读 · 2021年11月13日
基于深度学习的数据融合方法研究综述
专知
25+阅读 · 2020年12月10日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Top
微信扫码咨询专知VIP会员