行为识别是当前计算机视觉方向中视频理解领域的重要研究课题。从视频中准确提取人体动作的特征并识别动作,能为医疗、安防等领域提供重要的信息,是一个十分具有前景的方向。本文从数据驱动的角度出发,全面介绍了行为识别技术的研究发展,对具有代表性的行为识别方法或模型进行了系统阐述。行为识别的数据分为RGB模态数据、深度模态数据、骨骼模态数据以及融合模态数据。首先介绍了行为识别的主要过程和人类行为识别领域不同数据模态的公开数据集;然后根据数据模态分类,回顾了RGB模态、深度模态和骨骼模态下基于传统手工特征和深度学习的行为识别方法,以及多模态融合分类下RGB模态与深度模态融合的方法和其他模态融合的方法。传统手工特征法包括基于时空体积和时空兴趣点的方法(RGB模态)、基于运动变化和外观的方法(深度模态)以及基于骨骼特征的方法(骨骼模态)等;深度学习方法主要涉及卷积网络、图卷积网络和混合网络,重点介绍了其改进点、特点以及模型的创新点。基于不同模态的数据集分类进行不同行为识别技术的对比分析。通过类别内部和类别之间两个角度对比分析后,得出不同模态的优缺点与适用场景、手工特征法与深度学习法的区别和融合多模态的优势。最后,总结了行为识别技术当前面临的问题和挑战,并基于数据模态的角度提出了未来可行的研究方向和研究重点。 http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20221101&flag=1

成为VIP会员查看完整内容
63

相关内容

基于深度学习的图像融合方法综述
专知会员服务
51+阅读 · 2023年1月25日
「多模态处理技术」最新2022研究进展综述
专知会员服务
125+阅读 · 2022年10月29日
TPAMI 2022 | 最新综述:基于不同数据模态的行为识别
专知会员服务
46+阅读 · 2022年7月2日
专知会员服务
43+阅读 · 2021年10月1日
专知会员服务
49+阅读 · 2021年8月13日
神经问题生成前沿综述
专知会员服务
15+阅读 · 2021年6月5日
专知会员服务
67+阅读 · 2021年5月21日
基于深度学习的行人检测方法综述
专知会员服务
65+阅读 · 2021年4月14日
专知会员服务
44+阅读 · 2021年3月19日
多模态视觉语言表征学习研究综述
专知会员服务
182+阅读 · 2020年12月3日
「多模态处理技术」最新2022研究进展综述
专知
4+阅读 · 2022年10月29日
数据受限条件下的多模态处理技术综述
专知
9+阅读 · 2022年7月16日
深度学习驱动的知识追踪研究进展综述
专知
1+阅读 · 2021年11月15日
基于深度学习的数据融合方法研究综述
专知
25+阅读 · 2020年12月10日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
深度学习人体姿态估计算法综述
AI前线
22+阅读 · 2019年5月19日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
Arxiv
1+阅读 · 2023年2月1日
Arxiv
29+阅读 · 2022年9月10日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
53+阅读 · 2021年5月3日
Arxiv
18+阅读 · 2020年12月23日
Arxiv
21+阅读 · 2018年8月30日
VIP会员
相关VIP内容
基于深度学习的图像融合方法综述
专知会员服务
51+阅读 · 2023年1月25日
「多模态处理技术」最新2022研究进展综述
专知会员服务
125+阅读 · 2022年10月29日
TPAMI 2022 | 最新综述:基于不同数据模态的行为识别
专知会员服务
46+阅读 · 2022年7月2日
专知会员服务
43+阅读 · 2021年10月1日
专知会员服务
49+阅读 · 2021年8月13日
神经问题生成前沿综述
专知会员服务
15+阅读 · 2021年6月5日
专知会员服务
67+阅读 · 2021年5月21日
基于深度学习的行人检测方法综述
专知会员服务
65+阅读 · 2021年4月14日
专知会员服务
44+阅读 · 2021年3月19日
多模态视觉语言表征学习研究综述
专知会员服务
182+阅读 · 2020年12月3日
相关资讯
「多模态处理技术」最新2022研究进展综述
专知
4+阅读 · 2022年10月29日
数据受限条件下的多模态处理技术综述
专知
9+阅读 · 2022年7月16日
深度学习驱动的知识追踪研究进展综述
专知
1+阅读 · 2021年11月15日
基于深度学习的数据融合方法研究综述
专知
25+阅读 · 2020年12月10日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
深度学习人体姿态估计算法综述
AI前线
22+阅读 · 2019年5月19日
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
相关论文
Arxiv
1+阅读 · 2023年2月1日
Arxiv
29+阅读 · 2022年9月10日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
53+阅读 · 2021年5月3日
Arxiv
18+阅读 · 2020年12月23日
Arxiv
21+阅读 · 2018年8月30日
微信扫码咨询专知VIP会员