The use of hand gestures provides a natural alternative to cumbersome interface devices for Human-Computer Interaction (HCI) systems. However, real-time recognition of dynamic micro hand gestures from video streams is challenging for in-vehicle scenarios since (i) the gestures should be performed naturally without distracting the driver, (ii) micro hand gestures occur within very short time intervals at spatially constrained areas, (iii) the performed gesture should be recognized only once, and (iv) the entire architecture should be designed lightweight as it will be deployed to an embedded system. In this work, we propose an HCI system for dynamic recognition of driver micro hand gestures, which can have a crucial impact in automotive sector especially for safety related issues. For this purpose, we initially collected a dataset named Driver Micro Hand Gestures (DriverMHG), which consists of RGB, depth and infrared modalities. The challenges for dynamic recognition of micro hand gestures have been addressed by proposing a lightweight convolutional neural network (CNN) based architecture which operates online efficiently with a sliding window approach. For the CNN model, several 3-dimensional resource efficient networks are applied and their performances are analyzed. Online recognition of gestures has been performed with 3D-MobileNetV2, which provided the best offline accuracy among the applied networks with similar computational complexities. The final architecture is deployed on a driver simulator operating in real-time. We make DriverMHG dataset and our source code publicly available.


翻译:使用手势是人体-计算机互动系统复杂界面装置的自然替代。然而,实时识别视频流中动态微手手势对于车辆内情景具有挑战性,因为:(一) 手势应自然地进行,而不会分散驱动器的注意力;(二) 手势在空间受限制的地区在很短的时间内发生,(三) 手势只应一次确认一次,(四) 整个结构的设计应轻度,因为它将部署到嵌入系统。在这项工作中,我们提议一个HCI系统,以动态识别驱动器微手势,这在汽车部门中特别能产生关键影响,因为(一) 手势应自然地进行,而不会转移驱动器;(二) 我们最初收集了一个名为驱动器微手姿势的数据集(DriverMHG),由RGB、深度和红外模式组成,通过提议一个轻度的转动神经网络(CNN),在网上以滑动窗口方式运行。关于驱动器手势的驱动器手势的动态识别系统(Wy-3-D资源效率网络)已应用,在S-Dreal Stabial Styal Stabial 计算系统上运行模型中进行。

0
下载
关闭预览

相关内容

MICRO:IEEE/ACM International Symposium on Microarchitecture Explanation:IEEE/ACM微体系结构国际研讨会。 Publisher:IEEE/ACM。 SIT:https://dblp.uni-trier.de/db/conf/micro/
专知会员服务
30+阅读 · 2021年6月12日
专知会员服务
59+阅读 · 2020年3月19日
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
54+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
计算机视觉领域顶会CVPR 2018 接受论文列表
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Arxiv
0+阅读 · 2021年12月13日
Arxiv
3+阅读 · 2021年10月14日
VIP会员
相关资讯
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
计算机视觉领域顶会CVPR 2018 接受论文列表
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
【推荐】全卷积语义分割综述
机器学习研究会
19+阅读 · 2017年8月31日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Top
微信扫码咨询专知VIP会员