表情识别 | 结合滑动窗口动态时间规整和CNN的视频人脸表情识别

引用格式

胡敏,张珂珂,王晓华,等.

滑动窗口动态时

间规整和CNN的视频

人脸表情识别

[J]. 中国图象图形学报,2018,23(8): 1144-1153.

DOI: 10.11834/jig.170454

原文链接

http://www.cjig.cn/html/jig/2018/8/weixin/20180804.htm

面部表情是内心情感和意图非常重要的表达方式之一，在人工智能发展迅猛的今天，面部表情识别已经成为人机交互的重要组成部分，在智能汽车、教育质量监督、医疗应用等方面都有很广阔的应用前景。

Ekman等人定义了6种基本情感类别：愤怒、厌恶、恐惧、快乐、悲伤和惊讶，此后，研究者们根据情感类别展开对人脸表情的研究，并逐渐发展为基于静态图片的表情识别和基于动态序列的表情识别。

导语：在视频表情分类任务中，如何避免中性表情对模型的干扰是其中的一个关键点，用滑动窗口动态时间规整（SWDTW）算法对视频序列进行规整，选取视频中表情表现明显的视频序列，并与卷积神经网络相结合，实现了视频表情的分类任务。

专家推荐

论文采用了一种划窗动态时间规整算法（SWDTW）进行视频序列中人脸表情帧的最优截取，即找到具有明显表情的帧作为神经网络的训练集，可以减少人工挑选训练数据集所花费的时间。

论文看点

本文构建了一种基于深度卷积神经网络的人脸表情识别方法。与目前一些优秀的视频表情识别方法相比，本文提出的SWDTW不仅有效的实现了表情序列的选取，而且提高了卷积神经网络在视频面部表情分类中的鲁棒性。

本文方法

首先截取表情视频中人脸正面帧，用梯度方向直方图特征计算代价矩阵，并在代价矩阵上增加滑动窗口机制，计算所有滑动窗口的平均距离；然后通过平均距离最小值选取全局最优表情序列；最后采用深度卷积神经网络对规整后的人脸表情图像序列进行无监督学习和面部表情分类，统计视频序列图像分类概率和，进而得出视频序列的表情类别。

▲依赖于端点检测的规整路径

▲表情识别网络结构示意

实验结果

在CK+与MMI数据库上进行5次交叉实验，分别取得了92.54%和74.67%的平均识别率，与随机选取视频序列相比，分别提高了19.86%和22.24%；此外，与目前一些优秀的视频表情识别方法相比，也表现出了优越性。

 本文提出的SWDTW不仅有效地实现了表情序列的选取，而且增强了卷积神经网络在视频面部表情分类中的鲁棒性，提高了视频人脸表情分析的自适应性度和识别率。

▲   $W$  大小与MMI上平均识别率关系

▲$W$大小与CK+上平均识别率关系

首先分别对4种跟踪算法的基本原理进行介绍，然后针对4种跟踪算法基本原理的不足和对应目标跟踪中的难点问题进行分析，最后针对目标跟踪的难点问题，给出对应算法的主流改进方案。

第一作者

胡敏，女，硕士生导师，研究方向为计算机视觉、数字图像处理等。

E-mail：uhnim@163.com

通信作者

张柯柯，女，硕士研究生，研究方向为人工智能与模式识别等。E-mail：709525993@qq.com

其他作者

王晓华，女，副教授，硕士生导师，研究方向为数字图像处理、情感计算等。E-mail：xh_wang@hfut.edu.cn

任福继，男，教授，博士生导师，研究方向为情感计算、自然语言处理、人工智能等。E-mail ren2fuji@gmail.com

前沿丨观点丨咨讯丨独家

扫描下方二维码 关注学报公众号

中国图象图形学报 | 订阅号