In this paper, we propose a novel Feature Decomposition and Reconstruction Learning (FDRL) method for effective facial expression recognition. We view the expression information as the combination of the shared information (expression similarities) across different expressions and the unique information (expression-specific variations) for each expression. More specifically, FDRL mainly consists of two crucial networks: a Feature Decomposition Network (FDN) and a Feature Reconstruction Network (FRN). In particular, FDN first decomposes the basic features extracted from a backbone network into a set of facial action-aware latent features to model expression similarities. Then, FRN captures the intra-feature and inter-feature relationships for latent features to characterize expression-specific variations, and reconstructs the expression feature. To this end, two modules including an intra-feature relation modeling module and an inter-feature relation modeling module are developed in FRN. Experimental results on both the in-the-lab databases (including CK+, MMI, and Oulu-CASIA) and the in-the-wild databases (including RAF-DB and SFEW) show that the proposed FDRL method consistently achieves higher recognition accuracy than several state-of-the-art methods. This clearly highlights the benefit of feature decomposition and reconstruction for classifying expressions.


翻译:在本文中,我们提出了一种新的面部表达式识别功能地貌分解和重建学习法(FDRL),我们认为表达方式信息是不同表达式共享信息(表达式相似性)和每个表达式独特信息(表达式特定变异性)的组合。更具体地说,FDRL主要由两个关键网络组成:地貌分解网络(FDN)和地貌重建网络(FRN)。特别是,FDN首先将从一个主干网中提取的基本特征分解成一组面部行动潜在特征与模范表达式相似性。然后,FRN捕捉到各种潜在特征的内在特性和功能性关系(表达式相似性相似性),并重建表达方式特征特征。为此,在FRN开发了两个模块,包括一个地貌关系建模模块和特征关系模型模块。FDRN数据库(包括C+、MMI和Oulu-CASIA)以及内部数据库(包括RA-DF-DF-D-CRA-S-SI)中一系列持续实现FDR-CI-SICSIA的收益识别特征识别特征识别特征识别特征特征识别和SFDFDFD-SDFD-SBSBSBSBSBSBSBSBSBSBSBSBSBS)的高级特征特征特征特征特征特征特征特征特征特征特征特征特征特征特征显示。

15
下载
关闭预览

相关内容

Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
14+阅读 · 2019年4月13日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
13+阅读 · 2019年11月14日
Deep Face Recognition: A Survey
Arxiv
17+阅读 · 2019年2月12日
A Compact Embedding for Facial Expression Similarity
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
14+阅读 · 2019年4月13日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员