Automatically understanding and recognising human affective states using images and computer vision can improve human-computer and human-robot interaction. However, privacy has become an issue of great concern, as the identities of people used to train affective models can be exposed in the process. For instance, malicious individuals could exploit images from users and assume their identities. In addition, affect recognition using images can lead to discriminatory and algorithmic bias, as certain information such as race, gender, and age could be assumed based on facial features. Possible solutions to protect the privacy of users and avoid misuse of their identities are to: (1) extract anonymised facial features, namely action units (AU) from a database of images, discard the images and use AUs for processing and training, and (2) federated learning (FL) i.e. process raw images in users' local machines (local processing) and send the locally trained models to the main processing machine for aggregation (central processing). In this paper, we propose a two-level deep learning architecture for affect recognition that uses AUs in level 1 and FL in level 2 to protect users' identities. The architecture consists of recurrent neural networks to capture the temporal relationships amongst the features and predict valence and arousal affective states. In our experiments, we evaluate the performance of our privacy-preserving architecture using different variations of recurrent neural networks on RECOLA, a comprehensive multimodal affective database. Our results show state-of-the-art performance of $0.426$ for valence and $0.401$ for arousal using the Concordance Correlation Coefficient evaluation metric, demonstrating the feasibility of developing models for affect recognition that are both accurate and ensure privacy.


翻译:使用图像和计算机视觉自动理解和认识人的感官状态,可以改善人类计算机和人类机器人的互动。但是,隐私已经成为一个令人极为关切的问题,因为用于培训感官模型的人的身份可以在此过程中暴露出来。例如,恶意个人可以利用用户的图像,并假定他们的身份。此外,使用图像影响识别,可能导致歧视和逻辑偏差,因为某些信息,如种族、性别和年龄等,可以以面部特征为基础假设。保护用户隐私和避免滥用其身份的可能办法如下:(1) 从图像数据库中提取匿名面部特征,即行动单位(AU),即行动单位(AU),从图像数据库中丢弃图像和使用AU进行感官模型进行处理和培训,以及(2) 联邦学习(FL),即用户的当地机器(当地处理)处理原始图像,并将经过当地培训的模型发送到主要处理机(中央处理),在本文件中,我们提议一个两级的深度学习架构,用于影响对一级和FL级的AU的认知,以保护用户身份。在经常性神经网络中,对经常性的神经模型进行影响常规测试,用来预测我们系统结构中的不同性变变变,以显示我们的货币结构,以显示我们的货币结构,以显示我们的货币结构的货币结构,以显示我们的货币结构的货币结构。

0
下载
关闭预览

相关内容

Processing 是一门开源编程语言和与之配套的集成开发环境(IDE)的名称。Processing 在电子艺术和视觉设计社区被用来教授编程基础,并运用于大量的新媒体和互动艺术作品中。
联邦学习研究综述
专知会员服务
147+阅读 · 2021年12月25日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
专知会员服务
38+阅读 · 2020年12月1日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
计算机 | CCF推荐期刊专刊信息5条
Call4Papers
3+阅读 · 2019年4月10日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
人工智能领域顶会IJCAI 2018 接受论文列表
专知
5+阅读 · 2018年5月16日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Privacy-Preserving News Recommendation Model Learning
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
VIP会员
相关VIP内容
联邦学习研究综述
专知会员服务
147+阅读 · 2021年12月25日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
专知会员服务
38+阅读 · 2020年12月1日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
相关资讯
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
计算机 | CCF推荐期刊专刊信息5条
Call4Papers
3+阅读 · 2019年4月10日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
人工智能领域顶会IJCAI 2018 接受论文列表
专知
5+阅读 · 2018年5月16日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员