Federated learning is proposed as an alternative to centralized machine learning since its client-server structure provides better privacy protection and scalability in real-world applications. In many applications, such as smart homes with Internet-of-Things (IoT) devices, local data on clients are generated from different modalities such as sensory, visual, and audio data. Existing federated learning systems only work on local data from a single modality, which limits the scalability of the systems. In this paper, we propose a multimodal and semi-supervised federated learning framework that trains autoencoders to extract shared or correlated representations from different local data modalities on clients. In addition, we propose a multimodal FedAvg algorithm to aggregate local autoencoders trained on different data modalities. We use the learned global autoencoder for a downstream classification task with the help of auxiliary labelled data on the server. We empirically evaluate our framework on different modalities including sensory data, depth camera videos, and RGB camera videos. Our experimental results demonstrate that introducing data from multiple modalities into federated learning can improve its classification performance. In addition, we can use labelled data from only one modality for supervised learning on the server and apply the learned model to testing data from other modalities to achieve decent F1 scores (e.g., with the best performance being higher than 60%), especially when combining contributions from both unimodal clients and multimodal clients.
翻译:联邦学习是作为中央机器学习的一种替代办法而提出的,因为其客户-服务器结构提供了更好的隐私保护和在现实世界应用中的可扩缩性。在许多应用中,例如智能之家,使用互联网(IoT)设备,当地客户数据来自感官、视觉和音频数据等不同模式。现有的联邦学习系统仅从单一模式中就本地数据开展工作,这限制了系统的可扩缩性。在本文中,我们提议了一个多式和半监督的联合会式学习框架,用于培训自动编码器,从不同地方数据模式中提取共享或关联的客户表现。此外,我们向接受过不同数据模式培训的当地综合自动编码器提议一个多式 FedAvg 算法。我们使用已学过的全球自动编码器进行下游分类工作,同时借助服务器上的辅助标签数据。我们实证地评估了我们关于不同模式的框架,包括传感器数据、深度相机和RGB摄像机。我们的实验结果表明,将多种模式中的数据引入化成异式学习模式,可以改善客户的分类工作表现。此外,我们还可以使用标签服务器数据,从一种测试模式,从一个模式到另一个模式,而不是测试。我们只能从一个模式,从一个模式学习一个模式,从一个模式,从一个模式到另一个模式,从一个模式,从一个模式学习一个模式,从一个模式,从一个模式,从一个模式,从一个模式到一个模式,从一个模式从一个模式到另一个模式,从一个模式,从一个模式学习到另一个模式,从一个模式,从一个模式学习到另一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式从一个模式,从一个模式,从一个模式到另一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式到另一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式到一个模式,从一个模式,从一个模式到一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从一个模式,从