摘要

随着医学影像设施的最新发展，每天都会产生大量的医学影像数据。这种不断增加的数据量为研究人员提供了开发数据驱动方法和提供更好医疗服务的机会。然而，数据驱动的模型需要大量的数据来进行充分的训练。此外，每个数据中心的可用数据量总是有限的。因此，在本地数据中心训练的深度学习模型可能无法达到其总的性能能力。一个解决方案可以是将不同中心的所有数据积累到一个中心。然而，数据隐私法规不允许医疗机构轻易合并他们的数据，当涉及到来自多个国家的机构时，这就变得越来越困难。另一个解决方案是使用保护隐私的算法，它可以利用多个中心的所有数据，同时保持敏感数据的隐私。联邦学习（FL）就是这样一种机制，它能够在不共享敏感数据的情况下部署在不同数据中心训练的大规模机器学习模型。在联邦学习中，不是传输数据，而是在本地数据集上训练一个通用模型，并在数据中心之间传输。FL已被确定为一个有前途的研究领域，在医学研究和实践中可能有广泛的用途。本文介绍了FL，全面探讨了它的概念和最近在医学影像方面的研究趋势。

关键字

联邦学习；保护隐私的机器学习；医学影像

引言

深度学习在放射学领域显示出巨大的前景。它已被广泛用于各种医学成像领域，并已在许多方面帮助了临床医生和放射学专家。放射学领域已经极大地受益于深度学习研究。事实证明，深度学习可以改善现有的肿瘤检测模型，从早期处理阶段，如MRI和CT的图像增强、降噪、病变检测和分割以及疾病监测。所有这些领域都显示出人工智能（AI）在临床上的应用前景广阔。

深度神经网络由许多层组成，有数十亿个参数，它们通过训练来学习从原始输入数据到所需标签的复杂、高维的映射[1]。在现实世界的医疗实践中，训练深度神经网络的主要问题是需要大量的不同数据。在单一机构的单一数据集上训练的神经网络可能很容易被过度拟合，从而导致对该机构的强烈偏见和糟糕的概括性。此外，一个客户的影像数据中的潜在模式可能会影响神经网络的性能，而与图像中的实际生物方式无关。例如，只包含一种模式或在特定图谱上注册的图像的数据集可能会使深度学习模型偏向于该模式或图谱，将不相关的数据捕捉为重要的预测因素。一个机构的数据质量取决于多种因素，如病人的数量、可用的影像机器的类型或数量，以及该机构可用的专家数量。并非所有的医疗机构都有大量不同的影像数据，因此深度学习模型通常在有限的数据集上进行训练。这使得在病例数量少的情况下，临床决策的负担很重，这在罕见疾病中更经常发生。

解决这种数据短缺的一个潜在办法是，从不同的客户那里获得影像数据集。这种方法有可能增加收集的数据的数量和多样性。建立这种合作的最常见的方法是集中来自多个机构的大量不同的数据集，并在位于中央枢纽的累积数据集上训练一个深度神经网络，如图1所示。然而，这种技术充满了困难；严格的国家或地区隐私规则，如欧洲的通用数据保护条例或美国的HIPAA，使各机构不能轻易分享他们的病人数据。其他障碍可能来自于多个利益相关者，包括医院、病人、研究人员、医生和工业企业，他们都在追求自己的利益。一个机构为收集和清理数据所花费的大量时间和精力（也就是金钱）使其对与其他机构共享数据犹豫不决。

图1.集中式数据共享。

最近在保护隐私的人工智能算法方面的进展在解决这个问题上起到了至关重要的作用。它们使研究人员和机构能够在来自多个机构的不同影像数据上训练他们的网络，同时确保数据将被保存在本地，从而避免了与建立和维护一个广泛的中央数据库有关的许多问题。深度学习的一个一般性方法是分散或分布式学习。分布式学习可以被定义为一组算法，其中多个客户端完成部分计算或数据存储任务。数据分布允许众多客户参与到学习过程中，并在输入数据量较大的情况下实现更高的性能。它一般涉及多个节点和客户端做部分计算，每个节点和客户端都在自己的本地数据库上。分布式学习是出于各种原因，包括性能提升和大规模计算。联邦学习（FL）是分布式学习的一个版本，为数据隐私至关重要的任务量身定做，这样研究人员可以在进行分布式学习时保护隐私。这一功能使医疗保健中心能够在不损害其本地数据隐私的情况下训练深度学习模型。

FL算法

深度学习模型是一种基于人工神经网络的算法形式。它使用大量的数据来从中提取模式。人工神经网络一般由数以百万计的参数组成，称为模型权重。训练一个模型是调整神经网络的参数以执行任务的过程（例如，在成像领域的检测、分类或分割）。训练过程是通过将模型暴露在一个特定的数据集上几轮来完成的。更多轮次和更广泛的训练数据通常会导致更准确的参数调整和更好的模型性能。一般来说，模型的大小取决于它们的复杂性和参数的数量，而不考虑它们被训练的数据有多少。流行的深度学习模型的大小不超过大约150MB[2]。

因此，巨大的影像数据集的复杂模式可以在尺寸更小的模型中进行编码。这一特点带来的一个直接优势是在分布式环境中。在这些情况下，共享模型比共享数据要实际得多。因此，在涉及大量数据（如高分辨率图像或多层磁共振和CT扫描）的分布式环境中，共享模型是感兴趣的主题。

FL是一种分布式学习方法，其中多个参与者在他们的数据上训练（或更新）一个本地模型，而不需要实际发送数据到中心节点。一个全局模型根据从参与者那里收到的更新模型进行更新。这种训练方式允许研究人员确保模型的私密性，并分散了繁重的计算过程。FL在通信方面也很有效，因为在这种情况下，通常只有模型的权重会被通信。在这方面，它解决了大量数据从一个机构转移到另一个机构的基础设施障碍。各种协调全局和局部模型更新的方法导致FL的多个版本。一般来说，联邦网络需要多个持有数据并进行本地训练的客户端和一个管理整个过程的中央可信服务器。

每个客户端在其本地数据上训练它从中央服务器得到的模型。为了获得模型，客户端向云服务器发送一个请求，通知服务器客户端准备开始本地训练会话。然后，请求被处理，最新的全局模型被发回给客户端。接下来，训练课程开始使用收到的模型和本地数据。本地训练会话结束后，模型被返回，中心积累收到的更新。最后，全局模型由服务器根据收到的模型进行更新，并通知客户，一个训练轮成功完成。这些步骤的示意图可以在图2中找到。需要注意的是，医院里用于训练的模型必须与中央服务器使用的模型是同一类型。例如，两者都必须使用相同编程语言的格式。因此，实际上，任何保留了本地模型类型和信息的传输形式都可以使用。对通信技术没有一定的要求。信息可以使用任何形式的文件传输（例如，文件传输协议、安全壳协议文件传输协议、超文本传输协议和超文本传输协议安全）或使用这些协议的第三方软件来传递。有几个基于Python的软件包被设计用于在联盟环境中传输模型[3]。像 Jupyter notebook 这样的开源 Python 包是运行 FL 应用的首选。然而，一些模型支持其他平台，如网络、移动和Broadcoms的Raspberry-pi[4]。

图2.客户端和服务器之间的通信，交换模型。

对于一家医院来说，要加入FL网络，可能需要来自不同领域的不同专家的合作。机构审查委员会或伦理委员会决定医院如何参与联合网络以及对其他参与方的信任程度。这个委员会通常会建议准备数据的步骤，以便医院能与其他医院连接。PACS经理和医院的技术员根据审查委员会准备的指南访问、准备、标准化和去识别数据。数据标准化一般遵循FAIR原则。FAIR原则包括可查找、可访问、可互操作和可重复使用的数据收集[5]。由于数据类型的不同而无法使用不同站点的数据的FL算法可以很容易地读取和分析以FAIR方式收集的数据，这有助于在网络上增加更多的客户。一个例子是各站点的语言协议差异。统一资源标识符可以代表临床数据，使自动化算法能够读取以FAIR原则为标准的临床文本查询[6]。整合FAIR数据收集，并将其作为建立FL网络的第一步，可以加强FL网络，并吸引更多机构加入网络。然后将FAIR化的数据交给数据科学家和机器学习工程师，以建立一个FL框架。临床医生通过提供注释的数据和专家支持来参与。他们也可以参与评估模型并提供专家反馈。

在放射学中的应用

尽管FL在大规模使用前仍需改进，但它在实际的医学影像背景下，在医学影像中的一些实现中显示出了前景，导致了病人护理的改善。FL可以帮助小型诊所中代表不足的病人，在这些诊所中，他们是少数，可能会被忽视，并将他们带入与许多其他类似病人的集合。FL在2019年冠状病毒病（COVID-19）患者的研究中显示出巨大的前景；据调查和报道，在一项针对五大洲20个中心的COVID-19患者的大规模研究中，FL对患者护理有明显影响[7]。这些中心除了使用临床数据外，还使用胸部X射线成像数据来确定医院对COVID-19患者的护理级别和氧气需求的分流。他们证明，FL模型对数据集有限的客户效果最好。与在其本地数据上进行训练时相比，这些客户的模型性能明显提高，从而改变了病人的情况。

另一个发现是，拥有不平衡数据的医疗中心有一些类别的样本很少，导致类别的代表性不足。这些客户看到这些病人类别的预测有了明显的改善，这一点尤其重要，因为在COVID-19中，症状严重的病人一般属于样本较少的类别，而中度症状的病人较多。然而，他们的护理更关键，需要更多关注。在放射学的应用FL领域，有许多项目。作为脑瘤分割（BraTS）挑战的额外努力，英特尔和宾夕法尼亚大学发起了一项广泛的努力。这项挑战是基于宾夕法尼亚大学生物医学影像分析科提供的数据集[8]。

2018年BraTS挑战赛的BraTS数据集已向公众开放。该数据集由胶质瘤患者大脑的MRI影像组成，收集自不同机构的多项研究。四位放射学家手动注释了MRI影像，将其归入各种肿瘤类别。肿瘤被分为四种类型。U-Net是用于分割肿瘤的深度学习模型，FL网络由一个主节点和许多客户组成，每个客户都有自己的数据。开发了两个假想的客户端，并将数据集分配给它们来评估FL模型。为了研究不同的数据分配算法，他们首先将数据随机地划分为筒仓。他们还根据数据的获得地点分配数据，从而产生了非同质化的数据。在完成本地训练后，许多客户交付了一个模型。中央服务器收到来自各方的更新模型，选择最佳模型，并将汇总的模型返回给客户。这种训练策略使服务器和客户都能提高其性能。在收到中心节点的更新模型后，客户每一轮都在更好的模型上工作。作为他们实验的结果，他们得出结论，在语义分割的任务中，联合训练可以产生MRI分割掩码，这些掩码比在前提下训练的模型更好或更有可比性。

Sheller等人[9]提出了一个使用FL进行脑肿瘤分割的项目，并取得了与集中式数据共享相当的准确性。他们证明，增加合作者的数量可以提高FL算法的性能和通用性。另一项研究提出了一个病人相似性分析，以寻找不同医院内可能的类似治疗的可比模式[10]。这项研究的目标是在保护病人的隐私和个人信息的同时，识别具有类似特征的病人。他们创建了代表病人的哈希代码和一个控制整个过程的联盟环境来实现这一目标。散列数据的优点是可以抵御逆向工程或对抗性模型攻击。他们可以独立预测五种疾病，使用平衡和不平衡的数据来评估他们提出的算法。

另一项努力是在不透露任何数据的情况下探索大脑的结构关系。作者使用主成分分析来发现不同数据集在联合设置中的解剖学关系[11]。联合主成分分析可以从几个医疗机构的MRI影像中提取特征。他们的技术在几个数据库中得到了验证，包括阿尔茨海默病神经影像倡议帕金森病进展标志物倡议、阿尔茨海默病最小间隔共振成像和英国生物库[12]。

Balachandar等人[13]使用FL来解决不同机构的数据差异性问题。他们使用胸部X射线数据集对胸部扫描进行分类。同时，他们用自己提出的方法对视网膜治疗数据进行分类。

FL研究的未来

一些研究趋势表明，FL研究正在增长。FL的未来方向是将其与大数据技术相结合。在建立FL网络后，可以将数据实时添加到现有网络中。允许训练和推理阶段实时工作是FL网络的一个潜在的未来方向。这可以是简化预处理、训练和数据处理。

预计FL网络包括医学影像数据，并在所有其他类型的医学数据上工作。最近的FL实现大多利用了影像数据和专门为图像处理设计的神经网络。然而，其他格式的数据，特别是电子健康记录（EHRs），开始被添加到目前的网络中，并且是一个当代的发展主题。EHR数据除了医学影像数据外，还包括从治疗史到过去用药的各种信息；EHR数据一般可以是文本、医学字母、分类数据、定量数字和二进制数据[14]。将这些信息纳入成像数据，可以帮助开发更好的模型。例如，将各种治疗方案作为深度学习模型的输入变量，可以帮助放射科医生在治疗方案中进行选择。使用EHR数据也可以帮助确定疾病的类型或阶段，因为研究人员最近使用EHR来检测阿尔茨海默病[15]。

目前仍在研究将EHR数据格式转换为深度神经网络可使用的格式。使用自然语言处理使文本记录可用于深度学习已经取得了一些进展[16]。为此，研究人员开发了一个数据标准化框架，从文本数据中提取有意义的特征，并使其在机器学习管道中可用。医学图像与基因组学数据的结合也可以成为一个研究方向。因为基因组学数据不像影像数据那样普遍和容易获得，基因组学中的数据限制问题比医学影像问题大得多。因此，FL可以在将基因组学数据引入医学影像领域方面发挥举足轻重的作用。医疗中心在未来可以通过FL与他们的各种类型的数据进行交流，所以合作水平有望扩大。

结论

FL是一项正在发展和成长的技术，已经影响到多个领域的各个方面。医院转向FL技术的主要原因是，隐私和安全是他们的主要优先事项，而且对病人数据的隐私有严格的规定。FL为机构提供了直接和安全的数据访问，并利用几个机构的能力来加强放射学研究，同时克服了隐私和数据共享法律法规的限制。建立一个联盟环境有助于实现与集中式环境相当的性能。它可以促进几个机构之间的全球合作，因此重新定义了放射学中的人工智能范式。这篇文章对想要了解FL理念及其在放射学中的应用的放射科医生和数据科学家应该是有帮助的。

收获要点

有了FL，建立多中心医学影像处理网络比以往更顺畅。在过去的几年里，多机构网络中的数据隐私一直是一个严重的问题。这个问题可以通过共享模型而不是数据来成功解决。FL探索了将敏感数据保存在私人孤岛中，并只通过使用模型来训练深度学习算法的方法。

联邦网络的基础设施要求包括数据存储技术、标准化管道、数据去识别器和强大的处理单元。拥有可靠的网络接入对建立大规模链接也至关重要。因此，可能需要PACS管理者、临床医生、数据科学家和临床技术专家之间的合作来建立这整个管道。
在CT扫描和MRI图像上用FL进行了一些放射学任务。这些算法在COVID-19检测、脑瘤分割和视网膜治疗方面取得了可喜的成果。
FL的一个未来发展可能是它与大数据技术的整合。此外，另一个研究方向是使算法更加通用，以便EHR数据也能被使用。自然语言处理是一个活跃的研究方向，以实现文本和影像数据的结合。这种结合已被证明可以改善阿尔茨海默氏病患者的诊断。