《贝叶斯神经网络的联邦学习》2023最新73页论文

尽管人们对联邦学习和贝叶斯神经网络进行了研究，但对贝叶斯网络的联邦学习的实现却很少。在本论文中，使用公共代码库Flower开发了一个贝叶斯神经网络的联邦学习训练环境。随之而来的是对最先进的架构、残差网络和贝叶斯版本的探索。然后用独立同分布（IID）数据集和从Dirichlet分布得到的非IID数据集测试这些架构。结果显示，贝叶斯神经网络的MC Dropout版本可以通过联邦学习对CIFAR10数据集的IID分区取得最先进的结果--91%的准确性。当分区为非IID时，通过概率权重的反方差聚合的联邦学习与它的确定性对应物一样好，大约有83%的准确性。这表明贝叶斯神经网络也可以进行联邦学习并取得最先进的结果。

美国海军的考虑

使用FL是一个在边缘采用人工智能的机会，并减少收集大量数据集的需要。这将极大地帮助海军在舰队中部署和训练AI模型的工作。例如，通过传统的人工智能管道，为海军创建一个人工智能模型将需要每个指挥部合作创建一个全球数据集，无论是被动声纳还是网络流量分析、维护或人力资源。这是一项非常昂贵和耗时的任务，随着新数据的出现，在完成时可能已经过时了。然而，FL提供了一种方法，让每个指挥部在他们本地的、当前的数据上训练和部署一个模型，并将他们的模型与另一个指挥部的人工智能模型汇总。由于只传递模型的权重而不是整个数据集，所以通信成本也是最小的。虽然FL提出了一种在边缘部署和训练人工智能模型的方法，但贝叶斯网络是一种不仅能提供预测，而且能对其评估的不确定性进行估计的模型。士兵在不确定的环境中工作，知道部署的人工智能模型何时对其预测不确定，可以防止人工智能和战士的过度自信。这一特点可以极大地帮助人工智能-士兵团队以更高的效率水平运作。将FL的分布式和持续学习特性以及贝叶斯NN的不确定性这两个方面结合起来，将是海军在各种应用中的巨大优势，如网络流量分析、合成孔径雷达或无人机图像分析，或无源声纳分析。

研究目标与贡献

为了证明这一点，开发了一个FL框架来比较贝叶斯NN和它们的确定性对应物，并在本论文中分析了它们的结果。本论文的主要贡献是在一个已知的数据集CIFAR10[2]上对这个框架进行了基准测试，以比较结果。该数据集在FL研究中被充分研究[3]-[6]。使用的人工智能模型架构是残差网络（ResNet）[7]。它是一个最先进的神经网络架构，为CIFAR10数据集设定了一个基线。这使得贝叶斯ResNets可以在集中式和FL设置中与原始的最先进结果进行比较。本论文打算回答的主要问题有以下几个：

• 如何聚集贝叶斯NNs？
• FL是如何影响贝叶斯NN的性能的？
• FL能否提高NN的整体性能？
• 在FL中，贝叶斯NN与确定性的NN相比有什么不同？