联邦学习作为一种数据隔绝的分布式训练框架能够避免数据隐私的直接泄露。然而,梯度泄露攻击 (gradient leakage)作为一种隐私攻击方法,能够从卷积神经网络或全连接网络的梯度中恢复数据的隐私信息。论文面向基于注意力机制的模型结构,分析了注意力模块固有的隐私缺陷,提出了针对注意力模块的闭式解攻击和针对Transformer的基于优化的隐私攻击方法APRIL。APRIL相比于已有的攻击方法能够在基于注意力结构的模型上获得更好的隐私攻击效果。论文还提出了针对APRIL攻击的防御手段,为面向隐私保护的模型结构设计提供了启发。
作者:Jiahao Lu, Xi Sheryl Zhang. Tianli Zhao, Xiangyu He, Jian Cheng