五篇论文,追踪可信联邦学习医疗领域研究前沿

2022 年 10 月 18 日 机器之心

可信联邦学习 (Trustworthy federated learning) 是一种增强型的联邦学习,它除了保证原始数据的隐私安全和模型的可证安全,还保证学习过程的高效率和模型的可用性,模型决策机制的可解释性、及模型的可溯源和审计监管。

在近期的诸多研究中,可信联邦学习在医疗领域获得了哪些拓展?解决了哪些新的问题?

为了帮助读者了解面向医疗的可信联邦学习研究进展,机器之心机动组组织策划了最新一期直播分享。

在 10 月 20 日的分享中,微众银行人工智能首席科学家范力欣博士将首先进行主题分享。之后,五篇论文作者将从不同角度介绍可信联邦学习在医疗领域的最新研究成果。

其中,《MetaFed》论文提出了元联邦既联邦的联邦概念及 MetaFed 层次化动态环联邦学习框架,以较小通信代价,达到在无中心服务端参与情形下获取精度提升及个性化学习。

《scPrivacy》论文提出了基于联邦深度度量学习的单细胞细胞类型识别框架 scPrivacy,解决了整合多个机构的单细胞转录组数据集中的数据隐私保护问题。

《FedDUAP》论文利用服务器上的不敏感数据和边缘设备中的分散数据来提高训练效率,同时进行基于各层自适应的模型剪枝,实现效率和有效性之间的良好平衡。

《FeARH》论文提出了具有匿名随机杂交的联邦学习算法来训练电子病历数据。与集中式机器学习和传统联邦学习相比,新算法具有相似的 AUCROC 和 AUCPR 结果。

最后一篇论文的研究目标是同时处理联邦学习中两种不同类型的攻击威胁,拜占庭攻击和隐私威胁。研究者利用了一种鲁棒模型聚合,同时实现对拜占庭攻击的鲁棒性和对本地数据的隐私保护。

主题:可信联邦学习

个人简介: 范力欣博士是微众银行人工智能首席科学家,是 70 多篇国际期刊和会议文章作者。范博士长期参加多项顶级人工智能会议并担任 AAAI 领域主席。他还是近百项专利的发明人和 IEEE 可解释人工智能标准制定组主席。

论文一
MetaFed 层次化动态环联邦学习框架

  • 论文标题: MetaFed: Federated Learning among Federations with Cyclic Knowledge Distillation for Personalized Healthcare
  • 论文链接: https://federated-learning.org/fl-ijcai-2022/Papers/FL-IJCAI-22_paper_10.pdf

个人简介: 陈益强研究员,博士生导师。现任中国科学院计算技术研究所所务委员,泛在计算系统研究中心主任,万人计划领军人才,国务院特殊津贴专家。主要从事人机交互与泛在计算领域研究,发表论文百余篇,申请专利 119 项,获国家科技进步二等奖及省部奖励 7 项。

分享摘要: 本文提出元联邦既联邦的联邦概念及 MetaFed 层次化动态环联邦学习框架,通过自适应的环形知识蒸馏,累积通用知识,舍弃冗余知识,以较小通信代价,达到在无中心服务端参与情形下获取精度提升及个性化学习,实验表明,在多联邦建模场景,本文方法能取得目前最好的结果。

论文二
基于联邦深度度量学习的单细胞细胞类型识别框架 scPrivacy

  • 论文标题: Privacy-preserving integration of multiple institutional data for single-cell type identification with scPrivacy
  • 论文链接: https://www.biorxiv.org/content/10.1101/2022.05.23.493074v1.full

个人简介:陈绍奇,同济大学在读博士生,研究方向为生物信息学,导师为刘琦教授, 2019年获得电子科技大学学士学位。目前已在 Nucleic Acid Research, Science China Life Science, Bioinformatics, Database(Oxford) 等知名 SCI 期刊以第一作者或共同一作的身份发表论文。

分享摘要: 整合多个机构的单细胞转录组数据集能构建更全面、有效和稳健的细胞类型识别系统。然而传统方法面临着数据隐私保护的问题,为解决隐私问题,我们提出了基于联邦深度度量学习的单细胞细胞类型识别框架 scPrivacy。

论文三
FedDUAP:基于服务器上的共享数据进行动态更新和自适应修剪的联邦学习

  • 论文标题: FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server
  • 论文链接: https://www.ijcai.org/proceedings/2022/0385.pdf

个人简介: 刘吉博士,现任百度研究院资深研究员。于微软研究院、法国国家信息与自动化研究所获得博士学位。目前主要研究方向为联邦学习、分布式系统等。在国际顶级计算机期刊和会议发表多篇学术论文并担任审稿人。

周杨是奥本大学计算机科学与软件工程系的助理教授,于佐治亚理工学院计算机学院获得博士学位。目前的研究兴趣在于机器学习、可信机器学习、联邦学习和自然语言处理等,研究成果发表在多个领域的顶级会议和杂志上。

分享摘要: 联邦学习面临两个关键的问题,即有限的计算资源和低消训练。我们提出 FedDUAP,利用服务器上的不敏感数据和边缘设备中的分散数据来提高训练效率,同时进行基于各层自适应的模型剪枝,以实现效率和有效性之间的良好平衡。

论文四
具有匿名随机杂交的联邦学习(FeARH)

  • 论文标题: MetaFed: Federated Learning among Federations with Cyclic Knowledge Distillation for Personalized Healthcare
  • 论文链接: https://www.sciencedirect.com/science/article/pii/S1532046421000642

个人简介: 刘佃渤博士是 Mila - 魁北克人工智能研究所 Yoshua Bengio 教授(2018 年图灵奖得主)小组的机器学习博士后研究员,他还领导着 Mila 研究所 19 名研究人员组成的人道主义人工智能团队,研究范围包括基础机器学习及其在改善人类生活质量方面的应用。在加入 Bengio 团队之前,他在邓迪大学、哈佛大学和麻省理工学院工作和学习。

分享摘要: 本文提出了「具有匿名随机杂交的联邦学习(FeARH)」算法来训练电子病历数据。该算法主要使用杂交算法,通过在共享给其他方的参数集中加入随机化,使医疗记录数据和模型的参数之间的联系退化整合。实验显示,与集中式机器学习和传统联邦学习相比,新算法具有相似的 AUCROC 和 AUCPR 结果。

论文五
通过模型聚合同时实现拜占庭鲁棒和差分隐私

  • 论文标题: Bridging Differential Privacy and Byzantine-Robustness via Model Aggregation
  • 论文链接: https://www.ijcai.org/proceedings/2022/337

个人简介: 祝恒,现加州大学圣地亚哥分校电子与计算机工程在读博士生。2017 年本科毕业于中国科学技术大学物理学院,2020 年硕士毕业于中国科学技术大学信息技术学院。2020 年至 2021 年在中山大学作为访问学生参与研究。

分享摘要: 在这项工作中,我们试图同时处理联邦学习中两种不同类型的攻击威胁,拜占庭攻击和隐私威胁。在标准的差分隐私机制中,需要加入噪声实现隐私保护,而这些噪声会影响鲁棒梯度聚合的性能。因而差分隐私和拜占庭鲁棒聚合机制会耦合在一起。在这项工作中我们利用一种鲁棒模型聚合同时实现对拜占庭攻击的鲁棒性和对本地数据的隐私保护。

分享时间 : 北京时间 10 月 20 日 19:00 开始

直播间:关注机动组视频号,立即预约直播。

交流群:本次直播设有 QA 环节,欢迎加入本次直播交流群探讨交流。


机器之心 · 机动组

机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动欢迎所有 AI 领域技术从业者加入

  • 点击阅读原文,访问机动组官网,观看更多精彩分享

  • 关注 机动组服务号, 获取每周直播预告

登录查看更多
0

相关内容

联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。
联邦学习攻防研究综述
专知会员服务
56+阅读 · 2022年7月15日
「联邦学习隐私保护 」最新2022研究综述
专知会员服务
116+阅读 · 2022年4月1日
联邦学习研究综述
专知会员服务
147+阅读 · 2021年12月25日
联邦学习智慧医疗综述
专知会员服务
120+阅读 · 2021年11月27日
专知会员服务
79+阅读 · 2021年10月18日
专知会员服务
91+阅读 · 2021年7月23日
专知会员服务
94+阅读 · 2021年5月17日
专知会员服务
26+阅读 · 2021年2月2日
专知会员服务
124+阅读 · 2020年8月7日
【中国人民大学】机器学习的隐私保护研究综述
专知会员服务
131+阅读 · 2020年3月25日
「联邦学习模型安全与隐私」研究进展
专知
5+阅读 · 2022年9月24日
联邦学习攻防研究综述
专知
2+阅读 · 2022年7月15日
「联邦学习隐私保护 」最新2022研究综述
专知
16+阅读 · 2022年4月1日
亚马逊最新《联邦学习》简明综述
专知
2+阅读 · 2022年2月6日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
联邦学习最新研究趋势!
AI科技评论
52+阅读 · 2020年3月12日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
9+阅读 · 2011年12月31日
国家自然科学基金
5+阅读 · 2010年12月31日
Arxiv
28+阅读 · 2021年9月18日
VIP会员
相关VIP内容
联邦学习攻防研究综述
专知会员服务
56+阅读 · 2022年7月15日
「联邦学习隐私保护 」最新2022研究综述
专知会员服务
116+阅读 · 2022年4月1日
联邦学习研究综述
专知会员服务
147+阅读 · 2021年12月25日
联邦学习智慧医疗综述
专知会员服务
120+阅读 · 2021年11月27日
专知会员服务
79+阅读 · 2021年10月18日
专知会员服务
91+阅读 · 2021年7月23日
专知会员服务
94+阅读 · 2021年5月17日
专知会员服务
26+阅读 · 2021年2月2日
专知会员服务
124+阅读 · 2020年8月7日
【中国人民大学】机器学习的隐私保护研究综述
专知会员服务
131+阅读 · 2020年3月25日
相关资讯
「联邦学习模型安全与隐私」研究进展
专知
5+阅读 · 2022年9月24日
联邦学习攻防研究综述
专知
2+阅读 · 2022年7月15日
「联邦学习隐私保护 」最新2022研究综述
专知
16+阅读 · 2022年4月1日
亚马逊最新《联邦学习》简明综述
专知
2+阅读 · 2022年2月6日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
联邦学习最新研究趋势!
AI科技评论
52+阅读 · 2020年3月12日
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
9+阅读 · 2011年12月31日
国家自然科学基金
5+阅读 · 2010年12月31日
Top
微信扫码咨询专知VIP会员