大规模预训练的普及促进了医学基础模型的发展。然而,一些研究表明,尽管基础模型具有较强的一般特征提取能力,但其在特定任务上的表现仍不如特定任务方法。在本文中,我们探索了一种称为“知识分解”的新视角来提高特定医疗任务的性能,该视角将基础模型解构为多个轻量级专家模型,每个模型致力于特定任务,目的是提高专业化,同时减少资源支出。为了实现上述目标,我们设计了一种新的低秩知识分解框架(LoRKD),该框架通过结合低秩专家模块和有效的知识分离卷积来明确地分离梯度。大量的实验结果表明,分解模型在性能和可移植性方面表现良好,甚至超过了原有的基础模型。源代码可从https://github.com/MediaBrainSJTU/LoRK获得

成为VIP会员查看完整内容
31

相关内容

【AAAI2023】基于Dirichlet元模型的事后不确定性学习
专知会员服务
15+阅读 · 2022年12月16日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
19+阅读 · 2021年12月18日
专知会员服务
22+阅读 · 2021年10月6日
专知会员服务
11+阅读 · 2021年7月16日
【NAACL2021】信息解缠正则化持续学习的文本分类
专知会员服务
21+阅读 · 2021年4月11日
【NeurIPS2020】可处理的反事实推理的深度结构因果模型
专知会员服务
46+阅读 · 2020年9月28日
【ACMMM2020】零样本语义分割的上下文感知特征生成
专知会员服务
15+阅读 · 2020年8月21日
【ICML2021】因果匹配领域泛化
专知
11+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【CVPR 2020 Oral】小样本类增量学习
专知
16+阅读 · 2020年6月26日
MNIST入门:贝叶斯方法
Python程序员
22+阅读 · 2017年7月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
140+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
343+阅读 · 2023年3月31日
Arxiv
57+阅读 · 2023年3月26日
Arxiv
121+阅读 · 2023年3月24日
Arxiv
18+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【AAAI2023】基于Dirichlet元模型的事后不确定性学习
专知会员服务
15+阅读 · 2022年12月16日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
19+阅读 · 2021年12月18日
专知会员服务
22+阅读 · 2021年10月6日
专知会员服务
11+阅读 · 2021年7月16日
【NAACL2021】信息解缠正则化持续学习的文本分类
专知会员服务
21+阅读 · 2021年4月11日
【NeurIPS2020】可处理的反事实推理的深度结构因果模型
专知会员服务
46+阅读 · 2020年9月28日
【ACMMM2020】零样本语义分割的上下文感知特征生成
专知会员服务
15+阅读 · 2020年8月21日
相关资讯
【ICML2021】因果匹配领域泛化
专知
11+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【CVPR 2020 Oral】小样本类增量学习
专知
16+阅读 · 2020年6月26日
MNIST入门:贝叶斯方法
Python程序员
22+阅读 · 2017年7月3日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员