会员服务
【WSDM2025】通过多教师知识蒸馏将推理能力转移到小型大语言模型
【WSDM2025】通过多教师知识蒸馏将推理能力转移到小型大语言模型
专知会员服务
15+阅读 · 12月9日
【博士论文】面向图像识别的知识蒸馏技术研究
【博士论文】面向图像识别的知识蒸馏技术研究
专知会员服务
25+阅读 · 11月18日
大型语言模型的知识蒸馏综述：方法、评估与应用
大型语言模型的知识蒸馏综述：方法、评估与应用
专知会员服务
61+阅读 · 7月4日
大模型如何蒸馏知识？港大等最新《大型语言模型知识蒸馏》综述
大模型如何蒸馏知识？港大等最新《大型语言模型知识蒸馏》综述
专知会员服务
54+阅读 · 2月25日
大型语言模型的模型压缩与高效推理：综述
大型语言模型的模型压缩与高效推理：综述
专知会员服务
79+阅读 · 2月17日
《Transformer压缩》综述
《Transformer压缩》综述
专知会员服务
47+阅读 · 2月14日
【AAAI2024】EPSD：高效模型压缩中的早期剪枝与自我蒸馏
【AAAI2024】EPSD：高效模型压缩中的早期剪枝与自我蒸馏
专知会员服务
22+阅读 · 2月5日
【WSDM2024】数据中的恶魔：通过部分知识蒸馏学习公平的图神经网络
【WSDM2024】数据中的恶魔：通过部分知识蒸馏学习公平的图神经网络
专知会员服务
30+阅读 · 2023年12月1日
TinyML如何实现？法国Inria《用于微型机器学习的高效神经网络》综述，详述TinyML的神经网络设计与部署方法
TinyML如何实现？法国Inria《用于微型机器学习的高效神经网络》综述，详述TinyML的神经网络设计与部署方法
专知会员服务
38+阅读 · 2023年11月26日
中国科学院团队首篇《大语言模型LLM模型压缩》综述：细聊剪枝、知识蒸馏、量化技术
中国科学院团队首篇《大语言模型LLM模型压缩》综述：细聊剪枝、知识蒸馏、量化技术
专知会员服务
73+阅读 · 2023年8月27日
知识蒸馏的师生架构怎么设计？McGill大学等最新《知识蒸馏》综述，详述知识压缩、知识扩展、知识适应和知识增强的教师学生架构设计
知识蒸馏的师生架构怎么设计？McGill大学等最新《知识蒸馏》综述，详述知识压缩、知识扩展、知识适应和知识增强的教师学生架构设计
专知会员服务
39+阅读 · 2023年8月14日
【KDD2023】面向高效 Transformer 推断的约束感知与排序蒸馏Token剪枝
【KDD2023】面向高效 Transformer 推断的约束感知与排序蒸馏Token剪枝
专知会员服务
20+阅读 · 2023年6月28日
【KDD2023】联合预训练和局部重训：在多源知识图谱上的可迁移表示学习
【KDD2023】联合预训练和局部重训：在多源知识图谱上的可迁移表示学习
专知会员服务
28+阅读 · 2023年6月10日
【ICML2023】知识蒸馏对模型可解释性的影响
【ICML2023】知识蒸馏对模型可解释性的影响
专知会员服务
36+阅读 · 2023年5月27日
【CVPR2023】基于多模态在线知识蒸馏的自监督视觉表示学习
【CVPR2023】基于多模态在线知识蒸馏的自监督视觉表示学习
专知会员服务
40+阅读 · 2023年4月15日
参考链接
微信扫码咨询专知VIP会员
Top