模型压缩,多指AI领域,多学习生成的模型进行压缩,简化,同时又要保证一定的可靠性,便于模型在低端设备上部署。

VIP内容

推荐系统(RS)采用知识蒸馏,这是一种模型压缩技术,用从预训练的大型教师模型迁移的知识来训练紧凑的学生模型。最近的研究表明,从教师的中间层迁移知识显著提高了学生的推荐质量。但是,它们是逐点迁移个体表示的知识,因此存在一个局限,即RS的主要信息在于表示空间中的关系。本文提出了一种新的拓扑蒸馏方法,通过将建立在教师空间关系上的拓扑结构传递给学生来指导学生进行拓扑蒸馏。我们首先观察到,简单地让学生学习整个拓扑结构并不总是有效的,甚至会降低学生的表现。我们证明,因为与老师相比,学生的能力是非常有限的,学习整个拓扑结构对学生来说是令人生畏的。为了解决这一问题,我们提出了一种新的分层拓扑蒸馏(HTD)方法,该方法可以分层地对拓扑进行蒸馏,以应对较大的容量缺口。我们在真实数据集上的大量实验表明,提出的方法明显优于先进的竞争对手。我们还提供了深入的分析,以确定提取RS拓扑的好处。

https://www.zhuanzhi.ai/paper/4eff9a6ca0a1450628e09261c3b9dd2d

成为VIP会员查看完整内容
0
16
参考链接
Top