【AAAI2022】多任务推荐中的跨任务知识提炼

多任务学习已广泛应用于现实世界的推荐者，以预测不同类型的用户反馈。之前的大多数工作都集中在为底层设计网络架构，作为一种共享输入特征表示知识的手段。然而，由于它们采用特定于任务的二进制标签作为训练的监督信号，关于如何准确地对物品进行排序的知识并没有在任务之间完全共享。本文旨在增强多任务个性化推荐优化目标的知识迁移。我们提出了一个跨任务知识蒸馏(Cross-Task Knowledge精馏)的推荐框架，该框架由三个步骤组成。1) 任务增强: 引入具有四元损失函数的辅助任务来捕获跨任务的细粒度排序信息，通过保留跨任务一致性知识来避免任务冲突; 2) 知识蒸馏: 我们设计了一种基于增强任务的知识蒸馏方法来共享排序知识，其中任务预测与校准过程相结合; 3) 模型训练: 对教师和学生模型进行端到端训练，采用新颖的纠错机制，加快模型训练速度，提高知识质量。在公共数据集和我们的生产数据集上进行了综合实验，验证了CrossDistil的有效性和关键组件的必要性。

https://arxiv.org/abs/2202.09852

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“KMTR” 就可以获取《【AAAI2022】多任务推荐中的跨任务知识提炼》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资源