论文题目:Contrastive Curriculum Learning for Sequential User Behavior Modeling via Data Augmentation(Applied Research Track )

作者:卞书青,赵鑫,周昆,蔡晶,何晏成,尹存祥,文继荣

通讯作者:赵鑫

论文概述:在线App场景中,捕捉用户连续行为的语义信息准确建模用户兴趣至关重要。然而,行为特征的动态性和稀疏问题使得难以有效训练用户表示来建模用户顺序行为。受到对比学习等最新技术的启发,我们提出了一种新颖的对比课程学习 (CCL) 框架,用于生成对用户连续行为建模的有效表示。本文在两个方面做出了重要的技术改进,即数据质量和采样顺序。首先,我们通过拟合用户属性信息生成高质量的样例设计了基于模型的数据生成器。通过给定目标用户,可以利用融合的属性语义来生成更接近真实序列的增广数据。其次,我们提出了一种课程学习的策略,通过由易到难的学习过程进行对比学习。核心模块是一个可学习的难度评估器,它可以对增强序列进行打分,并将它们安排在课程中以进一步增强对比学习的能力以更好地进行表示学习。同时我们在公开数据集和行业数据集上进行了广泛的实验,结果证明了我们的方法在三个下游任务上均有提升,取得了良好的效果。

https://dl.acm.org/doi/abs/10.1145/3459637.3481905

成为VIP会员查看完整内容
18

相关内容

【AAAI 2022】用于文本摘要任务的序列级对比学习模型
专知会员服务
24+阅读 · 2022年1月11日
【微信@CIKM2021 】 强化学习推荐模型的知识蒸馏探索之路
CIKM2021 | 异质图上的图神经网络对比预训练
专知会员服务
15+阅读 · 2021年11月8日
专知会员服务
16+阅读 · 2021年9月18日
专知会员服务
16+阅读 · 2021年8月24日
专知会员服务
12+阅读 · 2021年8月8日
【WSDM2021】多交互注意力网络细粒度特征学习的CTR预测
专知会员服务
24+阅读 · 2020年12月27日
TKDE 2020 | 面向严格冷启动推荐的属性图神经网络
PaperWeekly
12+阅读 · 2020年12月18日
【NeurIPS2020 】数据扩充的图对比学习
专知
9+阅读 · 2020年11月9日
THUIR师生论文获WSDM 2020录用
THUIR
7+阅读 · 2019年10月11日
Arxiv
5+阅读 · 2021年9月30日
Arxiv
14+阅读 · 2021年6月27日
Arxiv
8+阅读 · 2021年3月2日
Arxiv
4+阅读 · 2019年2月8日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
Arxiv
6+阅读 · 2018年6月21日
Arxiv
7+阅读 · 2018年1月30日
VIP会员
相关VIP内容
【AAAI 2022】用于文本摘要任务的序列级对比学习模型
专知会员服务
24+阅读 · 2022年1月11日
【微信@CIKM2021 】 强化学习推荐模型的知识蒸馏探索之路
CIKM2021 | 异质图上的图神经网络对比预训练
专知会员服务
15+阅读 · 2021年11月8日
专知会员服务
16+阅读 · 2021年9月18日
专知会员服务
16+阅读 · 2021年8月24日
专知会员服务
12+阅读 · 2021年8月8日
【WSDM2021】多交互注意力网络细粒度特征学习的CTR预测
专知会员服务
24+阅读 · 2020年12月27日
相关论文
Arxiv
5+阅读 · 2021年9月30日
Arxiv
14+阅读 · 2021年6月27日
Arxiv
8+阅读 · 2021年3月2日
Arxiv
4+阅读 · 2019年2月8日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
Arxiv
6+阅读 · 2018年6月21日
Arxiv
7+阅读 · 2018年1月30日
微信扫码咨询专知VIP会员