Recommendation systems have witnessed significant advancements and have been widely used over the past decades. However, most traditional recommendation methods are task-specific and therefore lack efficient generalization ability. Recently, the emergence of ChatGPT has significantly advanced NLP tasks by enhancing the capabilities of conversational models. Nonetheless, the application of ChatGPT in the recommendation domain has not been thoroughly investigated. In this paper, we employ ChatGPT as a general-purpose recommendation model to explore its potential for transferring extensive linguistic and world knowledge acquired from large-scale corpora to recommendation scenarios. Specifically, we design a set of prompts and evaluate ChatGPT's performance on five recommendation scenarios. Unlike traditional recommendation methods, we do not fine-tune ChatGPT during the entire evaluation process, relying only on the prompts themselves to convert recommendation tasks into natural language tasks. Further, we explore the use of few-shot prompting to inject interaction information that contains user potential interest to help ChatGPT better understand user needs and interests. Comprehensive experimental results on Amazon Beauty dataset show that ChatGPT has achieved promising results in certain tasks and is capable of reaching the baseline level in others. We conduct human evaluations on two explainability-oriented tasks to more accurately evaluate the quality of contents generated by different models. And the human evaluations show ChatGPT can truly understand the provided information and generate clearer and more reasonable results. We hope that our study can inspire researchers to further explore the potential of language models like ChatGPT to improve recommendation performance and contribute to the advancement of the recommendation systems field.


翻译:---- 推荐系统在过去几十年里取得了显著的进展,并得到了广泛的应用。然而,大多数传统的推荐方法都是针对特定任务的,因此缺乏有效的泛化能力。近年来,ChatGPT的出现通过提升对话模型的能力,极大地推进了NLP任务的发展。然而,ChatGPT在推荐领域的应用尚未得到彻底的研究。在本文中,我们使用ChatGPT作为通用推荐模型,探索其将从大规模语料库中获取的广泛语言和世界知识转移至推荐场景的潜力。具体而言,我们设计了一组提示,并评估了ChatGPT在五个推荐场景的性能。与传统的推荐方法不同,我们在整个评估过程中没有对ChatGPT进行微调,仅依靠提示本身将推荐任务转化为自然语言任务。此外,我们还探索了使用少量交互信息(包含用户潜在的兴趣)进行提示,以帮助ChatGPT更好地理解用户的需求和兴趣。基于Amazon Beauty数据集的全面实验结果表明,ChatGPT在某些任务中取得了有希望的结果,并且在其他任务中能够达到基线水平。我们对两个以解释为导向的任务进行了人类评估,以更准确地评估不同模型生成的内容质量。人类评估表明,ChatGPT能够真正理解所提供的信息,并生成更清晰、更合理的结果。我们希望我们的研究能够激发研究人员进一步探索像ChatGPT这样的语言模型,以改进推荐性能,并为推荐系统领域的发展做出贡献。

129
下载
关闭预览

相关内容

ChatGPT(全名:Chat Generative Pre-trained Transformer),美国OpenAI 研发的聊天机器人程序 [1] ,于2022年11月30日发布 。ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码,写论文任务。 [1] https://openai.com/blog/chatgpt/
 DiffRec: 扩散推荐模型(SIGIR'23)
专知会员服务
43+阅读 · 2023年4月16日
专知会员服务
85+阅读 · 2020年1月20日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
SIGIR2022 | UCCR: 以用户为中心的对话推荐系统
机器学习与推荐算法
1+阅读 · 2022年5月18日
稠密检索模型的zero-shot能力究竟如何?
RUC AI Box
0+阅读 · 2022年4月28日
KDD2020推荐系统论文聚焦
机器学习与推荐算法
15+阅读 · 2020年6月28日
初学者系列:推荐系统Wide & Deep Learning详解
LibRec 精选:推荐系统的常用数据集
LibRec智能推荐
17+阅读 · 2019年2月15日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年6月2日
VIP会员
相关VIP内容
 DiffRec: 扩散推荐模型(SIGIR'23)
专知会员服务
43+阅读 · 2023年4月16日
专知会员服务
85+阅读 · 2020年1月20日
相关资讯
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
SIGIR2022 | UCCR: 以用户为中心的对话推荐系统
机器学习与推荐算法
1+阅读 · 2022年5月18日
稠密检索模型的zero-shot能力究竟如何?
RUC AI Box
0+阅读 · 2022年4月28日
KDD2020推荐系统论文聚焦
机器学习与推荐算法
15+阅读 · 2020年6月28日
初学者系列:推荐系统Wide & Deep Learning详解
LibRec 精选:推荐系统的常用数据集
LibRec智能推荐
17+阅读 · 2019年2月15日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员