One challenge with open-domain dialogue systems is the need to produce high-quality responses on any topic. We aim to improve the quality and coverage of Athena, an Alexa Prize dialogue system. We utilize Athena's response generators (RGs) to create training data for two new neural Meaning-to-Text RGs, Athena-GPT-Neo and Athena-Jurassic, for the movies, music, TV, sports, and video game domains. We conduct few-shot experiments, both within and cross-domain, with different tuning set sizes (2, 3, 10), prompt formats, and meaning representations (MRs) for sets of WikiData KG triples, and dialogue acts with 14 possible attribute combinations. Our evaluation uses BLEURT and human evaluation metrics, and shows that with 10-shot tuning, Athena-Jurassic's performance is significantly better for coherence and semantic accuracy. Experiments with 2-shot tuning on completely novel MRs results in a huge performance drop for Athena-GPT-Neo, whose semantic accuracy falls to 0.41, and whose untrue hallucination rate increases to 12%. Experiments with dialogue acts for video games show that with 10-shot tuning, both models learn to control dialogue acts, but Athena-Jurassic has significantly higher coherence, and only 4% untrue hallucinations. Our results suggest that Athena-Jurassic can reliably produce outputs of high-quality for live systems with real users. To our knowledge, these are the first results demonstrating that few-shot tuning on a massive language model can create NLGs that generalize to new domains, and produce high-quality, semantically-controlled, conversational responses directly from MRs and KG triples.


翻译:开放域对话系统的一个挑战是需要就任何议题提出高质量的回应。 我们的目标是提高亚历克萨奖对话系统Athena的质量和覆盖面。 我们使用Athena的响应生成器(RGs)为两个新的神经感官至Text RGs、Athena-GPT-Neo和Athena-Jurassic为电影、音乐、电视、体育和视频游戏领域创建培训数据。 我们在内部和跨多域内都进行几发试验,其调试大小不同(2、3、10)、快速格式和意思(MRs),用于维基Data KG的组合。我们的评价使用BLEURT和人文评价度,显示10发音调后,Athena-Jur-Jur-体育和视频游戏域域的性能显著提高一致性和语系一致性。 在Athena-GPT-Neal-Neo中,通过直译的直译的直译率率率和直译为12GMLA。

0
下载
关闭预览

相关内容

【PAISS 2021 教程】概率散度与生成式模型,92页ppt
专知会员服务
33+阅读 · 2021年11月30日
专知会员服务
38+阅读 · 2021年6月6日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
【ACL2020放榜!】事件抽取、关系抽取、NER、Few-Shot 相关论文整理
深度学习自然语言处理
18+阅读 · 2020年5月22日
【论文笔记】通俗理解少样本文本分类 (Few-Shot Text Classification) (1)
深度学习自然语言处理
7+阅读 · 2020年4月8日
已删除
将门创投
6+阅读 · 2019年4月10日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
Arxiv
5+阅读 · 2018年1月18日
VIP会员
相关VIP内容
【PAISS 2021 教程】概率散度与生成式模型,92页ppt
专知会员服务
33+阅读 · 2021年11月30日
专知会员服务
38+阅读 · 2021年6月6日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Top
微信扫码咨询专知VIP会员