Open-domain dialog systems have a user-centric goal: to provide humans with an engaging conversation experience. User engagement is one of the most important metrics for evaluating open-domain dialog systems, and could also be used as real-time feedback to benefit dialog policy learning. Existing work on detecting user disengagement typically requires hand-labeling many dialog samples. We propose HERALD, an efficient annotation framework that reframes the training data annotation process as a denoising problem. Specifically, instead of manually labeling training samples, we first use a set of labeling heuristics to label training samples automatically. We then denoise the weakly labeled data using the Shapley algorithm. Finally, we use the denoised data to train a user engagement detector. Our experiments show that HERALD improves annotation efficiency significantly and achieves 86% user disengagement detection accuracy in two dialog corpora.


翻译:开放域对话系统有一个以用户为中心的目标: 向人类提供互动经验。 用户参与是评价开放域对话系统的最重要衡量标准之一, 也可以用作实时反馈, 以有利于对话政策学习。 现有的检测用户退出工作通常需要手贴许多对话框样本的标签。 我们建议HERALD, 这是一个高效的注解框架, 将培训数据批注程序重新设定为解除问题。 具体地说, 我们首先使用一套标签超链接来自动标出培训样本。 然后, 我们用Shapley 算法将标签薄弱的数据密封起来, 最后, 我们使用已解名数据来培训用户参与检测器。 我们的实验显示, HERALD 大大提高了批注效率, 并在两个对话框中实现了86%的用户退出检测精度。

0
下载
关闭预览

相关内容

零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
【SIGIR2020】学习词项区分性,Learning Term Discrimination
专知会员服务
16+阅读 · 2020年4月28日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
已删除
将门创投
9+阅读 · 2017年10月17日
Zero-Shot Object Detection
Arxiv
9+阅读 · 2018年7月27日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
6+阅读 · 2018年3月28日
Arxiv
7+阅读 · 2018年3月19日
VIP会员
相关VIP内容
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
【SIGIR2020】学习词项区分性,Learning Term Discrimination
专知会员服务
16+阅读 · 2020年4月28日
Top
微信扫码咨询专知VIP会员