【AAAI2020接受论文】预测性参与:开放领域对话系统自动评估的有效指标（Predictive Engagement: An Efficient Metric For Automatic Evaluation of Open-Domain Dialogue Systems）

论文题目： Predictive Engagement: An Efficient Metric For Automatic Evaluation of Open-Domain Dialogue Systems

论文作者： Sarik Ghazarian, Ralph Weischedel, Aram Galstyan, Nanyun Peng

论文摘要： 用户参与度是评估开放域对话系统质量的关键指标。通过使用启发式构造的功能（例如转数和对话的总时间），先前的工作集中在对话级别的参与上。在本文中，我们调查了估计话语级别参与度的可能性和有效性，并定义了一种用于自动评估开放域对话系统的新指标，预测性参与度。我们的实验表明：（1）人类注释者在评估话语水平的参与分数方面具有很高的一致性； （2）对话级别的参与度得分可以根据适当汇总的话语级别的参与度得分进行预测。此外，我们表明可以从数据中学到话语水平的参与度分数。这些分数可以改善开放域对话系统的自动评估指标，如与人类判断的相关性所示。这表明预测性参与可以用作实时反馈，以训练更好的对话模型。