基于生成模型的闲聊机器人自动评价方法综述

近年来,随着人工智能技术的发展,更多数据被利用,数据驱动的端到端闲聊机器人技术得到快速发展,受到了学术界和工业界的广泛关注。但是对于闲聊机器人的评价,现在没有标准的自动评价方法,而自动评价方法对于闲聊机器人对话效果的评估及闲聊机器人的快速迭代是十分重要的。该文综述了基于生成模型的闲聊机器人的自动评价方法。首先介绍了自动评价方法的研究背景及研究现状,然后介绍了对闲聊机器人的基本能力—生成合理的回复进行评价的自动评价方法,并指出了每类方法的优缺点及进一步发展的方向,其次对评价闲聊机器人的扩展能力的自动评价方法进行了介绍,扩展能力包括生成多样的回复、对话具有特定的个性、对话具有情感和对话主题具有深度和广度等。随后阐述了评价闲聊机器人综合能力的评价方法,并讨论了发展综合自动评价方法的方向,同时还介绍了如何评价自动评价方法。最后进行了分析与总结,指出研究自动评价方法的困难与挑战,并对未来发展进行了展望。

http://jcip.cipsc.org.cn/CN/abstract/abstract3097.shtml