Mapping spoken text to gestures is an important research topic for robots with conversation capabilities. According to studies on human co-speech gestures, a reasonable solution for mapping is using a concept-based approach in which a text is first mapped to a semantic cluster (i.e., a concept) containing texts with similar meanings. Subsequently, each concept is mapped to a predefined gesture. By using a concept-based approach, this paper discusses the practical issue of obtaining concepts for a unique vocabulary personalized for a conversational agent. Using Microsoft Rinna as an agent, we qualitatively compare concepts obtained automatically through a natural language processing (NLP) approach to those obtained manually through a sociological approach. We then identify three limitations of the NLP approach: at the semantic level with emojis and symbols; at the semantic level with slang, new words, and buzzwords; and at the pragmatic level. We attribute these limitations to the personalized vocabulary of Rinna. A follow-up experiment demonstrates that robot gestures selected using a concept-based approach leave a better impression than randomly selected gestures for the Rinna vocabulary, suggesting the usefulness of a concept-based gesture generation system for personalized vocabularies. This study provides insights into the development of gesture generation systems for conversational agents with personalized vocabularies.


翻译:描述手势的口头文字是具有对话能力的机器人的一个重要研究课题。根据关于人类共同语言手势的研究,一个合理的绘图解决方案是使用基于概念的方法,首先将文字映射成含有类似含义的语义组(即概念),然后将每个概念映射成一个预先定义的手势。本文件通过使用基于概念的方法,讨论了获得一个独特的词汇概念的实用问题,对一个对话代理人来说,这是个个性化词汇。利用微软Rynna作为代理,我们用自然语言处理(NLP)方法自动获得的概念与通过社会学方法手动获得的概念进行定性比较。然后我们确定了NLP方法的三个局限性:在语义组(即概念)一级,首先将文字映像和符号映射成一个语义组(即概念),然后在语义层面,将这些局限性归因于Rynna的个人词汇。后续实验表明,使用基于概念的方法选择的机器人手势比随机选择的手势处理法(NLP)方法对通过社会学方法获得的概念进行定性比较。我们然后确定了NINA的手势学方法方法的三种限制:在语义层次层次层次上,用个人动作系统为个人演变化的手势系统提供个人动作化的手势感力学概念化思维感。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
28+阅读 · 2019年10月18日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
推荐|深度强化学习聊天机器人(附论文)!
全球人工智能
4+阅读 · 2018年1月30日
【推荐】用TensorFlow实现LSTM社交对话股市情感分析
机器学习研究会
11+阅读 · 2018年1月14日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Towards Topic-Guided Conversational Recommender System
Neural Approaches to Conversational AI
Arxiv
8+阅读 · 2018年12月13日
CoQA: A Conversational Question Answering Challenge
Arxiv
7+阅读 · 2018年8月21日
VIP会员
相关VIP内容
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
28+阅读 · 2019年10月18日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
Top
微信扫码咨询专知VIP会员