Dialogue State Tracking is central to multi-domain task-oriented dialogue systems, responsible for extracting information from user utterances. We present a novel hybrid architecture that augments GPT-2 with representations derived from Graph Attention Networks in such a way to allow causal, sequential prediction of slot values. The model architecture captures inter-slot relationships and dependencies across domains that otherwise can be lost in sequential prediction. We report improvements in state tracking performance in MultiWOZ 2.0 against a strong GPT-2 baseline and investigate a simplified sparse training scenario in which DST models are trained only on session-level annotations but evaluated at the turn level. We further report detailed analyses to demonstrate the effectiveness of graph models in DST by showing that the proposed graph modules capture inter-slot dependencies and improve the predictions of values that are common to multiple domains.


翻译:国家对话跟踪系统是多领域任务导向对话系统的核心,负责从用户语句中提取信息。我们展示了一个新的混合结构,通过图形关注网络的表达方式,扩大GPT-2,从而能够对空档值进行因果相继预测。模型结构捕捉了在连续预测中可能失去的跨领域间断关系和依赖性。我们报告在多功能组织2.0国家跟踪业绩方面比强大的GPT-2基线有所改进,并调查一个简化的稀少培训情景,即DST模型仅接受会话级说明培训,但在转弯层次上得到评价。我们进一步报告详细分析,通过显示拟议的图形模块捕捉了多个领域共同值的相互依存性并改进了预测,以显示DST中图形模型的有效性。

0
下载
关闭预览

相关内容

专知会员服务
30+阅读 · 2021年6月12日
专知会员服务
55+阅读 · 2021年5月10日
专知会员服务
42+阅读 · 2021年4月23日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Bayesian Attention Belief Networks
Arxiv
9+阅读 · 2021年6月9日
Arxiv
17+阅读 · 2021年3月29日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Arxiv
17+阅读 · 2019年4月5日
Arxiv
3+阅读 · 2018年11月14日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
相关论文
Bayesian Attention Belief Networks
Arxiv
9+阅读 · 2021年6月9日
Arxiv
17+阅读 · 2021年3月29日
Area Attention
Arxiv
5+阅读 · 2019年5月23日
Arxiv
17+阅读 · 2019年4月5日
Arxiv
3+阅读 · 2018年11月14日
Top
微信扫码咨询专知VIP会员