As an essential component of dialogue systems, response selection aims to pick out the optimal response among candidates to continue the dialogue. In existing studies, this task is usually regarded as a binary classification problem, where every candidate is ranked respectively for appropriateness. To improve its performance, we reformulate this task as a multiple-choice problem that allows the best selection to be made in one-shot inference. This new view inspires us to propose an architecture called Panoramic-encoder (Our work will be open-source for reproducibility and future research.) with a novel Candidates Attention Mechanism (CAM), which allows context-wise attention between responses and leads to fine-grained comparisons. Furthermore, we investigate and incorporate several techniques that have been proven effective for improving response selection. Experiments on three benchmarks show that our method pushes the state-of-the-art while achieving approximately 3X faster inference speed.


翻译:作为对话系统的一个基本组成部分,应答选择的目的是在候选人中选择继续对话的最佳回应。在现有研究中,这项任务通常被视为一个二进制分类问题,每个候选人被分别排列适当的等级。为了改进业绩,我们将此任务改写为一个多选制问题,使最佳选择能够以一分推论方式作出。这一新观点激励我们提出一个称为“全景编码(我们的工作将是可复制和今后研究的公开来源)”的架构,并有一个全新的候选人注意机制(CAM),允许在答复之间按背景来关注,并导致细化的比较。此外,我们调查并纳入一些已被证明对改进反应选择有效的方法。在三个基准上进行的实验表明,我们的方法在加快了大约3X的推断速度的同时,推动了目前的状况。

0
下载
关闭预览

相关内容

【KDD2021】图神经网络,NUS- Xavier Bresson教授
专知会员服务
62+阅读 · 2021年8月20日
专知会员服务
82+阅读 · 2021年8月20日
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
91+阅读 · 2019年10月16日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
已删除
将门创投
6+阅读 · 2019年11月21日
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
论文共读 | Attention is All You Need
黑龙江大学自然语言处理实验室
14+阅读 · 2017年9月7日
Arxiv
24+阅读 · 2020年3月11日
VIP会员
相关资讯
已删除
将门创投
6+阅读 · 2019年11月21日
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
论文共读 | Attention is All You Need
黑龙江大学自然语言处理实验室
14+阅读 · 2017年9月7日
Top
微信扫码咨询专知VIP会员