SFFAI14@MSRA 报名通知 | 走进微软亚研：自然语言处理前沿

关注文章公众号

回复"自然语言处理"获取本主题精选论文

论坛主题

走进微软亚研：自然语言处理前沿

论坛讲者

吴俣：吴俣是微软亚洲研究院与北京航空航天大学大学的联合培养博士生。自2014年起，他在导师李舟军教授与周明常务副院长的指导下开始了博士生的学习与科研工作，截止到目前已经发表了7篇会议文章（全部为CCF A类）与2篇期刊文章。他的研究兴趣为：open domain conversation and natural language generation.

题目：上下文敏感的改写式回复生成模型

摘要：近些年来，随着互联网的兴起，我们可以方便快捷的从网络上抓取大规模人与人的对话，并以此训练数据驱动的聊天机器人。已有的数据驱动的聊天机器人分为基于生成的聊天机器人和基于检索的聊天机器人。但他们均有各自的不足： 

1、基于生成的聊天机器人有着“万能回复”的问题。所谓的“万能回复”，是指那些看似能够回复任何输入的但却没有实际意义、不利于对话过程持续进行的句子，例如“我不知道”。

2、基于检索的聊天机器人虽然回复信息量充分，但相关性有时不佳，且强依赖索引的数据。

在本次演讲中，我将介绍我们在AAAI-19上发表的题为“上下文敏感的改写式回复生成模型”的工作。在这个工作中，我们提出了一个新的范式：“先检索，后改写”，用于回复生成。在该框架中，我们首先利用检索式聊天机器人检索一个回复（原型），之后根据该回复原本的上下文和当前上下文之间的差异来改写此回复。这种新的范式不仅继承了检索式聊天机器人回复流畅和富有信息量的优势，而且还享有生成式聊天机器人的灵活性和相关性。实验表明，我们的方法在相关性，多样性和原创性方面优于传统模型。

Spotlight：

1、聊天机器人的研究进展，和方法优缺点；

2、基于改写的回复生成模型；

3、基于改写的回复生成模型与传统的检索式聊天机器人和生成式聊天机器人对比。

胡明昊：胡明昊是国防科技大学计算机学院的在读博士生，导师为彭宇行教授。胡博士分别于2013年和2015年获得国防科技大学学士学位和硕士学位。目前，他是微软亚洲研究院自然语言计算组的一名实习生，导师是韦福如研究员。他的研究领域为问答系统和机器阅读理解。至今，他在IJCAI、AAAI和EMNLP等国际顶级会议上发表过论文。

题目：阅读+验证：面向无答案问题的机器阅读理解

摘要：理解自然语言文本并回答相关问题是自然语言处理的核心任务之一。然而，当所提问题在当前给定文本下无法被回答时，我们要求系统能够拒绝给出答案。为了解决这一问题，当前工作通常会预测额外的“无答案”概率来检测问题是否可回答。然而，这些方法未能通过进一步验证预测答案的合法性来检测问题的可回答性。在本次演讲中，我将介绍我们在AAAI-19上的最新工作。在该工作中，我们提出一种新颖的阅读+验证系统，该系统不仅利用一个神经网络阅读器来提取候选答案，还使用了一个答案验证器来判断预测答案是否被输入文本所蕴含。此外，我们引入了两个辅助损失来帮助阅读器更好地处理答案提取以及无回答检测这两个任务，并且探索了针对答案验证器的三种不同架构。在SQuAD 2.0数据集上的实验显示，我们的系统在测试集上获得了74.2 F1 ，在提交时取得了顶尖的性能（2018年8月28日）。

Spotlight:

1、面向无答案问题的机器阅读理解研究进展；

2、阅读+验证系统；

3、针对答案提取的辅助损失函数设计和针对答案验证的架构探索。

孙丽君：微软亚洲研究院学术合作主管经理(Research PM Lead)。2012年加入微软亚洲研究院，全面负责与中科院、北京大学、上海交通大学等多所知名高校与机构在科研、人才、学术等方面的交流与合作。此外，她全面负责享有“中国IT人才摇篮”的微软亚洲研究院的人才培养战略与项目执行，具有丰富的经验，并创立了“乘风计划”“博士生论坛”“Ada workshop”等多个人才项目品牌。

题目：走进微软亚洲研究院

摘要：介绍微软亚洲研究院的整体情况，进展以及机会。

理解自然语言文本，回复、回答相关问题是自然语言处理的核心任务之一。本期推荐SFFAI14分享嘉宾吴俣同学和胡明昊同学精选出来的5篇论文，同大家一起探讨聊天机器人的研究进展和现有的一些问题及改进方法，同时聊一聊新颖的阅读理解、验证系统，让大家一起了解对话和阅读理解的最新前沿。

您可以先仔细阅读，并带着问题来现场交流呦。

1

推荐理由：文章主要提出了一种模型（SMN），用检索的方式处理多轮对话系统

多轮对话，类似于Q,A,Q,A,Q...QF:  --> A 这种，有上下文，然后给出最后那个问题（QF）的对应回答（response）

现存的解决方案通常是将上下文整个处理成一个上下文向量，但是这样忽略了上下文中的很多信息。

SMN将上下文中的每一句话(utterance)都同候选的response提取重要信息，处理成vector，然后将这些上下文的vector被累积起来从而获得他们之间的关系，最后用这个计算得分。

推荐理由来自：CSDN

2

推荐理由：文章考虑将对话的解码过程中所使用的大规模静态词表转化为一个根据输入生成的动态小规模词表，并推导出了可以通过蒙特卡罗抽样方法联合优化词汇结构和响应生成的学习方法。实验证明这种方式在对话质量提高的基础上，还获得了解码效率的提升。下一步可能考虑将其推广到多轮对话领域。

推荐理由来自：{知乎-学习ML的皮皮虾-知乎专栏}

3

推荐理由：提出一种聊天机器人回复的新范式，全面提升已有模型性能。

推荐理由来自：吴俣

4

推荐理由：本文是我们发表在IJCAI-18上的工作。在本文中，我们针对机器阅读理解任务，提出了强化助记阅读器。该模型针对先前的基于注意力的模型进行了两点改进。第一，我们提出一个重注意机制，该机制通过直接访问历史注意力来精炼当前注意力，历史注意力被临时存储在一个多轮对齐结构中，以此来避免注意力冗余和注意力缺乏的问题。第二，一个叫做动态-评估的强化学习方法被提出以扩展标准的有监督方法。该方法总是鼓励预测一个更被接受的答案来解决传统强化学习算法中的收敛抑制问题。在SQuAD1.1和两个对抗数据集上的实验显示了我们的模型取得了顶尖的结果。

推荐理由来自：胡明昊

5

推荐理由：本文是我们发表在EMNLP-18上的工作。在本文中，我们针对当前阅读理解集成模型效率低下，鲁棒性差的问题，提出了注意力-指导的答案蒸馏方法，来将集成模型的知识迁移至单模型。我们首先发现标准知识蒸馏技术可以被应用于阅读理解的答案预测中，并且能带来显著的性能提升。我们然后提出两种新颖的蒸馏方法，来惩罚模型对于迷惑答案的预测，并且使用对齐信息作为额外的监督信号。在SQuAD1.1数据集上的实验显示我们的学生模型相比于集成的教师模型只有0.4% F1的性能损失，同时保持了12倍的加速。另外，学生模型甚至在对抗SQuAD和NarrativeQA数据集上超过了教师模型的性能。

推荐理由来自：胡明昊

时间

2018年12月21日（周五）

日程安排

1:50 到达微软研发集团2号楼1层

2:00 – 2:30 Response Generation by Context-aware Prototype Editing

报告人：吴俣

2:30 – 3:00 Read + Verify: Machine Reading Comprehension with Unanswerable Questions

报告人：胡明昊

3:00 – 3:15 走进微软亚洲研究院

演讲人：孙丽君

3:15 – 4:00 现场Q&A（三位演讲人）

4:00 – 4:30 参观微软(非必须参加)

地点

微软研发集团2号楼1层

报名方式

点击下方原文链接 或 扫描二维码报名

活动名额

1、为确保小范围深入交流，本次活动名额有限（不收取任何费用）；

2、活动采取审核制报名，我们将根据用户研究方向与当期主题的契合度进行筛选，通过审核的用户将收到确认邮件；

3、 如您无法按时到场参与活动，请于活动开始前 24 小时在AIDL微信公众号后台留言告知，留言格式为放弃报名 + 报名电话。无故缺席者，将不再享有后续活动的报名资格。

SFFAI招募

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了SFFAI这个公益活动。SFFAI每周举行一期线下活动，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。

SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，将对线下讨论的内容进行线上传播，使后来者少踩坑，也为讲者塑造个人影响力。

SFFAI还将构建人工智能领域的知识树（AI Knowledge Tree），通过汇总各位参与者贡献的领域知识，沉淀线下分享的前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献。

这项意义非凡的社区工作正在稳步向前，衷心期待和感谢您的支持与奉献！

报名通道已开启，请点击下方

阅读原文

报名

↓↓