首超人类水平！哈工大讯飞联合实验室登顶机器阅读理解评测SQuAD 2.0

2019 年 3 月 26 日 哈工大SCIR

声明：本文转载自公众号哈工大讯飞联合实验室

2019年3月20日，哈工大讯飞联合实验室（Joint Laboratory of HIT and iFLYTEK Research, HFL）与河北省讯飞人工智能研究院联合团队在由斯坦福大学发起的国际权威机器阅读理解评测SQuAD 2.0（Stanford Question Answering Dataset）中荣登榜首，所有指标均超过人类平均水平并且创下该评测的新纪录，再次展现了哈工大讯飞联合实验室在机器阅读理解领域的核心技术国际领先地位，也是人工智能技术在机器阅读理解领域的一项重要里程碑。国际权威机器阅读理解评测SQuAD自2016年发布以来受到了业界广泛关注，吸引了众多国内外知名研究机构和高校，其中包括谷歌、微软亚洲研究院、IBM研究院、阿里巴巴达摩院、平安科技、上海交通大学、复旦大学等。

SQuAD 2.0挑战赛最新榜单（截止2019年3月26日）

SQuAD 2.0评测在基于篇章片段抽取的阅读理解任务基础上（例如SQuAD 1.1评测）进一步提高了解答难度，对机器阅读理解模型提出了新的挑战。其主要区别是加入了“不可回答的问题”，即通过阅读篇章无法找到答案的问题。机器阅读理解模型需要通过阅读篇章和问题，判断所提出的问题是否能够通过篇章内容进行回答。如果可以回答，则给出篇章中的某个连续片段作为答案；如果不可回答，则对该问题进行“拒答”，而不是给出似是而非的答案。本次提交的“BERT + DAE + AoA”模型融合了业界领先的自然语言语义表示模型BERT以及团队持续积累和改进的层叠式注意力机制（Attention-over-Attention，AoA），将该评测的相关技术指标推向新的高度，其中EM指标（精准匹配率）达到87.147，F1指标（模糊匹配率）达到89.474，均超过人类在该数据集上的平均水平（EM: 86.831, F1: 89.452）。

哈工大讯飞联合实验室参赛提交系统一览

产业应用

技术的发展是为了更好的服务人们的生活。哈工大讯飞联合实验室不仅在众多核心技术评测中获得亮眼成绩，还积极将所研发的技术应用到实际产品中。机器阅读理解技术目前成功应用在车载电子说明书产品中且已在实际车型上得到应用。通过让机器阅读汽车领域的材料，使机器深度理解并掌握对该车型的相关知识。在用户提出问题时，不仅能够快速反馈给用户相关章节，并且还能够利用阅读理解技术进一步挖掘并反馈更精准的答案，同时针对不可回答的问题进行拒答，从而减少用户的阅读量，提高信息获取的效率。

科大讯飞执行总裁胡郁在讯飞发布会上介绍智能车载系统中阅读理解技术的应用

同时，由哈工大讯飞联合实验室出品的“法小飞”智能法律咨询助手应用了对话型阅读理解技术，在为用户提供精准答案的同时提升了用户的对话交互体验。“法小飞”是一个服务公众和律师的法律咨询助手，旨在利用自然语言处理技术和法律专业知识，为用户提供快速优质的法律咨询及相关服务。“法小飞”通过学习大量的法律知识，对当事人提出的法律问题进行自动解答，并且能够针对刑事和民事案件进行深入的案情分析，拥有类案推送、法条推荐、判决预测和律师推荐的功能。

智能法律咨询助手“法小飞”

中文机器阅读理解评测（CMRC）

哈工大讯飞联合实验室不仅在自然语言处理核心技术上持续深耕，同时也积极关注和推动中文信息处理的研究发展。在2017年和2018年，哈工大讯飞联合实验室先后承办了两届“讯飞杯”中文机器阅读理解评测（CMRC）并且发布了中文阅读理解数据集，受到了业界广泛关注和各界研究人员的积极参加，进一步促进了中文机器阅读理解研究。今年哈工大讯飞联合实验室将继续携手中国中文信息学会计算语言学专业委员会（CIPS-CL）承办相关中文机器阅读理解评测活动，持续推动中文机器阅读理解技术的研究发展。

哈工大讯飞联合实验室阅读理解团队

哈工大讯飞联合实验室阅读理解团队（HFL-RC）是国内外最早启动机器阅读理解研究的团队之一，持续深耕机器阅读理解核心技术研究以及相关技术的产业落地。团队成立至今斩获了多项国际比赛荣誉：

1. 多次荣获国际权威机器阅读理解评测SQuAD 1.1冠军

2. 多次荣获国际权威机器阅读理解评测SQuAD 2.0冠军

3. 2018年荣获国际语义评测SemEval 2018阅读理解任务冠军

4. 2018年荣获对话型阅读理解评测CoQA冠军

关于哈工大讯飞联合实验室（HFL）

哈工大讯飞联合实验室（HFL）是科大讯飞针对“讯飞超脑”项目计划，重点引进和布局的核心研发团队之一，由科大讯飞AI研究院与哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）共同创办。根据联合实验室建设规划，双方将在语言认知计算领域进行长期、深入合作，具体开展阅读理解、自动阅卷、类人答题、人机对话、语音识别后处理、社会舆情计算等前瞻课题的研究。重点突破深层语义理解、逻辑推理决策、自主学习进化等认知智能关键技术，支撑科大讯飞实现从“能听会说”到“能理解会思考”的技术跨越，并围绕教育、司法、人机交互等领域实现科研成果的规模化应用。

本期责任编辑：张伟男

本期编辑：刘元兴

“哈工大SCIR”公众号

主编：车万翔

副主编：张伟男，丁效

责任编辑：张伟男，丁效，刘一佳，崔一鸣

编辑：李家琦，吴洋，刘元兴，蔡碧波，孙卓，赖勇魁

长按下图并点击 “识别图中二维码”，即可关注哈尔滨工业大学社会计算与信息检索研究中心微信公共号：”哈工大SCIR” 。