第二届CCL“讯飞杯”中文机器阅读理解评测圆满落幕

2018 年 10 月 23 日 哈工大SCIR

声明：本文转载自公众号哈工大讯飞联合实验室

由中国中文信息学会计算语言学专委会（CIPS-CL）主办，哈工大讯飞联合实验室（HFL）承办，科大讯飞股份有限公司冠名的第二届CCL“讯飞杯”中文机器阅读理解评测研讨会（CMRC 2018）于2018年10月19日在湖南长沙圆满落幕。从2017年开始，全国计算语言学学术会议（CCL）计划举办评测活动。作为CCL的系列评测，哈工大讯飞联合实验室继续承办了第二届CCL“讯飞杯”中文机器阅读理解评测，并与第十七届全国计算语言学学术会议（CCL 2018，2018年10月19日~21日，湖南长沙）共同召开，旨在通过每年的中文机器阅读理解评测，与相关领域学者共同推进中文机器阅读理解的技术水平以及提供相关学者交流的平台。

今年的评测任务是基于篇章片段抽取的阅读理解（Span-Extraction Machine Reading Comprehension），作为填空型阅读理解任务的进一步延伸。虽然在英文阅读理解研究上有例如SQuAD、NewsQA等篇章片段抽取型阅读理解数据集，但目前相关中文资源仍然处于空白状态。本届中文机器阅读理解评测将开放首个人工标注的中文篇章片段抽取型阅读理解数据集，参赛选手需要对篇章、问题进行建模，并从篇章中抽取出连续片段作为答案。本次评测依然采取训练集、开发集公开，测试集隐藏的形式以保证评测的公平性。

CMRC 2018评测研讨会

CMRC 2018评测研讨会于2018年10月19日下午2点准时开始。CCL 2018评测主席、CMRC 2018评测主席刘挺教授在评测研讨会上进行了开幕致辞。介绍了CCL系列评测的概况，表达了希望通过各类技术评测进一步推动中文信息处理的深切愿景。随后，科大讯飞AI研究院资深研究员、CMRC 2018评测联合主席崔一鸣对本次评测进行了总结并宣布了获奖单位，同时宣布开放式评测的启动，并且欢迎更多的研究机构通过参加开放式评测进一步推动中文阅读理解技术的研究。另外，评测委员会对评测单位的系统描述报告、测试集结果、挑战集结果进行综合评定选出本届评测的最佳单系统奖，最终颁发给北京信息科技大学智能信息处理实验室。

哈工大讯飞联合实验室主任、哈尔滨工业大学教授刘挺作开幕致辞

科大讯飞AI研究院研究主管、资深研究员崔一鸣作评测总结报告

随后，冠军单位“深圳追一科技有限公司”，亚军单位（同时为最佳单系统奖获得者）“北京信息科技大学智能信息处理实验室”，季军单位“6ESTATES PTE LTD”作评测系统描述报告，介绍了评测中使用的模型以及比赛心得，并且回答了与会嘉宾的提问。三家单位全部使用了基于神经网络的建模方法，并且关注到大规模预训练模型的应用。然而，除了通过技术手段进一步提升相关效果指标的同时，我们期待有更多工作关注通过目前技术手段没能解决的阅读理解问题，并加以深入分析。

本届评测冠军、亚军、季军单位作评测报告

CMRC 2018评测研讨会与会来宾

随着三家获奖单位的精彩报告的结束，CMRC 2018评测研讨会圆满结束。CMRC 2019评测将于2019年与CCL 2019共同举办。CCL 2019将于2019年10月18日至20日在云南昆明召开。评测委员会欢迎各位专家、老师、同学积极关注CMRC中文机器阅读理解系列评测，进一步推动中文信息处理的研究。

关于哈工大讯飞联合实验室

哈工大讯飞联合实验室（HFL）是科大讯飞针对“讯飞超脑”项目计划，重点引进和布局的核心研发团队之一，由科大讯飞AI研究院与哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）共同创办。根据联合实验室建设规划，双方将在语言认知计算领域进行长期、深入合作，具体开展阅读理解、自动阅卷、类人答题、人机对话、语音识别后处理、司法认知等前瞻课题的研究。重点突破深层语义理解、逻辑推理决策、自主学习进化等认知智能关键技术，支撑科大讯飞实现从“能听会说”到“能理解会思考”的技术跨越，并围绕教育、司法、人机交互等领域实现科研成果的规模化应用。

哈工大讯飞联合实验室阅读理解研究组（HFL-RC）是最早启动阅读理解相关研究的团队之一，致力于原创核心技术的研发及技术落地的支持。主要研究方向包括：机器阅读理解技术、问答系统技术、神经网络基础技术等。2016年，提出Attention-over-Attention模型在DeepMind CNN, Facebook CBT等数据集上达到世界第一的水平。2017年，进一步提出Interactive Attention-over-Attention模型，在机器阅读理解领域最具权威的斯坦福SQuAD评测中达到世界第一的成绩，这也是中国本土研究机构首次登顶，进一步体现了核心技术的领先优势。随后在2017年10月，2018年1月再次登顶斯坦福SQuAD挑战赛。2018年2月，在国际语义评测SemEval-2018 Task 11阅读理解任务中获得第一名。同时，哈工大讯飞联合实验室积极推动中文信息处理的研究，2016年，发布了首个中文填空型阅读理解数据集PD&CFT。随后与中国中文信息学会计算语言学专委会（CIPS-CL）共同举办两届中文机器阅读理解评测CMRC 2017和CMRC 2018，进一步扩大了机器阅读理解技术受众范围。目前，相应技术已应用在车载问答系统等实际应用场景中，为用户提供更加精准的信息。

原文、编辑：CMRC 2018评测委员会

本期责任编辑：崔一鸣

本期编辑：蔡碧波

“哈工大SCIR”公众号

主编：车万翔

副主编：张伟男，丁效

责任编辑：张伟男，丁效，刘一佳，崔一鸣

编辑：李家琦，吴洋，刘元兴，蔡碧波，孙卓，赖勇魁

长按下图并点击 “识别图中二维码”，即可关注哈尔滨工业大学社会计算与信息检索研究中心微信公共号：”哈工大SCIR” 。