第五届“讯飞杯”中文机器阅读理解评测报名开启（CMRC 2022）

2022 年 5 月 31 日 哈工大SCIR

声明：本文转载自哈工大讯飞联合实验室公众号

依托全国计算语言学学术会议（CCL），自2017年以来“讯飞杯”中文机器阅读理解（CMRC）系列评测已成功举办四届，对中文机器阅读理解的不同任务进行了评测，见证了中文机器阅读理解技术的不断发展。今年我们继续承办第五届“讯飞杯”中文机器阅读理解评测（CMRC 2022），并将于2022年10月在第二十一届全国计算语言学学术会议（CCL 2022）上召开评测研讨会。我们诚挚邀请各单位和个人报名参加本届评测。

CMRC 2022官网：http://cmrc2022.hfl-rc.com

任务简介

第五届“讯飞杯”中文机器阅读理解评测（CMRC 2022）聚焦的任务是可解释性阅读理解。根据给定一个篇章以及和篇章相关的问题，参赛队伍需要设计一个可以同时抽取答案（或者选择答案）和佐证依据的机器阅读理解系统。根据阅读理解类型分为以下两个赛道：

抽取型阅读理解赛道：答案和佐证依据均是篇章中的某个连续片段
选择型阅读理解赛道：答案是从若干个候选选项中选出，佐证依据是篇章中的某个连续片段

本届评测的难点在于组委会并不提供带标注的训练集合。因此，选手需要设计无监督或弱监督的机器阅读理解系统来完成答案和佐证依据的抽取。为了训练机器阅读理解系统，参赛队伍可以使用任何公开数据集的训练集部分以及无标注数据，但不能使用任何未公开数据集以及公开数据集中的开发集和测试集。

请访问评测官网了解更详细的任务介绍。推荐阅读往期推送了解本届评测使用的数据集：哈工大讯飞联合实验室发布可解释性阅读理解评测集ExpMRC

比赛流程

本届比赛依次分为以下几个阶段：

资格赛：参赛队伍将通过官方平台自助提交开发集结果，取前10名进入到资格审查环节。选手可以在报名之后就开始搭建并优化比赛系统，待榜单开启后提交结果。
资格审查：入围队伍需要提交代码以完成资格审查（后续公布详细流程），同时需要提供训练数据来源的详细说明。资格审查通过的队伍进入到决赛。
决赛：资格审查通过的队伍将提交两组系统，由组委会给出测试集结果，取两组系统测试集“综合F1”指标高的结果作为该队伍的最终评测结果，参与最终的排名。

重要时间

阶段	时间
报名	2022年5月18日-2022年7月31日
资格赛	2022年6月1日-2022年7月31日
榜单开启	2022年6月13日
资格审查	2022年8月1日-2022年8月15日
决赛	2022年8月16日-2022年8月31日
公布比赛结果	2022年9月中旬
撰写评测报告	2022年9月下旬
评测研讨会	2022年10月14日-2022年10月16日（TBA）

注：所有截止时间点为北京时间（UTC+8）23:59；时间可能会有细微变动，请持续关注评测官方网站。

评测报名

请扫描下方二维码或使用链接进行报名。

报名地址：https://wj.qq.com/s2/10202266/6435/

奖项设置

本届评测将由中国中文信息学会为获奖队伍提供荣誉证书，由科大讯飞股份有限公司为获奖队伍提供奖金。每个赛道将评选出：

奖项	数量	奖励（奖金为税前金额）
冠军	一名	￥10,000 + 荣誉证书
亚军	一名	￥5,000 + 荣誉证书
季军	一名	￥ 3,000 + 荣誉证书