第三届“讯飞杯”中文机器阅读理解评测报名开启(CMRC 2019)

2019 年 5 月 27 日 哈工大SCIR

声明:本文转载自公众号 哈工大讯飞联合实验室

哈工大讯飞联合实验室(HFL)继续承办第三届“讯飞杯”中文机器阅读理解评测(CMRC 2019)。

官方网站:https://hfl-rc.github.io/cmrc2019/

评测报名截止时间:2019年6月30日23:59 (北京时间,UTC+8)

>

第三届“讯飞杯”中文机器阅读理解评测

从2017年开始,全国计算语言学学术会议(CCL)计划举办评测活动。 作为全国计算语言学学术会议(CCL)的系列评测,今年将继续举办第三届“讯飞杯”中文机器阅读理解评测 (The Third Evaluation Workshop on Chinese Machine Reading Comprehension, CMRC 2019),并将于2019年10月与第十八届全国计算语言学学术会议(CCL 2019,2019年10月18日~20日,云南昆明)共同召开。 本届中文机器阅读理解评测由中国中文信息学会计算语言学专业委员会(CIPS-CL)主办,哈工大讯飞联合实验室(HFL)承办,大讯飞股份有限公司、河北省讯飞人工智能研究院冠名赞助,旨在进一步促进中文机器阅读理解研究及发展并且为相关领域学者提供一个良好的沟通平台。在此,CMRC 2019评测委员会诚邀各界人士参加本次评测活动!

哈工大讯飞联合实验室(HFL)长期致力于机器阅读理解的研究和发展。在中文阅读理解方面,哈工大讯飞联合实验室在2016年7月提出首个中文填空型阅读理解数据集PD&CFT。 在2017年、2018年先后承办了两届“讯飞杯”中文机器阅读理解评测(CMRC 2017,CMRC 2018),进一步促进了中文机器阅读理解研究。我们希望通过持续的中文机器阅读理解评测,与相关领域学者共同推进中文机器阅读理解的技术水平。


>

任务简介

第三届“讯飞杯”中文机器阅读理解(CMRC 2019)的任务是句子级填空型阅读理解(Sentence Cloze-Style Machine Reading Comprehension, SC-MRC)。 根据给定的一个叙事篇章以及若干个从篇章中抽取出的句子,参赛者需要建立模型将候选句子精准的填回原篇章中,使之成为完整的一篇文章。本任务需要机器能够根据上下文的逻辑关系判断空缺部分的内容,进一步提升了机器阅读理解的难度。


同时,本届评测的赛制也发生了一些变化,比赛分为资格赛(5月23日~8月7日)和决赛(8月14日~8月21日)两个阶段:

  • 资格赛:不要求提交系统源代码,在赛末提交资格集的结果(仅公开题面),排名最高的10支队伍将入围决赛

  • 决赛:获得决赛入围资格的队伍将提交系统代码,在隐藏的测试集上得出最终评测结果(80%比重),专家评审(20%比重)


>

奖项设置

本届评测将评选出如下奖项,颁发荣誉证书和奖金。

由中国中文信息学会计算语言学专委会(CIPS-CL)为获奖队伍提供荣誉证书。

由科大讯飞股份有限公司和河北省讯飞人工智能研究院为获奖队伍提供奖金。

奖项 数量 奖励
 冠军 一名 ¥20,000 + 荣誉证书
 亚军 一名 ¥10,000 + 荣誉证书
 季军 三名 ¥ 5,000 + 荣誉证书


>

重要时间

注:所有截止时间点为北京时间(UTC+8)23:59。

阶段 事件 状态 时间
赛前 参赛报名 已开始 即日起 ~ 2019年6月30日
资格赛 发布训练集、试验集 已开始 2019年5月23日
发布开发集 未开始 2019年6月10日
系统搭建及调整 未开始 即日起 ~ 2019年7月31日
发布资格集,获取决赛资格 未开始 2019年8月1日 ~ 2019年8月7日
决赛 提交最终评测系统 未开始 2019年8月14日 ~ 2019年8月21日
赛后 公布客观结果排名 未开始 2019年9月(待定)
撰写系统描述报告 未开始 2019年9月(待定)
召开CMRC 2019评测研讨会 未开始 2019年10月19日


>

评测报名

拟报名参加的单位或个人,可点击文末的“阅读原文”链接报名,或扫描下方二维码

>

评测组织

主办方: 中国中文信息学会计算语言学专业委员会 (CIPS-CL)

承办方: 哈工大讯飞联合实验室 (HFL)

赞助商: 科大讯飞股份有限公司,河北省讯飞人工智能研究院


>

评测主席

刘    挺(哈尔滨工业大学)

崔一鸣(科大讯飞股份有限公司)


>

联系我们

如果有任何与本次评测相关的问题,请随时联系评测委员会。

评测委员会邮箱: cmrc2019 [at] 126 [dot] com

> 关于哈工大讯飞联合实验室(HFL)


哈工大讯飞联合实验室(HFL)是科大讯飞针对“讯飞超脑”项目计划,重点引进和布局的核心研发团队之一,由科大讯飞AI研究院与哈尔滨工业大学社会计算与信息检索研究中心(HIT-SCIR)共同创办。根据联合实验室建设规划,双方将在语言认知计算领域进行长期、深入合作,具体开展阅读理解、自动阅卷、类人答题、人机对话、语音识别后处理、社会舆情计算等前瞻课题的研究。重点突破深层语义理解、逻辑推理决策、自主学习进化等认知智能关键技术,支撑科大讯飞实现从“能听会说”到“能理解会思考”的技术跨越,并围绕教育、司法、人机交互等领域实现科研成果的规模化应用。

本期责任编辑:崔一鸣

本期编辑:蔡碧波




“哈工大SCIR”公众号

主编:车万翔

副主编: 张伟男,丁效

责任编辑: 张伟男,丁效,刘一佳,崔一鸣

编辑: 李家琦,吴洋,刘元兴,蔡碧波,孙卓,赖勇魁


长按下图并点击 “识别图中二维码”,即可关注哈尔滨工业大学社会计算与信息检索研究中心微信公共号:”哈工大SCIR” 。

登录查看更多
4

相关内容

专知会员服务
102+阅读 · 2020年3月12日
【哈工大】基于抽取的高考作文生成
专知会员服务
36+阅读 · 2020年3月10日
哈工大讯飞联合实验室发布中文XLNet预训练模型
哈工大SCIR
13+阅读 · 2019年8月20日
SMP 2019 第三届中文人机对话技术评测顺利落幕
哈工大SCIR
12+阅读 · 2019年8月19日
SMP2019中文人机对话技术评测(ECDT)报名开始啦
哈工大SCIR
15+阅读 · 2019年4月17日
SMP2018中文人机对话技术评测
哈工大SCIR
12+阅读 · 2019年3月6日
2019语言与智能技术竞赛报名开启
中国计算机学会
16+阅读 · 2019年2月26日
Arxiv
11+阅读 · 2019年6月19日
Arxiv
21+阅读 · 2018年8月30日
Recurrent Fusion Network for Image Captioning
Arxiv
3+阅读 · 2018年7月31日
VIP会员
相关VIP内容
专知会员服务
102+阅读 · 2020年3月12日
【哈工大】基于抽取的高考作文生成
专知会员服务
36+阅读 · 2020年3月10日
相关资讯
哈工大讯飞联合实验室发布中文XLNet预训练模型
哈工大SCIR
13+阅读 · 2019年8月20日
SMP 2019 第三届中文人机对话技术评测顺利落幕
哈工大SCIR
12+阅读 · 2019年8月19日
SMP2019中文人机对话技术评测(ECDT)报名开始啦
哈工大SCIR
15+阅读 · 2019年4月17日
SMP2018中文人机对话技术评测
哈工大SCIR
12+阅读 · 2019年3月6日
2019语言与智能技术竞赛报名开启
中国计算机学会
16+阅读 · 2019年2月26日
Top
微信扫码咨询专知VIP会员