[评测报名] 中国计算语言学大会（CCL 2018）技术评测任务发布

2018 年 5 月 3 日 哈工大SCIR 中国中文信息学会

声明：本文转载自公众号中国中文信息学会

由中国中文信息学会计算语言学专委会主办的“第十七届中国计算语言学学术会议” （The Seventeenth China National Conference on Computational Linguistics, CCL 2018）将于2018年10月19日—21日在长沙理工大学举行。大会将组织技术评测任务，为研究者提供测试自然语言处理相关技术、算法和系统的平台。

经过前期评测任务征集与筛选，评测委员会确定了CCL2018的评测任务。本次评测任务设置多样，其中多个任务是首次针对中文设置，具有开创性和探索性。欢迎广大研究者参与评测任务，共同推动相关技术发展。评测任务参与者将被大会邀请参加评测研讨会，进行技术分享。

具体任务简介、报名方式及时间安排等信息如下。

一、任务简介

任务1: 客服领域用户意图分类

在客服和用户对话系统的应用过程中，用户可能会有多种意图，相应地会触发客服和客户对话系统中的多个业务类型，业务类型包括查询类、办理类和咨询类三种，每个业务类型下涉及的用户意图有多种，例如查询类下有查询账单、查询积分等，办理类下有充值手机话费、重置密码等；咨询类下有咨询宽带故障、咨询宽带续费等。因而，客服领域对话系统的一个关键任务就是正确地将用户的输入分类到相应业务类型下的具体意图（即识别出用户输入到对话系统执行某个动作之间的一个映射关系）中，从而达到识别和理解用户要表达的意图，帮助提高语言、语音导航系统的语义识别能力。

组织方将提供约10万条真实线上数据，并将分为训练、开发和测试集用于评测。

任务组织者

赵江江，中移在线服务有限公司
徐俊利，中移在线服务有限公司
邓知龙，中移在线服务有限公司

联系人

赵江江，

zhaojiangjiang@cmos.chinamobile.com

徐俊利，

xujunli_zb@cmos.chinamobile.com

奖项设置

1等奖 - 2万元，1名；
2等奖 - 1万元，2名；
3等奖 - 5千元，3名；
优秀奖 - 3千元，5名。

任务2：中文隐喻识别与情感分析

包括两个子任务：

（1）中文动词隐喻的识别

众所周知，动词在句子中扮演着重要的角色，对于中文隐喻而言更是如此，隐喻通常涉及两个概念域，其构建的基础是两个概念域之间的相似性，而动词往往表征隐喻概念实体间的相互关系，因此动词是隐喻中名词实体的概念依存体，例如：“音乐凝固了小镇的建筑。”，这个句子便运用了动词隐喻，通过动词“凝固”表征了该隐喻中实体音乐和建筑的关系。因此，该子任务旨在通过对动词及其关联的名词实体的分析，实现对中文动词隐喻的识别.

（2）中文隐喻的情感分析

中文隐喻的情感分析是对隐喻理解的重要部分，其旨在研究作者如何通过隐喻把文本话题的情感传递给读者，是一种更具挑战性的情感计算研究。隐喻是典型的非字面表达，常常通过隐晦、间接的语言表达情感。例如在句子“你就是个备胎”中，并没有情感词汇出现，“备胎”的字面义也没有情感因素，但其隐喻义“排在第二的替补”却能传递出说话者不满、生气的负面情感。因此，该子任务旨在通过对隐喻的内容与语境的分析，实现对中文隐喻的情感分析。

组织方将提供约5000条人工标注隐喻数据用于评测。

任务组织者

杨亮，大连理工大学
林鸿飞，大连理工大学
张冬瑜，大连理工大学

联系人

刁宇峰，diaoyufeng@mail.dlut.edu.cn

任务3: 中文文本蕴含识别

文本蕴含关系是自然语言中广泛存在的语义关系。文本蕴含关系识别涉及到词汇语义、语义推理、社会经验和常识等多个方面，问题是自然语言处理领域的一项基础性研究，具有丰富的应用场景。

本次评测将中文文本蕴含识别看作一个分类问题：每个输入样本为2个句子，分别是“前提句Premise”和“假设句Hypothesis”，要求参评系统判断两者之间的蕴含类别，包括：

蕴含(E, entailment)：P能合理推理得到H,反之不一定；
矛盾(C，contradiction)：P和H不能同时成立；
无关(N, neutral)： P和H不存在必然的联系。

组织方将提供约8-10万人工编辑句对用于评测。

任务组织者

于东，北京语言大学

联系人

于东，yudong_blcu@126.com
刘春花（baseline系统，
chunhualiu596@gmail.com
金天华（数据集建设），
tianhua.carol.jin@gmail.com

任务4：中文幽默计算

幽默多指令人发笑的品质或者具有发笑的能力，它是一种特殊的语言表达方式，是生活中活跃气氛、化解尴尬的重要元素。近年来随着人工智能的快速发展，如何利用计算机技术识别和生成幽默逐渐称为自然语言处理领域研究热点之一，即幽默计算。幽默计算旨在赋予计算机识别、生成幽默的能力，它涉及信息科学、认知语言学、心理学等多个学科的交叉，在人类语言的理解乃至世界文化的交流方面，都具有重要的理论和应用价值。

本次中文幽默计算评测共分为两个子任务：

（1）中文幽默类型识别

幽默无处不在，能理解各种幽默形式，将极大程度上地提高人机交互系统的性能。幽默的类型与幽默产生的机制密切相关，例如：“餐厅里…客人：有火鸡吗？服务员：我就是活计。”，该幽默通过谐音的方式产生了幽默的效果。因此，本任务旨在通过分析幽默的产生机制，从而识别幽默的类型，具体包括对谐音幽默、谐义幽默及反转幽默三种类型幽默的识别。

（2）中文幽默等级划分

幽默日常生活中沟通交流的重要组成部分，也是人类智慧与创造力的结晶。由于幽默特征与主观因素关系密切，“可笑或有趣”对于不同的人多具有不同的诠释，即不同的幽默往往存在着不同的幽默等级。为了研究这一现象，该任务旨在通过分析幽默的内容，探索对幽默等级划分有效的方法，即预测哪些幽默更加有趣。

组织方将总共提供约2万条幽默数据用于评测。

任务组织者

杨亮，大连理工大学
林鸿飞，大连理工大学

联系人

任璐，renlu@mail.dlut.edu.cn

任务5：第二届“讯飞杯”中文机器阅读理解评测

今年评测将聚焦基于篇章片段抽取的阅读理解(Span-Extraction Machine Reading Comprehension)，作为填空型阅读理解任务的进一步延伸。虽然在英文阅读理解研究上有例如斯坦福SQuAD、NewsQA等篇章片段抽取型阅读理解数据集，但目前相关中文资源仍然处于空白状态。本届中文机器阅读理解评测将开放首个人工标注的中文篇章片段抽取型阅读理解数据集，参赛选手需要对篇章、问题进行建模，并从篇章中抽取出连续片段作为答案。

任务组织者

刘挺，哈尔滨工业大学
崔一鸣，科大讯飞北京研究院

联系人

CMRC2018评测组委会，

cmrc2018@126.com

该任务已经展开，具体详情请关注评测官方网站：http://www.hfl-tek.com/cmrc2018/

二、报名方式

本次评测采用邮件报名的方式，邮件标题为：“CCL2018-任务名称-参赛单位”，例如：“CCL-中文幽默计算-大连理工大学”；邮件内容为：“参赛队名，参赛队长信息（姓名，邮箱，联系电话），参赛单位名称”。请参加评测的队伍发送报名邮件至相应邮箱：

任务名称	报名邮箱
任务1: 客服领域用户意图分类	zhaojiangjiang@cmos.chinamobile.com
任务2: 中文隐喻识别与情感分析	irlab@dlut.edu.cn
任务3：中文文本蕴含识别	evaluations@126.com
任务4：中文幽默计算	irlab@dlut.edu.cn
任务5：中文机器阅读理解评测	报名已结束，详情请关注 http://www.hfl-tek.com/cmrc2018/