权威赛事来了！千言-文本生成评测启动，聚焦NLG技术痛点

自然语言生成是人工智能的重要前沿技术，该技术在落地时会面临一个难题：如何保证模型生成的文本与输入具有事实层面的一致性，即避免生成错误、臆想的信息？为推动相关研究，中国中文信息学会自然语言生成专委会与千言开源数据集项目(www.luge.ai)联合举办“面向事实一致性的生成评测比赛”。比赛于8月3日开启报名，并将在11月7日首届中国自然语言生成大会（CCNLG-2021）召开评测研讨会并举行颁奖仪式。

本届比赛以事实一致性为核心，将提供三个对事实一致性有较高要求的典型生成任务：文案生成[1]、摘要生成[2]和问题生成[3]，结合文本流畅性和事实一致性两项指标，综合评估参赛系统的效果。

除了有挑战性的赛题，百度将赞助赛事为获奖团队提供丰厚的奖金：第一名20000人民币、第二名10000人民币、第三名5000人民币。

报名及竞赛详情链接：
https://aistudio.baidu.com/aistudio/competition/detail/105

1、赛题背景及事实一致性简介

随着深度神经网络文本生成模型、预训练语言模型的迅速发展，自然语言生成的可读性和流畅性不断提升。然而，自动生成的文本中经常出现不符合输入的错误事实。这个问题被称为“自然语言生成的事实一致性问题”，以自动摘要任务为例，以下描述一个具体的样例：

输入： 研究机构此前曾发布报告称2013年长期黄金牛市或将终结，下调黄金3个月、6个月和12个月价格预估分别至1825美元、1805美元、1800美元。近日，大宗商品分析师Damien Courvalin的研究报告进一步预期国际金价到2018年或跌至1200美元/盎。理由是除了实际利率之外,黄金与各货币之间的联动同样影响着黄金价格，不过，三个月黄金价格预估仍然看涨。

参考摘要： 近涨远跌，金价2018年或跌至1200美元/盎

这是取自LCSTS数据集[2]的一个样例，对输入的文本，算法需要得出精简的摘要结果。

接下来，我们看两个由自然语言生成算法得到的结果：

结果A（事实一致）： 研究机构预计国际金价近涨远跌
结果B（事实不一致）： 分析师：金价2018年或跌至1800美元

可以看到，结果A正确，结果B粗看似乎也比较流畅，但事实和原文表达的内容存在事实偏差（“1800美元”vs“1200美元”）。

目前常用于评估自然语言生成效果的BLEU或ROUGE等指标，其思路均为计算生成文本与参考答案的字面匹配度。然而对结果A和结果B计算与参考摘要的字面匹配度，反而错误的结果B可以获得更高的分数，针对这个问题，我们设计和发起了本比赛。

2、赛程安排

为确保比赛公平性，正式赛将分为3个阶段开展：

• 阶段1：开放测试集1，参赛队伍可在测试集1上优化模型效果，提交结果到千言平台后，会在线给出结果并更新实时榜单1；
• 阶段2-最终测试提交：开放测试集2，参赛队伍计算测试集2上的结果并提交到千言平台；
• 阶段3-人工评估：以阶段2的自动评测结果为准，排名前10的队伍进入人工评估阶段，为避免自动评估指标本身的评估偏差，将以人工评估为依据确认和公布最终排名。

3、参赛奖励

千言-面向事实一致性的生成评测比赛的最终获奖团队将获得：

（1）丰厚奖金：第一名20000人民币、第二名10000人民币、第三名5000人民币。

（2）荣誉证书：获奖团队将由赛事主办方颁发权威获奖证书。

同时，参赛者也将获得以下福利：

（1）学习交流机会：在赛事群中与参赛者、组织者深入交流；

（2）前沿学习资料：获取自然语言生成事实准确性提升方法和评估指标的前沿进展学习材料。

（3）精美礼品&参赛证明：正式报名参赛并提交最终结果的队伍每位成员将获得千言数据集精美的定制周边一份，并发放参赛证明。

4、比赛组织

指导单位：中国中文信息学会

主办单位：中国中文信息学会自然语言生成专委会（筹）

承办单位：清华大学、哈尔滨工业大学(深圳)、百度

评测委员会：黄民烈(清华大学), 户保田(哈尔滨工业大学(深圳))、肖欣延(百度)

5、交流群

扫码添加微信，备注“生成“即可加入竞赛交流群。

点击“阅读原文“，即可了解竞赛详情并报名！

后台回复关键词【入群】

加入卖萌屋NLP/IR/Rec与求职讨论群

后台回复关键词【顶会】

获取ACL、CIKM等各大顶会论文集！

 

[1].Zhihong Shao, Minlie Huang, Jiangtao Wen, Wenfei Xu, Xiaoyan Zhu. 2019. Long and Diverse Text Generation with Planning-based Hierarchical Variational Model. In Proceedings of EMNLP 2019.

[2].Baotian Hu, Qingcai Chen, Fangze Zhu. 2015. LCSTS: A Large Scale Chinese Short Text Summarization Dataset. In Proceedings of EMNLP 2015.

[3].Wei He, Kai Liu, Jing Liu, Yajuan Lyu, Shiqi Zhao, Xinyan Xiao, Yuan Liu, Yizhong Wang, Hua Wu, Qiaoqiao She, Xuan Liu, Tian Wu, Haifeng Wang. 2019. DuReader: a Chinese Machine Reading Comprehension Dataset from Real-world Applications. In Proceedings of ACL 2018 MRQA Workshop.