自然语言处理技术在自动生成足球比赛战报上的应用

2020 年 12 月 24 日 AINLP

1. 背景介绍

自动生成新闻看似是一个很成熟的技术，很多年前就有各种应用，但是深入了解后我们可以发现机器自动生成的文章一般都是复述一些数字和简单的趋势变化。所以自动生成新闻的技术广泛应用在金融，体育领域，原因就是这类报道需要基于一定的事实，而这类事实通常又以结构化的信息出现。因此这类技术的本质是将结构化的信息转换成自然语言以飨读者。

但这类技术一旦遇到需要细节描述且细节变化种类繁多的新闻报道，就会显得捉襟见肘。足球比赛战报就是其中的一个典型例子。足球比赛战报的特点就是对于比赛的事件，比如进球，有威胁的射门，犯规等要能给出细节描述，比如怎么射门的，怎么传球的，怎么犯规的。如果报道中仅仅是说了一个队几次射门，几张黄牌，这种报道是不符合球迷需求的。而球迷要求的细节描述又不属于比赛统计的内容，因此之前的生成技术遇到巧妇难为无米之炊的困境。图1是国内某互联网公司的写作机器人产生的2018年世界杯决赛的战报。虽然文中有类似“坐镇后场”，“伺机而动”，“不停的传球”等这样的词汇和表达，但是依然无法准确把握到足球比赛战报的重点。于此相对应的是篮球比赛报道，篮球比赛报道重点在于表述整场比赛的双方的趋势变化，比如是否交替领先；某队的连续得分等等。而这些信息在比赛统计中可以轻易获得，从而篮球报道就可以很容易的自动生成。图2是自动产生的一场NBA比赛第一节的比赛报道，其中的报道显然对篮球迷来说要更容易接受。

图1

图2

随着互联网直播行业的蓬勃发展，越来越多的足球直播平台在提供视频直播的同时也提供了文字直播。这个主要是为了方便当时没有条件看视频直播的球迷。文字直播员会尽量的将比赛场上的情况及时的用完整的句子表述出来并推送到球迷面前，让球迷获得类似观看视频的效果。这样的具体描述文字正是足球战报新闻里所需要的。当比赛结束时，如果有了完整的文字直播数据，是否可以自动生成一个包含具体描述的比赛战报呢？答案是肯定的。这个任务最早出现在2016年ACL的一篇论文[1]（当年我作为审稿人bid了这篇文章，可惜AC没有把这篇文章分配给我），后来NLPCC 2016也将该任务采纳为当年的一个评测任务[2]，吸引了更多的参与者。这类生成任务的难点是输入为自然语言的非结构化数据，需要利用自然语言技术先解析出结构化数据，然后再进行生成。当然利用基于编码解码的端到端神经网络方法不需要显式的解析数据的过程，但是需要大量的配对数据，并且系统不太容易调试和控制，所以不是直接实用方向的首选。

2. 实现方法

足球新闻战报基于抽取式摘要的思路，采用了模板化和监督学习混合的技术方案。具体系统架构如图3所示:

图3

首先系统会获取比赛的文字直播，然后对文字直播逐句进行事件检测，当出现预定义的关键事件时，会结合上下文识别出其中的球员、动作、比分、时间等信息。然后对相关的句子判断是否可以直接用在最终的新闻报道里，如果可以，直接抽取；如果不可以，则用事先准备的模板进行生成。

2.1 事件检测模块

对于事件检测模块我们可以采用非监督和有监督的方法进行事件类别识别。非监督的方法主要是通过收集对应事件的关键字，通过识别关键来触发事件类别。有监督的方法需要事先准备好有事件类别标注的句子，然后可以采用常规的分类模型进行训练和测试。

2.2 文本理解

这里主要是对相关的句子进行浅层和适度的深层理解获取到和事件相关的信息，比如球员名字，球员如何完成的这个事件等。涉及到的任务有词性标注，句法分析，语义角色分析等。

2.3 句子是否可直接用在新闻报道里

这个也是分类任务，但是难点在于如何获得一个句子是否能够被用在报道里的标签。通常我们在获取文字直播数据的同时，我们也会去收集相应比赛赛后记者写的比赛战报。然后我们将两者里的句子进行逐句比较，如果文字直播里的某句话和记者写的战报里的某句话高度相似，那么我们认为直播文字里的那句话就是适合用在新闻报道里的。这里对于如何定义相似，我们可以采用词袋（bag of words）模型然后用tfidf来计算相似度，也可以将句子向量化然后进行向量间的相似度比较。当获得了是否合适的标记后，依然可以采用常规的分类模型进行训练和测试。关于这类任务的数据，在最近刚结束的AACL2020会议上，有一篇论文[3]发布了比较大的数据集，感兴趣的读者可以去参考下。

3. 系统展示

目前我们将该套系统应用在了欧洲五大联赛，欧冠，欧联等各大足球赛事中。该系统从网络上自动抓取各场比赛的图文直播和相关信息，当比赛结束后，自动产生相应的比赛报道，如果有动图，也会匹配动图。对于没有充足时间观看全场比赛的球迷而言，是比较方便的在第一时间获取各场比赛信息的手段。感兴趣的朋友可以通过扫描图4的二维码启动小程序进行体验，扫描图5的二维码关注公众号，每天早上会对当天结束的比赛进行推送。

图4

图5

致谢：特别感谢复旦大学数据智能和社会计算实验室对项目的支持

参考文献

[1] Towards Constructing Sports News from Live Text Commentary. Jianmin Zhang, Jin-ge Yao, Xiaojun Wan. ACL 2016.

[2] http://tcci.ccf.org.cn/conference/2016/dldoc/evagline5.pdf

[3] Generating Sports News from Live Commentary: A Chinese Dataset for Sports Game Summarization. Kuan-Hao Huang, Chen Li, Kai-Wei Chang. AACL 2020.

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方"AINLP"，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

欢迎加入文本生成交流群

进群请添加AINLP小助手微信 AINLPer（id: ainlper)，备注文本生成

推荐阅读

这个NLP工具，玩得根本停不下来

征稿启示| 200元稿费+5000DBC（价值20个小时GPU算力）

完结撒花！李宏毅老师深度学习与人类语言处理课程视频及课件（附下载）

从数据到模型，你可能需要1篇详实的pytorch踩坑指南

如何让Bert在finetune小数据集时更“稳”一点

模型压缩实践系列之——bert-of-theseus，一个非常亲民的bert压缩方法

文本自动摘要任务的“不完全”心得总结番外篇——submodular函数优化

Node2Vec 论文+代码笔记

模型压缩实践收尾篇——模型蒸馏以及其他一些技巧实践小结

中文命名实体识别工具（NER）哪家强？

学自然语言处理，其实更应该学好英语

斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLPer(id：ainlper)，备注工作/研究方向+加群目的。

阅读至此了，分享、点赞、在看三选一吧🙏

登录查看更多