推断速度达seq2seq模型的100倍，谷歌开源文本生成新方法LaserTagger

会员服务 ·

推断速度达seq2seq模型的100倍，谷歌开源文本生成新方法LaserTagger

2020 年 2 月 9 日 机器之心

选自arXiv

作者： Eric Malmi等

机器之心编译

参与：魔王、杜伟

使用 seq2seq 模型解决文本生成任务伴随着一些重大缺陷，谷歌研究人员提出新型文本生成方法 LaserTagger，旨在解决这些缺陷，提高文本生成的速度和效率。

序列到序列（seq2seq）模型给机器翻译领域带来了巨大变革，并成为多种文本生成任务的首选工具，如文本摘要、句子融合和语法纠错。模型架构改进（如 Transformer）以及通过无监督训练方法利用大型无标注文本数据库的能力，使得近年来神经网络方法获得了质量上的提升。

但是， 使用 seq2seq 模型解决文本生成任务伴随着一些重大缺陷 ，如生成的输出不受输入文本支持（即「幻觉」，hallucination）、需要大量训练数据才能实现优秀性能。此外，由于 seq2seq 模型通常逐词生成输出，因此其推断速度较慢。

谷歌研究人员在近期论文《Encode, Tag, Realize: High-Precision Text Editing》中提出一种新型文本生成方法，旨在解决上述三种缺陷。 该方法速度快、精确度高，因而得名 LaserTagger 。

论文地址：https://research.google/pubs/pub48542/
开源地址：http://lasertagger.page.link/code

LaserTagger 没有采用从头生成输出文本的方式，而是 使用预测的编辑操作标记单词，然后在单独的 realization 步骤中将这些操作应用于输入单词，进而得到输出 。这种方式更不容易出现误差，因此我们可以使用这种训练更容易、执行更快速的模型架构来解决文本生成任务。

LaserTagger 的设计与功能

很多文本生成任务具备一个显著特征，即输入与输出通常高度重合。例如，在检测和修复语法错误或者融合句子时，大部分输入文本保持不变，只有一小部分单词需要修改。为此， LaserTagger 生成编辑操作序列，而不是直接生成单词 。

该方法使用以下四种编辑操作类型： Keep（将单词复制到输出文本）、Delete（删除单词），以及 Keep-AddX / Delete-AddX（在标记单词前添加词组 X，并选择性地删除标记单词）。

下图展示了将 LaserTagger 应用到句子融合任务中的流程：

将 LaserTagger 应用到句子融合任务。 预测到的编辑操作是： 删除「. Turing」，并在「. Turing」前添加「and he」。 注意输入和输出文本存在高度重合。

所有添加词组均来自有限词汇表 。词汇表是优化的结果，该优化过程有两个目标：1）最小化词汇表规模；2）最大化训练样本数量，即必须添加到目标文本的单词仅来自于词汇表。有限词组库缩小了输出决策的空间，防止模型添加任意词，从而缓解了幻觉问题。

输入和输出文本高度重合这一特性要求做出的修改彼此独立。这意味着可以高准确率并行预测编辑操作，相比于基于之前预测结果顺序执行预测的自回归 seq2seq 模型， 该方法可以实现显著的端到端速度提升 。

实验结果

研究者在句子融合、拆分和改述（split and rephrase）、抽象式摘要和语法纠错四项任务中评估 LaserTagger 的性能。在这些任务中，LaserTagger 的性能可媲美使用大量训练样本的基于 BERT 的 seq2seq 基线模型，在基线模型训练样本有限的情况下，LaserTagger 的性能明显超过基线模型。

下图展示了模型在 WikiSplit 数据集上的结果，模型执行的任务是将一个长句子改述为两个连贯的短句。