META微软等最新ACL2022教程《非自回归序列生成》，168页ppt

非自回归序列生成(Non-autoregressive sequence generation, NAR)尝试并行生成全部或部分输出序列，以加速生成过程，避免自回归生成中潜在的问题(如标签偏差、暴露偏差)。虽然它受到了大量的研究关注，并已被应用于自然语言和语音中的许多序列生成任务，但由于缺乏建模能力，原始NAR模型在缩小与最先进的自回归模型之间的性能差距方面仍面临许多挑战。在本教程中，我们将全面介绍和回顾非自回归序列生成，分为四个部分:1)背景，包括NAR生成的动机，问题定义，评估协议，以及与标准自回归生成方法的比较。2)方法，包括不同的方面:模型架构、目标函数、训练数据、学习范式和额外的推理技巧。3)应用，涵盖了文本和语音生成中的不同任务，以及应用中的一些高级主题。4)结论，我们描述了几个研究挑战，并讨论了潜在的未来研究方向。我们希望本教程可以服务于从事非自回归序列生成的学术研究人员和行业从业人员。

https://nar-tutorial.github.io/acl2022/