【纽约大学Sean】神经文本退化:一致性和学习，93页ppt

神经文本退化:一致性和学习

用最大似然估计训练的神经序列模型已经成为建模和生成文本的标准方法。然而，最近的研究发现了这些模型的问题。在这次谈话中，我们研究了在实践中出现的最大似然学习的退化性质，激发了新的学习方法。我们使用在生成文本中观察到的三个特性来描述简并性:非终止性、逻辑不连贯性和重复性。为了研究非终止性，我们发展了一个理论，允许我们正式证明传统的文本生成方法可以生成具有高概率的无限长序列。为了减少这三种类型的退化，我们开发了两种学习算法:非似然训练(惩罚特定任务的文本属性)和最大似然引导参数搜索(直接优化序列级损失)。