非参数模型是指系统的数学模型中非显式地包含可估参数。例如,系统的频率响应、脉冲响应、阶跃响应等都是非参数模型。

VIP内容

原型驱动的文本生成使用非参数模型,该模型首先从句子库中选择“原型”,然后修改原型生成输出文本。这些方法虽然有效,但测试时效率低下,因为需要对整个训练语料库进行存储和索引。此外,现有的方法通常需要启发式来确定在训练时引用哪个原型。在本文中,我们提出了一种新的生成模型,它可以自动学习稀疏原型支持集,同时也可以获得较强的语言建模性能。通过(1)在原型选择分布上施加稀疏诱导先验,(2)利用平摊变分推理学习原型检索函数来实现。在实验中,我们的模型优于以前的原型驱动的语言模型,同时实现了高达1000倍的内存减少,以及测试时1000倍的加速。更有趣的是,当我们改变原型选择的稀疏性时,我们展示了学习的原型能够在不同的粒度捕获语义和语法,并且可以通过指定生成的原型来控制某些句子属性。

https://arxiv.org/abs/2006.16336

成为VIP会员查看完整内容
0
11
Top