这篇博客文章假设读者熟悉使用波束搜索的不同变体的文本生成方法,正如在博客文章中解释的那样:“如何生成文本:使用transformer的不同解码方法生成语言”。

与普通的波束搜索不同,受限波束搜索允许我们对文本生成的输出进行控制。这很有用,因为我们有时确切地知道我们想要在输出中得到什么。例如,在一个神经机器翻译任务中,我们可以通过字典查找来知道哪些单词必须包含在最终的翻译中。有时,由于特定的上下文,对语言模型几乎同样可行的生成输出可能对最终用户并不同样可取。这两种情况都可以通过允许用户告诉模型哪些单词必须包含在最终输出中来解决。

成为VIP会员查看完整内容
21

相关内容

在自然语言处理中,另外一个重要的应用领域,就是文本的自动撰写。关键词、关键短语、自动摘要提取都属于这个领域的一种应用。
专知会员服务
18+阅读 · 2021年9月13日
专知会员服务
42+阅读 · 2021年4月23日
知识增强的文本生成研究进展
专知会员服务
98+阅读 · 2021年3月6日
【知识图谱@EMNLP2020】Knowledge Graphs in NLP @ EMNLP 2020
专知会员服务
42+阅读 · 2020年11月22日
【EMNLP2020】自然语言生成,Neural Language Generation
专知会员服务
38+阅读 · 2020年11月20日
【文本生成现代方法】Modern Methods for Text Generation
专知会员服务
43+阅读 · 2020年9月11日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
论文浅尝 | 将结构预测作为增广自然语言间的翻译任务
多项NLP任务新SOTA,Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
站在BERT肩膀上的NLP新秀们:XLMs、MASS和UNILM
PaperWeekly
16+阅读 · 2019年6月6日
深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘
22+阅读 · 2019年3月19日
3分钟看懂史上最强NLP模型BERT
新智元
23+阅读 · 2019年2月27日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
2+阅读 · 2022年4月19日
VIP会员
相关VIP内容
专知会员服务
18+阅读 · 2021年9月13日
专知会员服务
42+阅读 · 2021年4月23日
知识增强的文本生成研究进展
专知会员服务
98+阅读 · 2021年3月6日
【知识图谱@EMNLP2020】Knowledge Graphs in NLP @ EMNLP 2020
专知会员服务
42+阅读 · 2020年11月22日
【EMNLP2020】自然语言生成,Neural Language Generation
专知会员服务
38+阅读 · 2020年11月20日
【文本生成现代方法】Modern Methods for Text Generation
专知会员服务
43+阅读 · 2020年9月11日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
相关资讯
论文浅尝 | 将结构预测作为增广自然语言间的翻译任务
多项NLP任务新SOTA,Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
站在BERT肩膀上的NLP新秀们:XLMs、MASS和UNILM
PaperWeekly
16+阅读 · 2019年6月6日
深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘
22+阅读 · 2019年3月19日
3分钟看懂史上最强NLP模型BERT
新智元
23+阅读 · 2019年2月27日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
相关基金
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员