神经语言生成(NLG)——使用神经网络模型生成连贯的文本——是自动化文本创建最有前途的方法之一。近年来,随着深度语境语言建模(如LSTMs、GPT、GPT2)和迁移学习(如ELMo、BERT)的发展,神经文本生成出现了范式转变。虽然这些工具极大地改善了NLG的状态,但是对于低资源任务,最先进的NLG模型仍然面临许多挑战: 生成的文本缺乏多样性,描述的情况违反常识性规则,使用事实信息的困难,以及设计可靠的评估指标的困难。在本教程中,我们将概述当前神经网络架构的最新技术,以及它们如何形成文本生成的最新研究方向。我们将讨论这些模型在生成连贯文本时如何以及为什么成功或失败,并对几个应用程序提供见解。

目录内容:

  • 导论
  • 神经网络建模
  • 训练与编码
  • 基准与评价
  • 构建神经生成模型
成为VIP会员查看完整内容
38

相关内容

自然语言生成(NLG)是自然语言处理的一部分,从知识库或逻辑形式等等机器表述系统去生成自然语言。这种形式表述当作心理表述的模型时,心理语言学家会选用语言产出这个术语。自然语言生成系统可以说是一种将资料转换成自然语言表述的翻译器。NLG出现已久,但是商业NLG技术直到最近才变得普及。自然语言生成可以视为自然语言理解的反向: 自然语言理解系统须要厘清输入句的意涵,从而产生机器表述语言;自然语言生成系统须要决定如何把概念转化成语言。
最新《低资源自然语言处理》综述论文,21页pdf
专知会员服务
58+阅读 · 2020年10月27日
专知会员服务
18+阅读 · 2020年10月13日
【神经语言生成:形式化,方法与评价,70页pdf】
专知会员服务
35+阅读 · 2020年8月8日
nlp中的实体关系抽取方法总结
深度学习自然语言处理
22+阅读 · 2020年7月4日
自然语言生成资源列表
专知
17+阅读 · 2020年1月4日
一文了解自然语言生成演变史!
AI前线
5+阅读 · 2019年5月2日
自然语言生成的演变史
专知
25+阅读 · 2019年3月23日
39页《迁移学习自然语言生成》PPT
专知
9+阅读 · 2019年2月13日
命名实体识别(NER)综述
AI研习社
65+阅读 · 2019年1月30日
刘挺 张伟男 | 人机对话
中国计算机学会
7+阅读 · 2017年9月19日
Adversarial Mutual Information for Text Generation
Arxiv
13+阅读 · 2020年6月30日
Arxiv
5+阅读 · 2019年4月21日
Paraphrase Generation with Deep Reinforcement Learning
Arxiv
3+阅读 · 2018年3月14日
Arxiv
5+阅读 · 2017年11月30日
Arxiv
5+阅读 · 2017年9月8日
VIP会员
相关VIP内容
相关资讯
nlp中的实体关系抽取方法总结
深度学习自然语言处理
22+阅读 · 2020年7月4日
自然语言生成资源列表
专知
17+阅读 · 2020年1月4日
一文了解自然语言生成演变史!
AI前线
5+阅读 · 2019年5月2日
自然语言生成的演变史
专知
25+阅读 · 2019年3月23日
39页《迁移学习自然语言生成》PPT
专知
9+阅读 · 2019年2月13日
命名实体识别(NER)综述
AI研习社
65+阅读 · 2019年1月30日
刘挺 张伟男 | 人机对话
中国计算机学会
7+阅读 · 2017年9月19日
微信扫码咨询专知VIP会员