【直播】如何在故事生成中加入常识?

2020 年 5 月 7 日 AI科技评论


五一结束,直播继续!


故事生成(从一个主要背景中生成一个合理的故事)是一项重要而又具有挑战性的任务。


近来,GPT-2在建模流畅性和局部的连贯性上取得了极大的成功,然而仍然存在一系列问题,例如重复、逻辑冲突、生成故事缺乏长期连贯性等。


原因为何?


一个猜测是,这些问题来自于关联常识、理解因果关系以及实体和事件的时间排序等方面的困难。


在清华大学CoAI课题组发表于TACL 2020 的文章(将在ACL 2020 中展示)《A Knowledge-Enhanced Pretraining Model for Commonsense Story Generation》中,作者针对这一问题,设计了一个常识性故事生成的知识增强预训练模型。


文章建议,利用外部知识库中的常识来生成更为合理的故事。


为了进一步捕捉合理故事中句子之间的因果和时间依赖关系,作者使用了多任务学习,在微调过程中可以区分真实/虚假故事。


这项工作在故事生成的逻辑性和全局一致性上,具有非常好的性能。


论文链接:https://arxiv.org/pdf/2001.05139.pdf


AI 科技评论邀请 论文一作 关健  来给我们详细讲解其研究过程及细节。
主题:预训练语言模型在故事生成场景下的应用和挑战
主讲人:关健
清华大学计算机系2019级博士生,交互式人工智能小组(CoAI)成员,师从黄民烈教授。主要研究方向为文本生成。
时间: 2020年5月7日(周四)晚20:00整
分享提纲:

1、故事生成的任务背景和相关工作

2、预训练语言模型在故事生成场景下的表现和分析

3、如何在预训练模型中引入常识知识

4、利用多任务学习生成更加合理的故事

直播/回放地址:
https://mooc.yanxishe.com/open/course/813
(回放一般在直播后1~2个工作日)

入群获取资料及更多直播预告——
             
扫码关注[ AI研习社顶会小助手] 微信号,发送关键字“ACL 2020+直播”,即可进群观看直播和获取课程资料。
       
更多直播:

ACL 2020原定于2020年7月5日至10日在美国华盛顿西雅图举行,因新冠肺炎疫情改为线上会议。为促进学术交流,方便国内师生提早了解自然语言处理(NLP)前沿研究,AI 科技评论将推出「ACL 实验室系列论文解读」内容,同时欢迎更多实验室参与分享,敬请期待!
点击"阅读原文",直达“ACL 交流小组”了解更多会议信息。
登录查看更多
0

相关内容

【ICML2020-浙江大学】对抗性互信息的文本生成
专知会员服务
43+阅读 · 2020年7月4日
【ICML2020-西电】用于语言生成的递归层次主题引导RNN
专知会员服务
21+阅读 · 2020年6月30日
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
171+阅读 · 2020年2月13日
论文浅尝 | 基于图注意力的常识对话生成
开放知识图谱
8+阅读 · 2019年2月5日
新任务&数据集:视觉常识推理(VCR)
专知
50+阅读 · 2018年12月1日
已删除
将门创投
3+阅读 · 2018年11月20日
大讲堂 | 深度强化学习在电商推荐中的应用
AI研习社
9+阅读 · 2018年11月8日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Arxiv
15+阅读 · 2019年4月4日
Arxiv
3+阅读 · 2018年3月29日
VIP会员
相关VIP内容
【ICML2020-浙江大学】对抗性互信息的文本生成
专知会员服务
43+阅读 · 2020年7月4日
【ICML2020-西电】用于语言生成的递归层次主题引导RNN
专知会员服务
21+阅读 · 2020年6月30日
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
171+阅读 · 2020年2月13日
Top
微信扫码咨询专知VIP会员