每周一起读 × 招募 | ACL 2019:基于知识增强的语言表示模型

2019 年 6 月 13 日 PaperWeekly


”每周一起读“是由 PaperWeekly 发起的论文共读活动,我们结合自然语言处理、计算机视觉和机器学习等领域的顶会论文和前沿成果来指定每期论文,并且邀请论文作者来到现场,和大家展开更有价值的延伸讨论。


我们希望能为 PaperWeekly 的各位读者带来一种全新的论文阅读体验、一个认识同好、找到组织的契机、一次与国际顶会论文作者当面交流的机会。


6 月 16 日(周日)下午 2 点,“每周一起读”将邀请清华大学计算机系本科生张正彦和博士生韩旭,和大家分享他们发表于自然语言处理顶级会议 ACL 2019 的最新文章。论文提出了一个基于知识增强的语言表示模型 ERNIE,可以从大规模的文本语料和先验知识丰富的知识图谱中学习到字、词、句以及知识表示等内容。



01
# 本 期 嘉 宾



  张正彦  

清华大学计算机系本科生


张正彦,清华大学计算机系本科生,来自清华大学自然语言处理组,由刘知远副教授指导,主要研究方向为自然语言处理中的无监督文本表示学习方法。目前已在自然语言处理国际会议 ACL 上发表论文。



  韩旭  

清华大学计算机系博士生


韩旭,清华大学计算机系博士生二年级,来自清华大学自然语言处理组,由刘知远副教授指导,主要研究方向为自然语言处理及信息抽取。目前已在人工智能、自然语言处理等领域国际会议 ACL,EMNLP,NAACL,COLING,AAAI 发表相关论文多篇,在 Github 上维护开源工程多项。



02
# 本 期 论 文



  ACL 2019  




Abstract: Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code and experiment details of this paper can be obtained from https:// github.com/thunlp/ERNIE.


 论文解读:基于知识增强的语言表示模型



03
# 活 动 信 息



时间:6 月 16 日(周日) 14:00–16:00


地点:北京智源人工智能研究院102会议室

北京市海淀区中关村南大街1-1号 

中关村领创空间(信息谷)




04
# 如 何 报 名



长按识别二维码,即刻报名👇



报名截止日期:6 月 15 日(周六)12:00

* 场地人数有限,报名成功的读者将收到包含电子门票二维码的短信通知,请留意查收。


注意事项:

* 如您无法按时到场参与活动,请于活动开始前 24 小时在 PaperWeekly 微信公众号后台留言告知,留言格式为放弃报名 + 报名电话;无故缺席者,将不再享有后续活动的报名资格。



05
# 微 信 交 流 群





06
# 往 期 回 顾



 1 / 扫码关注 


扫码关注 PaperWeekly👇



 2 / 回复暗号 
在后台回复 “每周一起读 即可查看往期实录



07
# 主 办 单 位


PaperWeekly

清华大学计算机科学与技术系


北京智源人工智能研究院




🔍


现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧



关于PaperWeekly


PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。


▽ 点击 | 阅读原文 | 立刻报名

登录查看更多
8

相关内容

语言表示一直是人工智能、计算语言学领域的研究热点。从早期的离散表示到最近的分散式表示,语言表示的主要研究内容包括如何针对不同的语言单位,设计表示语言的数据结构以及和语言的转换机制,即如何将语言转换成计算机内部的数据结构(理解)以及由计算机内部表示转换成语言(生成)。
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
104+阅读 · 2020年6月10日
知识图谱本体结构构建论文合集
专知会员服务
100+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
自然语言处理顶会EMNLP2018接受论文列表!
专知
87+阅读 · 2018年8月26日
CCF ADL92:自然语言理解:新学习方法及知识
中国计算机学会
5+阅读 · 2018年8月21日
干货 | 为你解读34篇ACL论文
数据派THU
8+阅读 · 2018年6月7日
Arxiv
4+阅读 · 2019年9月5日
Arxiv
5+阅读 · 2019年8月22日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
Knowledge Based Machine Reading Comprehension
Arxiv
4+阅读 · 2018年9月12日
Arxiv
10+阅读 · 2017年7月4日
VIP会员
相关VIP内容
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
104+阅读 · 2020年6月10日
知识图谱本体结构构建论文合集
专知会员服务
100+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Top
微信扫码咨询专知VIP会员