今晚直播 | 基于图神经网络的语义理解模型：从“闭卷考试”到“开卷考试”

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。

本期 AI Drive，我们邀请到香侬科技算法工程师孟昱先，为大家在线解读其发表在 ICLR 2022 的最新研究成果：GNN-LM: Language Modeling based on Global Contexts via GNN。对本期主题感兴趣的小伙伴，2 月 24 日（本周四）晚 7 点，我们准时相约 PaperWeekly 直播间。

直播信息

受到“好记性不如烂笔头”的启发，在这个工作中，我们将普通的 neural LM 扩展为 GNN-LM，使其能够在推理阶段参考训练时的相似 context。我们建立了一个异构图，其中的点是 input context 中的 tokens 以及相似 context 中的 tokens，而其中的边则表示了点与点之间的关联。GNN 通过在此异构图上聚合相似 context 中的信息，预测下一个 token。我们在 WikiText-103 数据集上取得了 SoTA 的结果，并在其余的两个 LM benchmark 上也取得了显著的提升。

论文标题：

GNN-LM: Language Modeling based on Global Contexts via GNN

论文链接：

https://arxiv.org/abs/2110.08743

代码链接：

https://github.com/ShannonAI/GNN-LM

本次分享的具体内容有：  

• 研究背景

• 异构图的构建

• GNN-LM 模型

• 实验与分析

• 未来工作展望

嘉宾介绍

 孟昱先 / 香侬科技算法工程师 

孟昱先， 本科毕业于北京大学数学系，现任香侬科技算法工程师，先后从事负责信息抽取、舆情分析、智能写作等多项产品的研发工作。以第一作者身份在 ACL、NeurlPS，ICLR、EMNLP 等会议发表多篇文章。

直播地址 & 交流群

本次直播将在 PaperWeekly 视频号和 B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。

视频号直播间：

扫描下方二维码关注 PaperWeekly 视频号，第一时间获取开播提醒。

B 站直播间：

https://live.bilibili.com/14884511