【NeurIPS2021】用于文本图表示学习的 GNN 嵌套 Transformer 模型：GraphFormers

用于文本图表示学习的 GNN 嵌套 Transformer 模型：GraphFormers

GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph

论文摘要：文本图的表示学习是基于单个文本特征和邻域信息为节点生成低维嵌入。现有的工作主要依赖于级联模型结构：首先通过语言模型对节点的文本特征进行独立编码；然后通过图神经网络对文本嵌入进行聚合。然而这种文本特征独立建模的结构限制了模型的效果。故本文提出了 GraphFormers ——将 GNN 组件嵌套在 Transformer 语言模型的一种新架构。在该架构中，文本编码和图聚合融合为一个迭代工作流，使得每个节点的语义都能从全局角度准确理解。此外，还引入了一种渐进式学习策略，该策略在操作数据和原始数据上连续训练模型，以增强其在图形上整合信息的能力。实验证明，本文提出的架构在 3 个数据集上都取得了最好结果。

https://www.zhuanzhi.ai/paper/fe680cfb84881e3cd10ad6cb93a66978

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“GRFM” 就可以获取《【NeurIPS2021】用于文本图表示学习的 GNN 嵌套 Transformer 模型：GraphFormers》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源