近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在。因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用。该文对图神经网络在自然语言处理领域中的应用进行了系统性的综述, 首先介绍了图神经网络的核心思想并梳理了三种经典方法: 图循环网络,图卷积网络和图注意力网络;然后在具体任务中,详细描述了如何根据任务特性构建合适的图结构以及如何合理运用图结构表示模型。该文认为,相比专注于探索图神经网络的不同结构,探索如何以图的方式建模不同任务中的关键信息,是图神经网络未来工作中更具普遍性和学术价值的一个研究方向。

http://jcip.cipsc.org.cn/CN/abstract/abstract3096.shtml

成为VIP会员查看完整内容
0
60

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

深度学习是机器学习和人工智能研究的最新趋势,作为一个十余年来快速发展的崭新领域,越来越受到研究者的关注。卷积神经网络(CNN)模型是深度学习模型中最重要的一种经典结构,其性能在近年来深度学习任务上逐步提高。由于可以自动学习样本数据的特征表示,卷积神经网络已经广泛应用于图像分类、目标检测、语义分割以及自然语言处理等领域。首先分析了典型卷积神经网络模型为提高其性能增加网络深度以及宽度的模型结构,分析了采用注意力机制进一步提升模型性能的网络结构,然后归纳分析了目前的特殊模型结构,最后总结并讨论了卷积神经网络在相关领域的应用,并对未来的研究方向进行展望。

地址: http://fcst.ceaj.org/CN/abstract/abstract2521.shtml

成为VIP会员查看完整内容
0
52

http://cea.ceaj.org/CN/abstract/abstract39198.shtml

近年来,深度学习技术被广泛应用于各个领域,基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态,在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍,并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述;简要分析传统预训练模型的特点及局限性,重点介绍基于深度学习的预训练模型,并针对它们在下游任务的表现进行对比评估;梳理出具有启发意义的新式预训练模型,简述这些模型的改进机制以及在下游任务中取得的性能提升;总结目前预训练的模型所面临的问题,并对后续发展趋势进行展望。

成为VIP会员查看完整内容
0
52

摘要:随着计算机行业和互联网时代的不断发展与进步,图神经网络已经成为人工智能和大数据重要研究领域。图神经网络是对相邻节点间信息的传播和聚合的重要技术,可以有效地将深度学习的理念应用于非欧几里德空间的数据上。简述图计算、图数据库、知识图谱、图神经网络等图技术领域的相关研究历史,分类介绍不同类型的图结构。分析对比不同的图神经网络技术,重点从频域和空间与的信息聚合方式上分类比较不同的图卷积网络算法。阐述图生成和图对抗网络、图强化学习、图迁移学习、神经任务图和图零样本学习等不同的图网络与深度学习方法相结合的技术方法,并列举不同的图神经网络技术在文本、图像、知识图谱、视频任务等领域的具体应用。最后,对图神经网络未来的发展与研究方向加以展望。

https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CAPJ&dbname=CAPJDAY&filename=JSJC20201123000&v=fpDLQvPDFGeYvQeSgmnh5h1YpkO6G1W6SQqt4w%25mmd2B%25mmd2BnZtjD3h80wKsQ5NhpJeXgtGI

概述

近年来随着计算机行业的快速发展和数据量的井喷式增长,深度学习方法被提出并得到了广泛的 应用。深度学习通过神经网络端到端的解决方案, 在图像处理、语音识别、语义理解[1]等领域取得了 巨大的成功,深度学习的应用往往都是在高维特征 空间上特征规则分布的欧几里德数据。作为一种关 系型数据结构,图(Graph)在深度学习中的应用研究近年来受到越来越多的关注,本文将图的演进历程分为数学起源、计算应用、神经网络延伸三个阶段。

图的概念起源于 18 世纪著名的柯尼斯堡七桥问 题,到了 20 世纪中期,拟阵理论、超图理论、极图 理论等研究蓬勃发展,使得图论(Graph Theory)[2] 在电子计算诞生前,就已经成为了重要的数学研究领域。

随着计算机的出现和机器计算时代的到来和发 展,图作为一种能够有效且抽象地表达信息和数据 中的实体以及实体之间关系的重要数据结构被广泛应用,图数据库有效解决了传统的关系型数据结构 面对大量复杂的数据所暴露出的建模缺陷多、计算速度慢等问题,图数据库也成为了非常热门的研究 领域。图结构(Graph-structured Data)[3]可以将结构化数据点通过边的形式,依照数据间的关系将不同类型和结构的数据节点连接起来,因而被广泛地应用在数据的存储、检索以及计算应用中。基于图结构数据,知识图谱[4-7]可以通过点和边的语义关系, 来实现精确地描述现实世界中实体之间的关联关系, 作为人工智能非常重要的研究领域,知识图谱的研究方向包括知识抽取、知识推理、知识图谱可视化等。图计算(Graph Computing)具有数据规模量大、 局部性低、计算性能高等特性,图计算算法[8-9]主要 可以分为路径搜索算法、中心性算法、社群发现算法等三类,实现了在关系复杂型的大规模数据上高 时效性和准确度的表现,在社交网络、团体反欺诈 和用户推荐等领域有着重要的应用。

与已经非常成熟图计算不同,图神经网络 (Graph Neural Network)的研究主要是集中在相邻节点信息的传播与聚合上,从图神经网络的概念提 出,到受深度学习中卷积神经网络的启发,2013 年 提出的基于图论的图卷积神经网络 [10-11]研究方向吸 引了大量学者关注。2018 年 DeepMind 提出图网络 (Graph Network)[12]的概念,希望能够将深度学习 端到端的学习方式与图结构关系归纳推理的理论结 合解决深度学习无法处理关系推理的问题。针对图 神经网络存在的问题,不同的学者们也给出了不同 的方案,随着对图神经网络这一新兴领域更加深入 的研究与探索,人工智能领域的版图将得到更大扩展。

文献[12]在关系归纳偏置和深度学习的研究基础 上,提出了面向关系推理的图网络概念并进行了综 述,但未对不同图网络技术进行分类和对比。文献 [13]从半监督、无监督方法的角度对图结构上的深度 学习进行了综述,但缺少相近的分类和应用的讨论。文献[14]主要从传播规则、网络结构等角度分析了图神经网络的不同模型以及应用。文献[15]则是详细对 比了时域和空间的不同图卷神经网络方法结构,但没有对图神经网络之于深度学习领域的探讨,如图强化学习、图迁移学习等。本文针对图神经网络, 分析对比了六种图神经网络方法的优劣,首次对处 理异构图数据的图神经网络技术进行了讨论和研究, 综述了五类图神经网络的研究领域,并对未来的发展方向进行了展望。

成为VIP会员查看完整内容
0
197

通过学习可观测数据的概率密度而随机生成样本的生成模型在近年来受到人们的广泛关注, 网络结构中包含多个隐藏层的深度生成式模型以更出色的生成能力成为研究热点, 深度生成模型在计算机视觉、密度估计、自然语言和语音识别、半监督学习等领域得到成功应用, 并给无监督学习提供了良好的范式. 本文根据深度生成模型处理似然函数的不同方法将模型分为三类: 第一类方法是近似方法, 包括采用抽样方法近似计算似然函数的受限玻尔兹曼机和以受限玻尔兹曼机为基础模块的深度置信网络、深度玻尔兹曼机和亥姆霍兹机, 与之对应的另一种模型是直接优化似然函数变分下界的变分自编码器以及其重要的改进模型, 包括重要性加权自编码和可用于半监督学习的深度辅助深度模型; 第二类方法是避开求极大似然过程的隐式方法, 其代表模型是通过生成器和判别器之间的对抗行为来优化模型参数从而巧妙避开求解似然函数的生成对抗网络以及重要的改进模型, 包括WGAN、深度卷积生成对抗网络和当前最顶级的深度生成模型BigGAN; 第三类方法是对似然函数进行适当变形的流模型和自回归模型, 流模型利用可逆函数构造似然函数后直接优化模型参数, 包括以NICE为基础的常规流模型、变分流模型和可逆残差网络(i-ResNet), 自回归模型(NADE)将目标函数分解为条件概率乘积的形式, 包括神经自回归密度估计(NADE)、像素循环神经网络(PixelRNN)、掩码自编码器(MADE)以及WaveNet等. 详细描述上述模型的原理和结构以及模型变形后, 阐述各个模型的研究进展和应用, 最后对深度生成式模型进行展望和总结.

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190866

受益于当前计算机性能的快速提升, 学习可观测样本的概率密度并随机生成新样本的生成模型成为热点. 相比于需要学习条件概率分布的判别模型, 生成模型的训练难度大、模型结构复杂, 但除了能够生成新样本外, 生成模型在图像重构、缺失数据填充、密度估计、风格迁移和半监督学习等应用领域也获得了巨大的成功. 当前可观测样本的数量和维数都大幅度增加, 浅层的生成模型受到性能瓶颈的限制而无法满足应用需求, 从而被含有多个隐藏层的深度生成模型替代, 深度生成模型能够学习到更好的隐表示, 模型性能更好. 本文对有重要意义的深度生成模型进行全面的分析和讨论, 对各大类模型的结构和基本原理进行梳理和分类. 本文第1节介绍深度生成模型的概念和分类; 第2节介绍受限玻尔兹曼机和以受限玻尔兹曼机为基础模块的几种深度生成模型, 重点内容是各种模型的不同训练算法; 第3节介绍变分自编码器的基本结构、变分下界的推理和重参数化方法; 第4节介绍生成对抗网络, 主要内容为模型原理、训练方法和稳定性研究, 以及两种重要的模型结构; 第5节总结了流模型的结构, 详细介绍了流模型的技术特点; 第6节分析了自回归模型的模型结构以及几种重要分支的研究进展; 第7节将介绍生成模型中的两个小分支: 矩阵匹配模型和随机生成模型; 第8节对深度生成模型存在的问题进行分析讨论, 并对未来的研究方向和发展趋势做出了展望.

成为VIP会员查看完整内容
0
95

近年来, 随着海量数据的涌现, 可以表示对象之间复杂关系的图结构数据越来越受到重视并给已有的算法带来了极大的挑战. 图神经网络作为可以揭示深层拓扑信息的模型, 已开始广泛应用于诸多领域,如通信、生命科学和经济金融等. 本文对近几年来提出的图神经网络模型和应用进行综述, 主要分为以下几类:基于空间方法的图神经网络模型、基于谱方法的图神经网络模型和基于生成方法的图神经网络模型等,并提出可供未来进一步研究的问题.

http://engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

图是对对象及其相互关系的一种简洁抽象的直观数学表达. 具有相互关系的数据—图结构数据在众多领域普遍存在, 并得到广泛应用. 随着大量数据的涌现, 传统的图算法在解决一些深层次的重要问题, 如节点分类和链路预测等方面有很大的局限性. 图神经网络模型考虑了输入数据的规模、异质性和深层拓扑信息等, 在挖掘深层次有效拓扑信息、 提取数据的关键复杂特征和 实现对海量数据的快速处理等方面, 例如, 预测化学分子的特性 [1]、文本的关系提取 [2,3]、图形图像的结构推理 [4,5]、社交网络的链路预测和节点聚类 [6]、缺失信息的网络补全 [7]和药物的相互作用预测 [8], 显示了令人信服的可靠性能.

图神经网络的概念最早于 2005 年由 Gori 等 [9]提出, 他借鉴神经网络领域的研究成果, 设计了一种用于处理图结构数据的模型. 2009 年, Scarselli 等 [10]对此模型进行了详细阐述. 此后, 陆续有关于图神经网络的新模型及应用研究被提出. 近年来, 随着对图结构数据研究兴趣的不断增加, 图神经网络研究论文数量呈现出快速上涨的趋势, 图神经网络的研究方向和应用领域都得到了很大的拓展.

目前已有一些文献对图神经网络进行了综述. 文献 [11]对图结构数据和流形数据领域的深度学习方法进行了综述, 侧重于将所述各种方法置于一个称为几何深度学习的统一框架之内; 文献[12]将图神经网络方法分为三类: 半监督学习、无监督学习和最新进展, 并根据发展历史对各种方法进行介绍、分析和对比; 文献[13]介绍了图神经网络原始模型、变体和一般框架, 并将图神经网络的应用划分为结构场景、非结构场景和其他场景; 文献[14]提出了一种新的图神经网络分类方法, 重点介绍了图卷积网络, 并总结了图神经网络方法在不同学习任务中的开源代码和基准.

本文将对图神经网络模型的理论及应用进行综述, 并讨论未来的方向和挑战性问题. 与其他综述文献的不同之处在于, 我们给出新的分类标准, 并且介绍图神经网络丰富的应用成果. 本文具体结构如下: 首先介绍三类主要的图神经网络模型, 分别是基于空间方法的图神经网络、基于谱方法的图神经网络和基于生成方法的图神经网络等; 然后介绍模型在节点分类、链路预测和图生成等方面的应用; 最后提出未来的研究方向.

成为VIP会员查看完整内容
图神经网络.pdf
0
166

语义表示是自然语言处理的基础,我们需要将原始文本数据中的有用信息转换为计算机能够理解的语义表示,才能实现各种自然语言处理应用。表示学习旨在从大规模数据中自动学习数据的语义特征表示,并支持机器学习进一步用于数据训练和预测。以深度学习为代表的表示学习技术,能够灵活地建立对大规模文本、音频、图像、视频等无结构数据的语义表示,显著提升语音识别、图像处理和自然语言处理的性能,近年来引发了人工智能的新浪潮。本书是第一本完整介绍自然语言处理表示学习技术的著作。书中全面介绍了表示学习技术在自然语言处理领域的最新进展,对相关理论、方法和应用进行了深入介绍,并展望了未来的重要研究方向。

本书全面介绍了自然语言处理表示学习技术的理论、方法和应用,内容包括三大部分:第一部分介绍了单词、短语、句子和文档等不同粒度语言单元的表示学习技术;第二部分介绍了与自然语言密切相关的世界知识、语言知识、复杂网络和跨模态数据的表示学习技术;第三部分整理了相关开放资源与工具,并探讨了面向自然语言处理的表示学习技术面临的重要挑战和未来研究方向。本书对于自然语言处理和人工智能基础研究具有一定的参考意义,既适合专业人士了解自然语言处理和表示学习的前沿热点,也适合机器学习、信息检索、数据挖掘、社会网络分析、语义Web等其他相关领域学者和学生作为参考读物。

成为VIP会员查看完整内容
0
120

摘要:过去几年,卷积神经网络因其强大的建模能力引起广泛关注,在自然语言处理、图像识别等领域成功应用。然而,传统的卷积神经网络只能处理欧氏空间数据,而现实生活中的许多场景,如交通网络、社交网络、引用网络等,都是以图数据的形式存在。将卷积神经网络迁移到图数据分析处理中的核心在于图卷积算子的构建和图池化算子的构建。本文对图卷积神经网络进行综述,首先介绍了图卷积神经网络的背景并梳理了两类经典方法——谱方法和空间方法,图数据上平移不变性的缺失给图卷积算子的定义带来困难,谱方法借助卷积定理在谱域定义图卷积,而空间方法通过在节点域定义节点相关性来实现图卷积;进而,本文介绍了图卷积神经网络的最新进展,这其中包括如何利用图卷积神经网络建模图上的复杂信息,如异质连接、高阶连接等,以及如何在大规模图上实现图卷积神经网络;此外,本文介绍了图卷积神经网络的相关应用,包括推荐系统领域,交通预测领域等;最后本文对图卷积神经网络的发展趋势进行了总结和展望。

成为VIP会员查看完整内容
0
154
小贴士
相关VIP内容
专知会员服务
25+阅读 · 1月18日
专知会员服务
52+阅读 · 1月15日
专知会员服务
52+阅读 · 2020年12月9日
专知会员服务
197+阅读 · 2020年11月24日
专知会员服务
95+阅读 · 2020年11月23日
最新《图神经网络模型与应用》综述论文
专知会员服务
166+阅读 · 2020年8月2日
专知会员服务
120+阅读 · 2020年7月11日
【新书】图神经网络导论,清华大学刘知远老师著作
专知会员服务
236+阅读 · 2020年6月12日
相关资讯
图神经网络(Graph Neural Networks,GNN)综述
极市平台
54+阅读 · 2019年11月27日
图神经网络综述:方法及应用 | Deep Reading
AI100
30+阅读 · 2019年3月17日
论文浅尝 | 图神经网络综述:方法及应用
开放知识图谱
99+阅读 · 2019年2月14日
清华大学图神经网络综述:模型与应用
机器之心
47+阅读 · 2018年12月26日
图神经网络综述:模型与应用
PaperWeekly
157+阅读 · 2018年12月26日
深度学习时代的图模型,清华发文综述图网络
GAN生成式对抗网络
9+阅读 · 2018年12月23日
相关论文
Victor Garcia Satorras,Emiel Hoogeboom,Max Welling
0+阅读 · 5月9日
Bonan Min,Benjamin Rozonoyer,Haoling Qiu,Alexander Zamanian,Jessica MacBride
0+阅读 · 5月5日
Pavan Holur,Shadi Shahsavari,Ehsan Ebrahimizadeh,Timothy R. Tangherlini,Vwani Roychowdhury
0+阅读 · 5月3日
GraLSP: Graph Neural Networks with Local Structural Patterns
Yilun Jin,Guojie Song,Chuan Shi
3+阅读 · 2019年11月18日
Multi-Paragraph Reasoning with Knowledge-enhanced Graph Neural Network
Deming Ye,Yankai Lin,Zhenghao Liu,Zhiyuan Liu,Maosong Sun
15+阅读 · 2019年11月6日
Minlie Huang,Xiaoyan Zhu,Jianfeng Gao
7+阅读 · 2019年10月22日
Saurabh Verma,Zhi-Li Zhang
4+阅读 · 2019年9月25日
Nicolas Keriven,Gabriel Peyré
4+阅读 · 2019年5月13日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
15+阅读 · 2018年10月24日
Clement Carbonnel,David A. Cohen,Martin C. Cooper,Stanislav Zivny
3+阅读 · 2017年12月22日
Top