在人类中,注意力是所有感知和认知操作的核心属性。考虑到我们处理竞争性信息来源的能力有限,注意力机制选择、调整和关注与行为最相关的信息。

几十年来,哲学、心理学、神经科学和计算机科学都在研究注意力的概念和功能。在过去的六年中,这一特性在深度神经网络中得到了广泛的研究。目前,深度学习的研究进展主要体现在几个应用领域的神经注意力模型上。

本研究对神经注意力模型的发展进行了全面的概述和分析。我们系统地回顾了该领域的数百个架构,识别并讨论了那些注意力显示出重大影响的架构。我们亦制订了一套自动化方法体系,并将其公诸于众,以促进这方面的研究工作。通过批判性地分析650部文献,我们描述了注意力在卷积、循环网络和生成模型中的主要用途,识别了使用和应用的共同子组。

此外,我们还描述了注意力在不同应用领域的影响及其对神经网络可解释性的影响。最后,我们列出了进一步研究的可能趋势和机会,希望这篇综述能够对该领域的主要注意力模型提供一个简明的概述,并指导研究者开发未来的方法,以推动进一步的改进。

成为VIP会员查看完整内容
0
62

相关内容

现在注意力机制已广泛地应用在深度学习的诸多领域。基于注意力机制的结构模型不仅能够记录信息间的位置关系,还能依据信息的权重去度量不同信息特征的重要性。通过对信息特征进行相关与不相关的抉择建立动态权重参数,以加强关键信息弱化无用信息,从而提高深度学习算法效率同时也改进了传统深度学习的一些缺陷。因此从图像处理领域、自然语言处理、数据预测等不同应用方面介绍了一些与注意力机制结合的算法结构,并对近几年大火的基于注意力机制的transformer和reformer算法进行了综述。鉴于注意力机制的重要性,综述了注意力机制的研究发展,分析了注意力机制目前的发展现状并探讨了该机制未来可行的研究方向。

成为VIP会员查看完整内容
0
66

注意力模型已经成为神经网络中的一个重要概念,在不同的应用领域得到了广泛的研究。本综述提供了一个关于注意力建模的结构化的和全面的概述。特别地,我们提出了一种分类法,将现有的注意力技术分组到一致类别中。我们回顾了显著的注意力融入的神经结构,并讨论了建模注意力已显示出重大影响的应用。最后,我们还描述了如何使用注意力来提高神经网络的可解释性。我们希望这个调查能提供一个关于注意力模型的简明介绍,并在为其应用开发方法时指导从业者。

注意力模型(AM)首先被引入到机器翻译中[Bahdanau et al. 2015],现在已经成为神经网络文献中的一个主导概念。在人工智能(AI)领域,注意力作为神经架构的重要组成部分,在自然语言处理(Galassi et al. 2020)、语音(Cho et al. 2015)和计算机视觉(Wang and Tax 2016)等大量应用中非常受欢迎。

注意力背后的直觉可以用人类生物系统来最好地解释。例如,我们的视觉处理系统倾向于选择性地关注图像的某些部分,而忽略其他可以帮助感知的无关信息[Xu et al. 2015]。同样地,在涉及语言、言语或视觉的问题中,输入的某些部分比其他部分更重要。例如,在翻译和总结任务中,只有输入序列中的特定单词可能与预测下一个单词相关。同样,在图像字幕问题中,输入图像的某些区域可能与生成标题中的下一个单词更相关。AM通过允许模型动态地只关注帮助有效执行手头任务的输入的某些部分来合并相关性的概念。使用AM对Yelp评论进行情感分类的例子[Yang et al. 2016]如图1所示。在这个例子中,AM了解到在五个句子中,第一个和第三个句子更相关。此外,这些句子中的delicious和amazing这两个词更有意义,更能决定评论的情绪。

目录内容:

  • 注意力基础知识
  • 注意力模型
  • 注意力分类法
  • 注意力网络架构
  • 应用
  • 注意力可解释

成为VIP会员查看完整内容
0
94

图神经网络为根据特定任务将真实世界的图嵌入低维空间提供了一个强大的工具包。到目前为止,已经有一些关于这个主题的综述。然而,它们往往侧重于不同的角度,使读者看不到图神经网络的全貌。本论文旨在克服这一局限性,并对图神经网络进行了全面的综述。首先,我们提出了一种新的图神经网络分类方法,然后参考了近400篇相关文献,全面展示了图神经网络的全貌。它们都被分类到相应的类别中。为了推动图神经网络进入一个新的阶段,我们总结了未来的四个研究方向,以克服所面临的挑战。希望有越来越多的学者能够理解和开发图神经网络,并将其应用到自己的研究领域。

导论

图作为一种复杂的数据结构,由节点(或顶点)和边(或链接)组成。它可以用于建模现实世界中的许多复杂系统,如社会网络、蛋白质相互作用网络、大脑网络、道路网络、物理相互作用网络和知识图等。因此,分析复杂网络成为一个有趣的研究前沿。随着深度学习技术的快速发展,许多学者采用深度学习体系结构来处理图形。图神经网络(GNN)就是在这种情况下出现的。到目前为止,GNN已经发展成为一种流行和强大的计算框架,用于处理不规则数据,如图形和流形。

GNN可以通过层次迭代算子学习任务特定的节点/边/图表示,从而利用传统的机器学习方法执行与图相关的学习任务,如节点分类、图分类、链路预测和聚类等。尽管GNNs在图形相关学习任务上取得了很大的成功,但他们仍然面临着巨大的挑战。首先,图数据结构的复杂性给大型图数据带来了昂贵的计算代价。其次,扰动图结构和/或初始特征会导致性能急剧下降。第三,wesfeiller - leman (WL)图同构检验阻碍了GNNs的性能提升。最后,GNN的黑盒工作机制阻碍了将其安全部署到实际应用中。

本文将传统的深度体系结构推广到非欧氏域,总结了图神经网络的体系结构、扩展和应用、基准和评估缺陷以及未来的研究方向。到目前为止,已经对GNN进行了几次调查。然而,他们通常从不同的角度、不同的侧重点来讨论GNN模型。据我们所知,关于GNN的第一次调查是由Michael M. Bronstein等人进行的。Peng Cui等[2]从三个方面综述了应用于图形的各种深度学习模型: 包括图卷积神经网络在内的半监督学习方法,包括图自动编码器在内的非监督学习方法,以及包括图循环神经网络和图强化学习在内的最新进展。本研究侧重于半监督学习模型,即空间图和光谱图卷积神经网络,而对其他两个方面的研究相对较少。由于篇幅有限,本调查只列出了GNNs的几个关键应用,但忽略了应用的多样性。孙茂松等人[3]从图类型、传播步骤和训练方法三个方面详细回顾了光谱和空间图卷积神经网络,并将其应用分为结构场景、非结构场景和其他场景三种场景。然而,这篇文章没有涉及其他GNN架构,如图形自动编码器,图形循环神经网络和图形生成网络。Philip S. Yu等人[4]对图神经网络进行了全面的调查,并调查了可用的数据集、开源实现和实际应用。然而,对于每个研究主题,他们只列出了少量的核心文献。Davide Bacciu等人[367]温和地介绍了图形数据的深度学习领域。本文的目的是介绍为图数据构造神经网络的主要概念和构建模块,因此它没有对最近的图神经网络工作进行阐述。

值得注意的是,上述所有调研都不涉及GNN的能力和可解释性、概率推理和GNN的组合以及对图的对抗攻击。本文从架构、扩展和应用、基准测试和评估缺陷、未来研究方向四个方面为读者提供了GNN的全景图,如图1所示。对于GNNs的结构,我们研究了图卷积神经网络(GCNNs)、图池算子、图注意机制和图循环神经网络(GRNNs)等方面的研究。通过对上述体系结构的集成,实现了GNNs的扩展和应用,展示了一些值得关注的研究课题。具体来说,这一视角包括深度图表示学习、深度图生成模型、概率推理(PI)和gnn的组合、GNN的对抗攻击、图神经结构搜索和图强化学习和应用。综上所述,本文对GNNs进行了完整的分类,并对GNNs的研究现状和发展趋势进行了全面的综述。这些是我们与上述调查的主要不同之处。

我们的主要贡献可以归结为以下三个方面。

  1. 我们提出了一种新的GNN分类方法,它有三个层次。第一个包括架构、基准测试和评估缺陷以及应用程序。体系结构分为9类,基准测试和评估缺陷分为2类,应用程序分为10类。此外,图卷积神经网络作为一种经典的GNN体系结构,又被分为6类。

  2. 我们提供了GNN的全面回顾。所有的文献都属于相应的类别。希望读者通过阅读本概览,不仅了解GNNs的全貌,而且了解GNNs的基本原理和各种计算模块。

3.根据目前GNNs所面临的挑战,我们总结了未来四个研究方向,其中大部分在其他研究中没有提及。希望通过克服这些挑战,使GNNs的研究进入一个新的阶段

未来研究方向:

尽管GNNs在许多领域取得了巨大的成功,但仍存在一些有待解决的问题。本节总结了GNNs未来的研究方向。

  • 高度可伸缩的GNN。现实世界的图通常包含数亿个节点和边,并具有动态演化的特征。事实证明,现有的GNN架构很难扩展到巨大的真实世界图。这促使我们设计高度可伸缩的GNN架构,能够高效和有效地学习节点/边/图表示为巨大的动态演化图。

  • 健壮的GNN。现有的GNN架构容易受到对抗性攻击。也就是说,一旦输入图的结构和/或初始特征受到攻击,GNN模型的性能就会急剧下降。因此,我们应该将攻击防御机制整合到GNN体系结构中,即构建健壮的GNN体系结构,以增强其对抗攻击的能力。

  • GNNs超过WL测试。空间广义网格网络的性能受单WL的限制,而高阶WL检验的计算代价昂贵。因此,在适当的条件下,两个非同构图将产生相同的节点/边/图表示。这促使我们开发一个超越WL测试的新的GNN框架,或者设计一个优雅的高阶GNN架构来对应高阶WL测试。

  • 可解释的GNN。现有的GNN在一个黑盒中工作。我们不明白为什么它们在节点分类任务、图分类任务和图嵌入任务等方面都能达到如此先进的性能。可解释性已经成为将GNNs应用于现实问题的一个主要障碍。虽然已有一些研究对某些特定的GNN模型进行了解释,但它们不能解释一般的GNN模型。这促使我们为gnn构建一个统一的可解释框架。

成为VIP会员查看完整内容
1
59

人工智能(AI)为改善私人和公共生活提供了很多机会,以自动化的方式在大型数据中发现模式和结构是数据科学的核心组件,目前驱动着计算生物学、法律和金融等不同领域的应用发展。然而,这种高度积极的影响也伴随着重大的挑战:我们如何理解这些系统所建议的决策,以便我们能够信任它们?在这个报告中,我们特别关注数据驱动的方法——特别是机器学习(ML)和模式识别模型——以便调查和提取结果和文献观察。通过注意到ML模型越来越多地部署在广泛的业务中,可以特别理解本报告的目的。然而,随着方法的日益普及和复杂性,业务涉众对模型的缺陷、特定数据的偏差等越来越关注。类似地,数据科学从业者通常不知道来自学术文献的方法,或者可能很难理解不同方法之间的差异,所以最终使用行业标准,比如SHAP。在这里,我们进行了一项调查,以帮助行业从业者(以及更广泛的数据科学家)更好地理解可解释机器学习领域,并应用正确的工具。我们后面的章节将围绕一位公认的数据科学家展开叙述,并讨论她如何通过提出正确的问题来解释模型。

https://arxiv.org/abs/2009.11698

成为VIP会员查看完整内容
0
57

Attention模型目前已经成为神经网络中的一个重要概念,注意力模型(AM)自机器翻译任务【Bahdanau et al 2014】首次引入进来,现在已经成为主流的神经网络概念。这一模型在研究社区中非常受欢迎,适用领域非常广泛,包括自然语言处理、统计学习、语音和计算机视觉方面的应用。本篇综述提供了关于注意力模型的全面概述,并且提供了一种将现有注意力模型进行有效分类的分类法,调查了用于不同网络结构的注意力模型,并显示了注意力机制如何提高模型的可解释性,最后,讨论了一些受到注意力模型较大影响的应用问题。

成为VIP会员查看完整内容
An Attentive Survey of Attention Models.pdf
0
154

异常检测是一个在各个研究领域和应用领域内得到广泛研究的重要问题。本研究的目的有两个方面:首先,我们对基于深度学习的异常检测的研究方法进行了系统全面的综述。此外,我们还回顾了这些方法对不同应用领域异常的应用,并评估了它们的有效性。我们根据所采用的基本假设和方法,将最先进的研究技术分为不同的类别。在每一类中,我们概述了基本的异常检测技术,以及它的变体,并给出了关键的假设,以区分正常行为和异常行为。对于我们介绍的每一类技术,我们还介绍了它们的优点和局限性,并讨论了这些技术在实际应用领域中的计算复杂性。最后,我们概述了研究中的未决问题和采用这些技术时所面临的挑战。

成为VIP会员查看完整内容
20190114-DEEP LEARNING FOR ANOMALY DETECTION A SURVEY.pdf
0
124
小贴士
相关VIP内容
专知会员服务
66+阅读 · 1月26日
专知会员服务
94+阅读 · 2020年12月20日
专知会员服务
57+阅读 · 2020年10月10日
专知会员服务
118+阅读 · 2020年10月3日
专知会员服务
39+阅读 · 2020年9月30日
专知会员服务
93+阅读 · 2020年6月21日
专知会员服务
60+阅读 · 2020年3月19日
注意力机制模型最新综述
专知会员服务
154+阅读 · 2019年10月20日
相关资讯
【综述】交通流量预测,附15页论文下载
专知
8+阅读 · 2020年4月23日
【综述】医疗可解释人工智能综述论文
专知
7+阅读 · 2019年7月18日
图数据表示学习综述论文
专知
29+阅读 · 2019年6月10日
Attention!注意力机制模型最新综述(附下载)
THU数据派
18+阅读 · 2019年4月13日
Attention!注意力机制模型最新综述
专知
60+阅读 · 2019年4月8日
自然语言处理中注意力机制综述
Python开发者
9+阅读 · 2019年1月31日
深度学习中的注意力机制
CSDN大数据
14+阅读 · 2017年11月2日
相关论文
Nils Jakob Eckstein,Niels Grüttemeier,Christian Komusiewicz,Frank Sommer
0+阅读 · 4月7日
Dor Bank,Noam Koenigstein,Raja Giryes
0+阅读 · 4月3日
Alana de Santana Correia,Esther Luna Colombini
21+阅读 · 3月31日
Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang
82+阅读 · 2020年3月18日
Adaptive Graph Convolutional Network with Attention Graph Clustering for Co-saliency Detection
Kaihua Zhang,Tengpeng Li,Shiwen Shen,Bo Liu,Jin Chen,Qingshan Liu
9+阅读 · 2020年3月13日
Sneha Chaudhari,Gungor Polatkan,Rohan Ramanath,Varun Mithal
12+阅读 · 2019年4月5日
Ofir Press,Noah A. Smith
3+阅读 · 2018年10月31日
Kai Yi,Zhiqiang Jian,Shitao Chen,Yuedong Yang,Nanning Zheng
3+阅读 · 2018年5月2日
Kaisheng Yao,Trevor Cohn,Katerina Vylomova,Kevin Duh,Chris Dyer
3+阅读 · 2015年8月25日
Top