近年来,神经网络在解决许多问题方面有了巨大的发展。不同类型的神经网络被引入来处理不同类型的问题。然而,任何神经网络的主要目标是将非线性可分的输入数据转换为更线性可分的抽象特征,使用层次结构。这些层是线性和非线性函数的组合。最流行和常见的非线性层是激活函数(AFs),如Logistic Sigmoid、Tanh、ReLU、ELU、Swish和Mish。本文对深度学习神经网络中的激活函数AFs进行了全面的综述和研究。不同类别的AFs,如Logistic Sigmoid和基于Tanh,基于ReLU,基于ELU,和基于Learning。指出了AFs的输出范围、单调性和平滑性等特点。并对18种最先进的AFs在不同网络上的性能进行了比较。本文提出了AFs的见解,以帮助研究者进行进一步的研究,并帮助实践者在不同的选择中进行选择。用于实验比较的代码。

近年来,深度学习在解决人脸分析[2][113]、预测评级[74]、情感分析[143]、[152]、高光谱图像分析[144]、图像合成和语义处理[1]、数字图像增强[72]、图像检索[33]等具有挑战性的问题方面取得了巨大的增长。深度学习中已经发展了各种类型的神经网络来从数据中学习抽象特征,如多层感知器(Multilayer Perceptron, MLP)[30],卷积神经网络(CNN)[82],[73],循环神经网络(RNN)[54],生成对抗网络(Generative Adversarial networks, GAN)[12]。神经网络的重要方面包括权值初始化[104]、损失函数[130]、正则化[102]、过拟合控制[18]、激活函数[136]和优化[35]。

激活函数在神经网络[36]中起着非常重要的作用,它通过非线性变换学习抽象的特征。AFs的一些共同性质如下: A)在优化中增加非线性曲率以提高网络的训练收敛性; B)它不应该广泛地增加模型的计算复杂性; C)不妨碍训练过程中的梯度流动;d)它应该保留数据的分布,以便更好地训练网络。近年来,为了实现上述特性,人们已经探索了几种用于深度学习的AFs。本综述致力于神经网络中AFs领域的发展。不同AFs的见解和推理被提出,以使深度学习社区受益。这项综述的主要贡献概述如下:

  1. 本综述为广泛的AFs提供了详细的分类。它还非常全面地包括了AFs,包括Logistic Sigmoid/Tanh, Rectified Unit, Exponential Unit, 和Adaptive AFs。

  2. 本综述从不同角度对AFs进行分析,为读者提供最新的AFs。它特别涵盖了用于深度学习的AFs的进展。

  3. 本综述还通过简要的重点和重要的讨论总结了AFs,以描述其对不同类型数据的适用性(参见表VI)。

  4. 将本次综述与现有综述/分析进行比较,显示其重要性(见表七)。

  5. 本文还介绍了使用18种最先进的AFs和不同类型网络在4个不同模式的基准数据集上的性能比较(参见表VIII, IX和XI)。

成为VIP会员查看完整内容
0
29

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

社区揭示了不同于网络中其他社区成员的特征和联系。社区检测在网络分析中具有重要意义。除了经典的谱聚类和统计推理方法,我们注意到近年来用于社区检测的深度学习技术在处理高维网络数据方面的优势有了显著的发展。因此,通过深度学习对社区检测的最新进展进行全面概述,对学者和从业者都是及时的。本文设计并提出了一种新的分类方法,包括基于深度神经网络的深度学习模型、深度非负矩阵分解和深度稀疏滤波。主要的类别,即深度神经网络,进一步分为卷积网络,图注意力网络,生成对抗网络和自动编码器。综述还总结了流行的基准数据集、模型评估指标和开源实现,以解决实验设置。然后讨论了社区检测在各个领域的实际应用,并提出了实现方案。最后,通过提出这一快速发展的深度学习领域中具有挑战性的课题,我们概述了未来的发展方向。

https://www.zhuanzhi.ai/paper/eb70a346cb2540dab57be737828445c6

引言

早在20世纪20年代,社会学和社会人类学就对社区进行了研究。然而,直到21世纪之后,研究人员才开始利用强大的数学工具和大规模数据操作来检测社区,以解决具有挑战性的问题[2]。自2002年[3]以来,Girvan和Newman将图划分问题引起了更广泛的关注。在过去的10年里,计算机科学研究者广泛研究了基于网络拓扑结构[5]-[8]和实体语义信息[9]-[11]、静态网络[12]-[14]、小型网络和大型网络[15]-[17]的社区检测问题[4]。越来越多的基于图的方法被开发出来用于检测具有复杂数据结构[18],[19]环境中的社区。通过社区检测,可以详细分析网络中社区的动态和影响,如谣言传播、病毒爆发、肿瘤进化等。

社区的存在推动了社区检测研究的发展,是一个越来越具有现实意义的研究领域。俗话说,物以类聚,人以群分。根据六度分离理论,世界上任何一个人都可以通过六个熟人认识其他人[21]。事实上,我们的世界是一个由一系列社区组成的巨大网络。例如,通过检测社交网络[22]-[24]中的社区,如图1所示,平台赞助商可以向目标用户推广他们的产品。在引文网络[25]中,社区检测决定了研究主题的重要性、关联性、演化和识别研究趋势。在代谢网络[26]、[27]和蛋白质-蛋白质相互作用(PPI)网络[28]中,社区检测揭示了具有相似生物学功能的代谢和蛋白质。同样,脑网络[19]、[29]中的社区检测反映了脑区域的功能和解剖分离。

许多传统的技术,如谱聚类[30],[31]和统计推理[32]-[35],被用于小型网络和简单的场景。然而,由于它们的计算和空间成本巨大,它们无法扩展到大型网络或具有高维特征的网络。现实网络中非线性结构信息丰富,使得传统模型在实际应用中不太适用。因此,需要更强大的具有良好计算性能的技术。目前,深度学习提供了最灵活的解决方案,因为深度学习模型: (1) 学习非线性网络属性,如节点之间的关系,(2) 提供一个低维的网络表示,保持复杂的网络结构,(3) 提高了从各种信息中检测社区的性能。因此,深度学习用于社区检测是一种新的趋势,需要及时全面的调查。

据我们所知,本文是第一次全面调研深度学习在社区检测方面的贡献。以往的研究主要集中在传统的社区检测上,回顾了其在发现网络固有模式和功能[36]、[37]方面的重要影响。这篇论文综述了一些具体的技术,但不限于: 基于随机块模型(sms)的部分检测[38],标签传播算法(LPAs)[39],[40],以及单目标和多目标优化的进化计算[13],[14]。在网络类型方面,研究人员综述了动态网络[12]、有向网络[41]和多层网络[5]中的社区检测方法。此外,[6],[7]还回顾了一系列关于不相交和重叠的社区缺陷的概述。围绕应用场景,以往的论文综述了社交网络[9]、[42]中的社区检测技术。

本文旨在帮助研究人员和从业者从以下几个方面了解社区检测领域的过去、现在和未来趋势:

  • 系统性分类和综合评价。我们为此项综述提出了一个新的系统分类(见图3)。对于每个类别,我们回顾、总结和比较代表性的工作。我们还简要介绍了现实世界中的社区检测应用。这些场景为未来的社区检测研究和实践提供了见解。

  • 丰富的资源和高影响力的参考资料。该综述不仅是文献综述,而且是基准数据集、评估指标、开源实现和实际应用的资源集合。我们在最新的高影响力国际会议和高质量同行评审期刊上广泛调查社区检测出版物,涵盖人工智能、机器学习、数据挖掘和数据发现等领域。

  • 未来的发展方向。由于深度学习是一个新的研究趋势,我们讨论了当前的局限性,关键的挑战和开放的问题,为未来的方向。

社区检测在网络分析和数据挖掘中具有重要意义。图4展示了传统学习方法和深度学习方法的发展。传统的方法是在网络结构上探索社区。这七种方法(图3左图)仅以一种简单的方式捕捉浅连接。传统方法的检测结果往往是次优的。我们将在本节简要回顾它们的代表性方法。深度学习方法(图3右图)揭示了深度网络信息,复杂关系,处理高维数据。

本文提出了一种深度社区检测的分类方法。分类法将方法归纳为六类: 卷积网络、图注意力网络(GAT)、生成对抗网络(GAN)、自动编码器(AE)、深度非负矩阵分解(DNMF)和基于深度稀疏滤波(DSF)的深度社区检测方法。卷积网络包括卷积神经网络(CNN)和图卷积网络(GCN)。AE又分为堆叠型AE、稀疏型AE、去噪型AE、图卷积型AE、图关注型AE和变分型AE (VAE)。

成为VIP会员查看完整内容
0
22

随着web技术的发展,多模态或多视图数据已经成为大数据的主要流,每个模态/视图编码数据对象的单个属性。不同的模态往往是相辅相成的。这就引起了人们对融合多模态特征空间来综合表征数据对象的研究。大多数现有的先进技术集中于如何融合来自多模态空间的能量或信息,以提供比单一模态的同行更优越的性能。最近,深度神经网络展示了一种强大的架构,可以很好地捕捉高维多媒体数据的非线性分布,对多模态数据自然也是如此。大量的实证研究证明了深多模态方法的优势,从本质上深化了多模态深特征空间的融合。在这篇文章中,我们提供了从浅到深空间的多模态数据分析领域的现有状态的实质性概述。在整个调查过程中,我们进一步指出,该领域的关键要素是多模式空间的协作、对抗性竞争和融合。最后,我们就这一领域未来的一些方向分享我们的观点。

成为VIP会员查看完整内容
0
171

智能视频监控(IVS)是当前计算机视觉和机器学习领域的一个活跃研究领域,为监控操作员和取证视频调查者提供了有用的工具。人的再识别(PReID)是IVS中最关键的问题之一,它包括识别一个人是否已经通过网络中的摄像机被观察到。PReID的解决方案有无数的应用,包括检索显示感兴趣的个体的视频序列,甚至在多个摄像机视图上进行行人跟踪。文献中已经提出了不同的技术来提高PReID的性能,最近研究人员利用了深度神经网络(DNNs),因为它在类似的视觉问题上具有令人信服的性能,而且在测试时执行速度也很快。鉴于再识别解决方案的重要性和广泛的应用范围,我们的目标是讨论在该领域开展的工作,并提出一项最先进的DNN模型用于这项任务的调查。我们提供了每个模型的描述以及它们在一组基准数据集上的评估。最后,我们对这些模型进行了详细的比较,并讨论了它们的局限性,为今后的研究提供了指导。

成为VIP会员查看完整内容
0
56

1、题目: Advances and Open Problems in Federated Learning

简介: 联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。最近来自斯坦福、CMU、Google等25家机构58位学者共同发表了关于联邦学习最新进展与开放问题的综述论文《Advances and Open Problems in Federated Learning》,共105页pdf调研了438篇文献,讲解了最新联邦学习进展,并提出大量开放型问题。

2、题目: Deep learning for time series classification: a review

简介: 时间序列分类(Time Series Classification, TSC )是数据挖掘中的一个重要而富有挑战性的问题。随着时间序列数据可用性的提高,已经提出了数百种TSC算法。在这些方法中,只有少数考虑使用深度神经网络来完成这项任务。这令人惊讶,因为在过去几年里,深度学习得到了非常成功的应用。DNNs的确已经彻底改变了计算机视觉领域,特别是随着新型更深层次的结构的出现,如残差和卷积神经网络。除了图像,文本和音频等连续数据也可以用DNNs处理,以达到文档分类和语音识别的最新性能。在本文中,本文通过对TSC最新DNN架构的实证研究,研究了TSC深度学习算法的最新性能。在TSC的DNNs统一分类场景下,本文概述了各种时间序列领域最成功的深度学习应用。本文还为TSC社区提供了一个开源的深度学习框架,实现了本文所对比的各种方法,并在单变量TSC基准( UCR archive)和12个多变量时间序列数据集上对它们进行了评估。通过在97个时间序列数据集上训练8730个深度学习模型,本文提出了迄今为止针对TSC的DNNs的最详尽的研究。

3、 题目: Optimization for deep learning: theory and algorithms

简介: 本文概述了用于训练神经网络的优化算法和理论。 首先,我们讨论梯度爆炸/消失的问题以及不希望有的频谱的更一般性的问题,然后讨论实用的解决方案,包括仔细的初始化和归一化方法。 其次,我们回顾了用于训练神经网络的通用优化方法,例如SGD,自适应梯度法和分布式方法,以及这些算法的现有理论结果。 第三,我们回顾了有关神经网络训练的全球性问题的现有研究,包括不良局部极小值,模式连通性,彩票假说和无限宽度分析的结果。

4、题目: Optimization for deep learning: theory and algorithms

简介: 本文概述了用于训练神经网络的优化算法和理论。 首先,我们讨论梯度爆炸/消失的问题以及不希望有的频谱的一般性的问题,然后讨论解决方案,包括初始化和归一化方法。 其次,我们回顾了用于训练神经网络的通用优化方法,例如SGD,自适应梯度法和分布式方法,以及这些算法的现有理论结果。 第三,我们回顾了有关神经网络训练的现有研究。

5、题目: Normalizing Flows for Probabilistic Modeling and Inference

简介: 归一化流提供了一种定义表达概率分布的通用机制,只需要指定基本分布和一系列双射变换。 最近有许多关于标准化流的工作,从提高其表达能力到扩展其应用。 我们认为该领域已经成熟,需要一个统一的观点。 在这篇综述中,我们试图通过概率建模和推理的视角描述流量来提供这样的观点。 我们特别强调流程设计的基本原理,并讨论诸如表达能力和计算权衡等基本主题。 通过将流量与更一般的概率转换相关联,我们还扩大了flow的概念框架。 最后,我们总结了在诸如生成模型,近似推理和监督学习等任务中使用归一化流提供了一种定义表达概率分布的通用机制,只需要指定(通常是简单的)基本分布和一系列双射变换。 最近有许多关于标准化流的工作,从提高其表达能力到扩展其应用。 我们认为该领域已经成熟,需要一个统一的观点。 在这篇综述中,我们试图通过概率建模和推理的视角描述流量来提供这样的观点。 我们特别强调流程设计的基本原理,并讨论诸如表达能力和计算权衡等基本主题。 通过将流量与更一般的概率转换相关联,我们还扩大了流量的概念框架。 最后,我们总结了在诸如生成模型,近似推理和监督学习等任务中使用流。

6、题目: Fantastic Generalization Measures and Where to Find Them

简介: 近年来,深度网络的普遍性引起了人们极大的兴趣,从而产生了许多从理论和经验出发推动复杂性的措施。 但是,大多数提出此类措施的论文只研究了一小部分模型,而这些实验得出的结论在其他情况下是否仍然有效的问题尚待解决。 我们提出了深度网络泛化的第一个大规模研究。 我们研究了从理论界和实证研究中采取的40多种复杂性度量。 通过系统地改变常用的超参数,我们训练了10,000多个卷积网络。 为了揭示每个度量与泛化之间的潜在因果关系,我们分析了实验,并显示了有希望进行进一步研究的度量。

7、题目: Neural Style Transfer: A Review

简介: Gatys等人的开创性工作通过分离和重新组合图像内容和样式,展示了卷积神经网络(CNN)在创建艺术图像中的作用。使用CNN渲染不同样式的内容图像的过程称为神经样式传输(NST)。从那时起,NST成为学术文献和工业应用中的一个热门话题。它正受到越来越多的关注,并且提出了多种方法来改进或扩展原始的NST算法。在本文中,我们旨在全面概述NST的最新进展。我们首先提出一种NST领域中当前算法的分类法。然后,我们提出几种评估方法,并定性和定量地比较不同的NST算法。审查结束时讨论了NST的各种应用和未解决的问题,以供将来研究。

成为VIP会员查看完整内容
0
61
小贴士
相关VIP内容
专知会员服务
40+阅读 · 6月17日
专知会员服务
49+阅读 · 4月22日
专知会员服务
44+阅读 · 2020年11月5日
【文本分类大综述:从浅层到深度学习,35页pdf】
专知会员服务
126+阅读 · 2020年8月6日
专知会员服务
171+阅读 · 2020年6月16日
专知会员服务
56+阅读 · 2020年5月5日
专知会员服务
149+阅读 · 2020年3月6日
【综述】7篇非常简洁近期深度学习综述论文
专知会员服务
61+阅读 · 2019年12月31日
相关资讯
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
20+阅读 · 2018年6月13日
激活函数初学者指南
论智
4+阅读 · 2018年5月15日
最近流行的激活函数
计算机视觉战队
6+阅读 · 2017年11月27日
一文概览深度学习中的激活函数
数据玩家
3+阅读 · 2017年11月3日
入门 | 一文概览深度学习中的激活函数
深度学习世界
4+阅读 · 2017年11月3日
相关论文
Scott C. Lowe,Robert Earle,Jason d'Eon,Thomas Trappenberg,Sageev Oore
0+阅读 · 10月22日
A Comprehensive Survey and Performance Analysis of Activation Functions in Deep Learning
Shiv Ram Dubey,Satish Kumar Singh,Bidyut Baran Chaudhuri
13+阅读 · 9月29日
Xu Tan,Tao Qin,Frank Soong,Tie-Yan Liu
11+阅读 · 6月30日
Xing Su,Shan Xue,Fanzhen Liu,Jia Wu,Jian Yang,Chuan Zhou,Wenbin Hu,Cecile Paris,Surya Nepal,Di Jin,Quan Z. Sheng,Philip S. Yu
8+阅读 · 5月26日
Weihao Xia,Yulun Zhang,Yujiu Yang,Jing-Hao Xue,Bolei Zhou,Ming-Hsuan Yang
18+阅读 · 1月14日
Bivariate Beta LSTM
Kyungwoo Song,JoonHo Jang,Seung jae Shin,Il-Chul Moon
5+阅读 · 2019年10月7日
Object Detection in 20 Years: A Survey
Zhengxia Zou,Zhenwei Shi,Yuhong Guo,Jieping Ye
38+阅读 · 2019年5月13日
Jiayuan Gu,Han Hu,Liwei Wang,Yichen Wei,Jifeng Dai
4+阅读 · 2018年3月19日
Top