Dynamic neural network is an emerging research topic in deep learning. Compared to static models which have fixed computational graphs and parameters at the inference stage, dynamic networks can adapt their structures or parameters to different inputs, leading to notable advantages in terms of accuracy, computational efficiency, adaptiveness, etc. In this survey, we comprehensively review this rapidly developing area by dividing dynamic networks into three main categories: 1) instance-wise dynamic models that process each instance with data-dependent architectures or parameters; 2) spatial-wise dynamic networks that conduct adaptive computation with respect to different spatial locations of image data and 3) temporal-wise dynamic models that perform adaptive inference along the temporal dimension for sequential data such as videos and texts. The important research problems of dynamic networks, e.g., architecture design, decision making scheme, optimization technique and applications, are reviewed systematically. Finally, we discuss the open problems in this field together with interesting future research directions.


翻译:动态神经网络是深层学习中的一个新兴研究课题。与在推论阶段固定计算图和参数的静态模型相比,动态网络可以调整其结构或参数以适应不同的投入,从而在准确性、计算效率、适应性等方面带来显著的优势。 在这次调查中,我们全面审查了这一迅速开发的领域,将动态网络分为三大类:(1) 将动态网络分为以数据为基础的结构或参数处理每个实例的实例式动态模型;(2) 对图像数据的不同空间位置进行适应性计算的空间智能动态网络;(3) 在视频和文本等相继数据的时间层面进行适应性推断的时向动态模型。系统地审查了动态网络的重要研究问题,例如结构设计、决策计划、优化技术和应用。最后,我们讨论了该领域的开放问题以及有趣的未来研究方向。

37
下载
关闭预览

相关内容

神经网络(Neural Networks)是世界上三个最古老的神经建模学会的档案期刊:国际神经网络学会(INNS)、欧洲神经网络学会(ENNS)和日本神经网络学会(JNNS)。神经网络提供了一个论坛,以发展和培育一个国际社会的学者和实践者感兴趣的所有方面的神经网络和相关方法的计算智能。神经网络欢迎高质量论文的提交,有助于全面的神经网络研究,从行为和大脑建模,学习算法,通过数学和计算分析,系统的工程和技术应用,大量使用神经网络的概念和技术。这一独特而广泛的范围促进了生物和技术研究之间的思想交流,并有助于促进对生物启发的计算智能感兴趣的跨学科社区的发展。因此,神经网络编委会代表的专家领域包括心理学,神经生物学,计算机科学,工程,数学,物理。该杂志发表文章、信件和评论以及给编辑的信件、社论、时事、软件调查和专利信息。文章发表在五个部分之一:认知科学,神经科学,学习系统,数学和计算分析、工程和应用。 官网地址:http://dblp.uni-trier.de/db/journals/nn/
【NeurIPS2020-MIT】子图神经网络,Subgraph Neural Networks
专知会员服务
45+阅读 · 2020年9月28日
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
177+阅读 · 2020年4月26日
专知会员服务
59+阅读 · 2020年3月19日
AAAI2020 图相关论文集
图与推荐
10+阅读 · 2020年7月15日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
CVPR2019教程《胶囊网络(Capsule Networks)综述》,附93页PPT
GAN生成式对抗网络
28+阅读 · 2019年6月21日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
Arxiv
35+阅读 · 2021年1月27日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Image Segmentation Using Deep Learning: A Survey
Arxiv
42+阅读 · 2020年1月15日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
23+阅读 · 2018年10月24日
Arxiv
12+阅读 · 2018年9月5日
VIP会员
相关资讯
AAAI2020 图相关论文集
图与推荐
10+阅读 · 2020年7月15日
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
CVPR2019教程《胶囊网络(Capsule Networks)综述》,附93页PPT
GAN生成式对抗网络
28+阅读 · 2019年6月21日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
相关论文
Arxiv
35+阅读 · 2021年1月27日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Image Segmentation Using Deep Learning: A Survey
Arxiv
42+阅读 · 2020年1月15日
A Comprehensive Survey on Graph Neural Networks
Arxiv
21+阅读 · 2019年1月3日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
23+阅读 · 2018年10月24日
Arxiv
12+阅读 · 2018年9月5日
Top
微信扫码咨询专知VIP会员