紧凑的神经网络模型设计研究综述

摘要：卷积神经网络在广泛的应用中取得了优秀的表现，但巨大的资源消耗量使得其应用于移动端和嵌入式设备成为了挑战。为了解决此类问题，需要对网络模型在大小、速度和准确度方面做出平衡。首先，从模型是否预先训练角度，简要介绍了网络压缩与加速的两类方法——神经网络压缩和紧凑的神经网络。具体地，阐述了紧凑的神经网络设计方法，展示了其中不同运算方式，强调了这些运算特点，并根据基础运算不同，将其分为基于空间卷积的模型设计和基于移位卷积模型设计两大类，然后每类分别选取三个网络模型从基础运算单元、核心构建块和整体网络结构进行论述。同时，分析了各网络以及常规网络在ImageNet数据集上的性能。最后，总结了现有的紧凑神经网络设计技巧，并展望了未来的发展方向。