卷积神经网络压缩中的知识蒸馏技术综述

近年来，卷积神经网络（CNN）凭借强大的特征提取和表达能力，在图像分析领域的诸多应用中取得了令人瞩目的成就。但是，CNN性能的不断提升几乎完全得益于网络模型的越来越深和越来越大，在这个情况下，部署完整的CNN往往需要巨大的内存开销和高性能的计算单元（如GPU）支撑，而在计算资源受限的嵌入式设备以及高实时要求的移动终端上，CNN的广泛应用存在局限性。因此，CNN迫切需要网络轻量化。目前解决以上难题的网络压缩和加速途径主要有知识蒸馏、网络剪枝、参数量化、低秩分解、轻量化网络设计等。首先介绍了卷积神经网络的基本结构和发展历程，简述和对比了五种典型的网络压缩基本方法；然后重点针对知识蒸馏方法进行了详细的梳理与总结，并在CIFAR数据集上对不同方法进行了实验对比；其后介绍了知识蒸馏方法目前的评价体系，给出多类型方法的对比分析和评价；最后对该技术未来的拓展研究给出了初步的思考。

http://fcst.ceaj.org/CN/abstract/abstract2907.shtml