NeurIPS 2020线上分享 | 华为诺亚方舟：超越CNN的加法神经网络

2020 年 11 月 23 日 机器之心

具有大量可学习参数和乘法运算的卷积神经网络（CNN）在图像分类、目标检测、语义分割和低级图像任务中表现出了卓越的性能，但由此带来的功耗过大问题限制了 CNN 在手机和相机等便携式设备上的应用。所以，近来的一些研究着力探索降低计算成本的高效方法。

目前出现了多种获得高计算能效深度神经网络的算法，如从准确度损失极少的预训练神经网络中删除不重要参数或滤波器的权重剪枝方法，以及通过模仿教师模型输出分布来直接学习学生模型的知识蒸馏方法。另一个获得高效神经网络的研究途径是减少权重和激活值的位宽以降低内存使用和功耗。这类方法有很多，也可以大幅度降低计算复杂度，但生成网络的性能依然低于 CNN 方法。

针对这些问题，Hanting Chen 等提出了不需要大量浮点数乘法运算的加法神经网络（Adder Neural Network, ANN），不仅实现了比低位宽二进制神经网络更好的性能，还对未来深度学习硬件加速器的设计产生深远影响。

在华为诺亚方舟实验室、悉尼大学这篇被 NeurIPS 2020 学术会议接收的论文《Kernel Based Progressive Distillation for Adder Neural Networks》中，研究者通过一种基于核的渐进式蒸馏方法构建了性能更好的加法神经网络。研究者表示，这项研究使得 ANN 性能超越了同结构的 CNN，从而在功耗更少的情况下实现更佳性能。这项研究还将有益于智能手机和物联网等的应用。

机器之心最新一期 NeurIPS 线上分享邀请到了论文一作、诺亚方舟实验室研究员许奕星，为大家详细解读此前沿研究。

分享主题：基于核的加法神经网络渐进式蒸馏方法

分享嘉宾： 许奕星，诺亚方舟实验室研究员，北京大学智能科学系硕士、浙江大学学士。师从北京大学许超教授和悉尼大学陶大程教授，曾在 MSRA 实习。研究兴趣主要包括计算机视觉、机器学习和深度学习，并在 NIPS、CVPR、ICML、AAAI、IJCAI 等学术会议发表论文数篇。目前主要研究方向为加法神经网络、神经网络模型小型化、神经网络自动搜索以及半监督学习。

分享概要： 深度卷积神经网络（CNN）在众多计算机视觉任务中取得成功。然而为了保证性能，CNN 包含大量的乘法操作。近期提出的加法神经网络（ANN）通过替换卷积操作为无需乘法的加法操作，极大的减少了网络的运行功耗和所需的芯片面积，然而 ANN 在准确率上和同结构的 CNN 相比仍有一定差距。本讲座介绍了一种基于核的渐进式蒸馏方法，提高 ANN 的分类性能。实验表明，在 CIFAR-10、CIFAR-100 和 ImageNet 等多个标准图片分类数据集上，ANN 能够取得超越同结构 CNN 的性能，为 ANN 进一步应用于实际奠定了基础。

直播时间： 北京时间 11 月 25 日 20:00-21:00

论文链接：https://arxiv.org/pdf/2009.13044.pdf

加入机动组，一起看直播

「机动组」是机器之心发起的人工智能技术社区，将持续提供技术公开课、论文分享、热门主题解读等线上线下活动，并在社群中提供每日精选论文与教程、智能技术研究周报，同时「机动组」也将不定期组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。添加机器之心小助手（syncedai5），备注「2020」，加入本次直播群。