【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型

• 论文地址：

• https://arxiv.org/pdf/1912.12607.pdf

在CVPR 2020上，商汤研究院链接与编译团队、高性能计算团队和北航刘祥龙老师团队合作提出了用于加速卷积神经网络训练过程的INT8训练技术。该工作通过将网络的输入、权重和梯度量化到8比特来加速网络的前向传播和反向传播过程，缩短卷积神经网络训练时间。

论文观察到梯度的独特分布给量化训练带来了极大挑战，为了解决梯度量化带来的精度损失和不稳定问题，该论文进行了量化训练收敛稳定性的理论分析并基于此提出了误差敏感的学习率调节和基于方向自适应的梯度截断方法。同时为了保证更高的加速比，该论文还提出使用周期更新、量化卷积融合等技术来减少量化操作带来的时间开销。

应用了上述方法之后，INT8训练在图像分类任务和检测任务上都仅仅损失微小的精度，且训练过程相比浮点训练加速了22%。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“INT8” 可以获取《8比特数值也能训练卷积神经网络模型》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源