【ICCV 2019】贝叶斯优化的1-Bit CNNs 《Bayesian Optimized 1-Bit CNNs》

摘要： 深度卷积神经网络(Deep convolutional neural networks, DCNNs)通过制作各种破纪录的模型，主导了计算机视觉领域的最新发展。然而，在资源有限的环境下，如嵌入式设备和智能手机上，实现强大的DCNNs仍然是一个巨大的挑战。研究人员已经认识到，1位CNNs是解决这一问题的一个可行方案;然而，与全精度DCNNs相比，它们的性能较差。在本文中，我们提出了一种新的方法，称为贝叶斯优化1位CNNs(简称BONNs)，利用贝叶斯学习这一成熟的解决困难问题的策略来显著提高极端1位CNNs的性能。我们在贝叶斯框架中加入了全精度内核的先验分布和特征，以端到端的方式构造了1位CNNs，这在以前的相关方法中都没有考虑到。在理论支持下，实现了连续和离散空间同时优化网络的贝叶斯损失，将不同的损失联合起来，提高了模型的容量。在ImageNet和CIFAR数据集上的大量实验表明，与最先进的1位CNNs相比，BONNs具有最佳的分类性能。