摘要: 深度卷积神经网络(Deep convolutional neural networks, DCNNs)通过制作各种破纪录的模型,主导了计算机视觉领域的最新发展。然而,在资源有限的环境下,如嵌入式设备和智能手机上,实现强大的DCNNs仍然是一个巨大的挑战。研究人员已经认识到,1位CNNs是解决这一问题的一个可行方案;然而,与全精度DCNNs相比,它们的性能较差。在本文中,我们提出了一种新的方法,称为贝叶斯优化1位CNNs(简称BONNs),利用贝叶斯学习这一成熟的解决困难问题的策略来显著提高极端1位CNNs的性能。我们在贝叶斯框架中加入了全精度内核的先验分布和特征,以端到端的方式构造了1位CNNs,这在以前的相关方法中都没有考虑到。在理论支持下,实现了连续和离散空间同时优化网络的贝叶斯损失,将不同的损失联合起来,提高了模型的容量。在ImageNet和CIFAR数据集上的大量实验表明,与最先进的1位CNNs相比,BONNs具有最佳的分类性能。

成为VIP会员查看完整内容
14

相关内容

贝叶斯方法是贝叶斯学习的基础,它提供了一种计算假设概率的方法,这种方法是基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身而得出的。其方法为,将关于未知参数的先验信息与样本信息综合,再根据贝叶斯公式,得出后验信息,然后根据后验信息去推断未知参数的方法。
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
最新《智能交通系统的深度强化学习》综述论文,22页pdf
【经典书】机器学习高斯过程,266页pdf
专知会员服务
193+阅读 · 2020年5月2日
深度神经网络模型压缩与加速综述
专知会员服务
127+阅读 · 2019年10月12日
判别特征的学习方法用于人脸识别(文末源码)
计算机视觉战队
7+阅读 · 2019年3月28日
资源 | NIPS 2017 Spotlight论文Bayesian GAN的TensorFlow实现
CNN超参数优化和可视化技巧详解
量子位
4+阅读 · 2017年7月15日
Learning Discriminative Model Prediction for Tracking
Arxiv
12+阅读 · 2019年4月9日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
3+阅读 · 2018年1月10日
Arxiv
9+阅读 · 2018年1月4日
VIP会员
相关论文
Learning Discriminative Model Prediction for Tracking
Arxiv
12+阅读 · 2019年4月9日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
3+阅读 · 2018年1月10日
Arxiv
9+阅读 · 2018年1月4日
微信扫码咨询专知VIP会员