Deep convolutional neural networks (CNNs) are often of sophisticated design with numerous learnable parameters for the accuracy reason. To alleviate the expensive costs of deploying them on mobile devices, recent works have made huge efforts for excavating redundancy in pre-defined architectures. Nevertheless, the redundancy on the input resolution of modern CNNs has not been fully investigated, i.e., the resolution of input image is fixed. In this paper, we observe that the smallest resolution for accurately predicting the given image is different using the same neural network. To this end, we propose a novel dynamic-resolution network (DRNet) in which the input resolution is determined dynamically based on each input sample. Wherein, a resolution predictor with negligible computational costs is explored and optimized jointly with the desired network. Specifically, the predictor learns the smallest resolution that can retain and even exceed the original recognition accuracy for each image. During the inference, each input image will be resized to its predicted resolution for minimizing the overall computation burden. We then conduct extensive experiments on several benchmark networks and datasets. The results show that our DRNet can be embedded in any off-the-shelf network architecture to obtain a considerable reduction in computational complexity. For instance, DR-ResNet-50 achieves similar performance with an about 34% computation reduction, while gains 1.4% accuracy increase with 10% computation reduction compared to the original ResNet-50 on ImageNet.


翻译:深相神经网络(CNNs) 通常是复杂的设计,其精密性能参数很多。为了降低在移动设备上部署它们的成本成本,最近的一些工程为在预定义的结构中挖掘冗余作出了巨大的努力。然而,现代CNN的输入分辨率的冗余没有得到充分调查,也就是说,输入图像的分辨率是固定的。在本文中,我们观察到,精确预测给定图像的最微小分辨率使用相同的神经网络是不同的。为此,我们提议建立一个新的动态分辨率网络(DRNet),在这个网络中,输入分辨率的分辨率是根据每个输入样本动态确定。在其中,一个可忽略计算成本的分辨率预测或可与理想的网络共同优化冗余的冗余。具体地说,预测者学到了最小的分辨率,可以保留甚至超过每个图像的初始识别准确度。在推断中,每个输入图像图像图像将重新缩放到预测的分辨率,以最小化整体计算负担。我们随后对几个基准网络和数据设置进行广泛的实验。结果显示,我们的图像网络的精确度将大幅递减为35的计算结果。

0
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
商业数据分析,39页ppt
专知会员服务
159+阅读 · 2020年6月2日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
Arxiv
37+阅读 · 2021年2月10日
Arxiv
5+阅读 · 2020年3月16日
Arxiv
3+阅读 · 2018年3月5日
Arxiv
5+阅读 · 2017年11月30日
VIP会员
相关论文
Top
微信扫码咨询专知VIP会员