【泡泡一分钟】用于快速深度神经网络的协调滤波器(ICCV2017-64)

2018 年 8 月 12 日 泡泡机器人SLAM

每天一分钟,带你读遍机器人顶级会议文章

标题:Coordinating Filters for Faster Deep Neural Networks

作者:Wei Wen, Cong Xu, Chunpeng Wu

来源:International Conference on Computer Vision (ICCV 2017)

播音员:糯米

编译:王嫣然 周平(69)

欢迎个人转发朋友圈;其他机构或自媒体如需转载,后台留言申请授权

摘要

大规模的深度神经网络(DNNs)在各种计算机视觉任务中取得了显著的成功。然而,DNN的高计算强度使得在资源有限的系统上部署这些模型变得很困难。一些研究使用低秩方法,以低秩为基础来近似过滤器,以加速测试。这些工作通过低阶近似(LRA)直接分解预训练DNN。然而,如何训练DNN到更低阶的空间以获得更高效的DNN,仍未有定论。为了解决这一问题,我们提出了强制正则化,它使用引力来执行过滤器,以便将更多的权重信息协调到低阶空间中。


我们通过数学和经验验证,在应用该技术后,标准LRA方法可以使用更低的基准重建滤波器,从而得到更快的DNN。我们方法的有效性在ResNets, AlexNet, GoogLeNet中得到全面评估。例如,在AlexNet中,强制正则化在现代GPU上获得了2倍的提速,没有精确度损失,并且损失小部分精确度,在CPU上获得了4.05倍的提速。而且,强制正则化可以更好的初始化低秩DNN,这样微调可以更快地收敛到更高的精度。所获得的更低秩的DNN可以进一步稀疏化,从而证明了强制正则化可以与最先进的基于稀疏度的加速方法相结合。


图1 CIFAR-10卷积神经网络第一层滤波器的低阶基础。 低秩基础由PCA获得的最重要的主要过滤器组成。 顶部:原始网络的低阶基础。 底部:应用力量正则化后,同一网络的低阶基础。 红色框的数量表示重建原始过滤器所需的等级,错误率为20%。


图2 AlexNet(左)和GoogLeNet(右)的第一个卷积层中滤波器的线性判别分析(LDA)。

图3 强制正则化协调滤波器

图4 每层的排名(具有≤5%的PCA重构错误)与AlexNet排名前1错误的对比图。 水平虚线表示基线的等级比率,而垂直虚线表示基线的误差。 实线(虚线)描述了强制正则化后的AlexNet的2范数(1-范数)的等级比率。 每层都用一种颜色表示。 超参数λs的灵敏度:沿着从左到右的方向,2-范数力的λs从1.2e-5变为1.8e-5,2.0e-5,3.0e-5和3.5e-5; 对于1范数力,它从1.5e-5变为1.8e-5,2.0e-5和2.5e-5。

Abstract    

 Very large-scale Deep Neural Networks (DNNs) have achieved remarkable successes in a large variety of computer  vision tasks. However, the high computation intensity  of DNNs makes it challenging to deploy these models on  resource-limited systems. Some studies used low-rank approaches  that approximate the filters by low-rank basis to  accelerate the testing. Those works directly decomposed  the pre-trained DNNs by Low-Rank Approximations (LRA).  How to train DNNs toward lower-rank space for more efficient  DNNs, however, remains as an open area. To solve  the issue, in this work, we propose Force Regularization,  which uses attractive forces to enforce filters so as to coordinate  more weight information into lower-rank space. We  mathematically and empirically verify that after applying  our technique, standard LRA methods can reconstruct filters  using much lower basis and thus result in faster DNNs. The  effectiveness of our approach is comprehensively evaluated  in ResNets, AlexNet, and GoogLeNet. In AlexNet, for example,  Force Regularization gains 2x  speedup on modern  GPU without accuracy loss and 4.05x  speedup on CPU by  paying small accuracy degradation. Moreover, Force Regularization  better initializes the low-rank DNNs such that  the fine-tuning can converge faster toward higher accuracy.  The obtained lower-rank DNNs can be further sparsified,  proving that Force Regularization can be integrated with  state-of-the-art sparsity-based acceleration methods.



如果你对本文感兴趣,想要下载完整文章进行阅读,可以关注【泡泡机器人SLAM】公众号(paopaorobot_slam)

欢迎来到泡泡论坛,这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题,或者想刷帖回答问题,泡泡论坛欢迎你!

泡泡网站:www.paopaorobot.org

泡泡论坛:http://paopaorobot.org/forums/


泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成,希望大家珍惜我们的劳动成果,转载请务必注明出自【泡泡机器人SLAM】微信公众号,否则侵权必究!同时,我们也欢迎各位转载到自己的朋友圈,让更多的人能进入到SLAM这个领域中,让我们共同为推进中国的SLAM事业而努力!

商业合作及转载请联系liufuqiang_robot@hotmail.com

登录查看更多
19

相关内容

ICCV 的全称是 IEEE International Conference on Computer Vision,即国际计算机视觉大会,由IEEE主办,与计算机视觉模式识别会议(CVPR)和欧洲计算机视觉会议(ECCV)并称计算机视觉方向的三大顶级会议,被澳大利亚ICT学术会议排名和中国计算机学会等机构评为最高级别学术会议,在业内具有极高的评价。不同于在美国每年召开一次的CVPR和只在欧洲召开的ECCV,ICCV在世界范围内每两年召开一次。ICCV论文录用率非常低,是三大会议中公认级别最高的。ICCV会议时间通常在四到五天,相关领域的专家将会展示最新的研究成果。
[ICML-Google]先宽后窄:对深度薄网络的有效训练
专知会员服务
34+阅读 · 2020年7月5日
【CMU】深度学习模型中集成优化、约束和控制,33页ppt
专知会员服务
45+阅读 · 2020年5月23日
专知会员服务
31+阅读 · 2020年4月24日
深度神经网络模型压缩与加速综述
专知会员服务
128+阅读 · 2019年10月12日
【泡泡一分钟】OFF:快速鲁棒视频动作识别的运动表征
泡泡机器人SLAM
3+阅读 · 2019年3月12日
【泡泡一分钟】泡泡一分钟一周总结(20181008-20181014)
泡泡机器人SLAM
4+阅读 · 2018年10月26日
【泡泡一分钟】用于深度双目的非监督适应方法(ICCV-2017)
泡泡机器人SLAM
10+阅读 · 2018年10月7日
【泡泡一分钟】学习紧密的几何特征(ICCV2017-17)
泡泡机器人SLAM
20+阅读 · 2018年5月8日
Object detection on aerial imagery using CenterNet
Arxiv
6+阅读 · 2019年8月22日
CoCoNet: A Collaborative Convolutional Network
Arxiv
6+阅读 · 2019年1月28日
Arxiv
7+阅读 · 2018年12月10日
Arxiv
8+阅读 · 2018年5月1日
Arxiv
8+阅读 · 2018年1月25日
VIP会员
Top
微信扫码咨询专知VIP会员