VALSE 论文速览 第44期：带有批归一化的网络架构搜索

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自悉尼大学等单位的快速网络结构搜索算法方面的工作。该工作由欧阳万里副教授指导，陈博宇同学录制。

论文题目：BN-NAS: Neural Architecture Search with Batch Normalization

作者列表：陈博宇 (悉尼大学)，李佩霞 (悉尼大学)，李抱朴 (百度美国研究院)，林宸 (牛津大学)，李楚鸣 (商汤科技，悉尼大学)，孙明 (商汤科技)，闫俊杰 (商汤科技)，欧阳万里 (悉尼大学)

B站观看网址：

https://www.bilibili.com/video/BV12q4y1k7Cs/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

我们提出了BNNAS，使用批归一化操作进行的网络结构搜索算法，大幅加速了网络结构搜索的过程。BNNAS可以显著地减少在网络结构搜索中模型训练以及评估所需要的用时。特别地，针对模型的评估，我们提出了BN指示器用于在训练的早期阶段进行网络性能的评估。此外，BN指示器也使得我们可以在超网训练时只进行BN参数的训练，从而大幅提升训练效率。我们发现训练超网的所有参数并不是一件必要的事情，只训练BN参数对于网络结构搜索来说反而会加速网络的收敛。大量的实验表明了我们的方法可以在保持性能不变的前提下，大幅提升网络结构搜索的效率：超网搜索阶段的效率提升超过10倍，子网搜索阶段的效率超过60万倍。

论文信息：

[1] Chen B, Li P, Li B, et al. Bn-nas: Neural architecture search with batch normalization[C] /Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 307-316.

论文链接：

[https://openaccess.thecvf.com/content/ICCV2021/papers/Chen_BN-NAS_Neural_Architecture_Search_With_Batch_Normalization_ICCV_2021_paper.pdf]

代码链接：

https://github.com/bychen515/BNNAS

视频讲者简介：

陈博宇，悉尼大学博士生三年级。研究方向为计算机视觉和图像处理，目前专注于神经网络结构搜索及图像特征学习。已在ICCV，ECCV等国际顶级会议上发表多篇文章。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：董宣毅 (Amazon)、谢凌曦 (华为数字技术有限公司)

季度责任AC：许永超 (武汉大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ R群，群号：137634472）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。

看到这了，确定不关注下吗？关注下再走吧～