VALSE 论文速览 第39期：基于搜索空间演进的网络结构搜索

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自澳大利亚悉尼大学等机构的网络结构搜索方面的工作。该工作由欧阳万里教授指导，次元政同学录制。

论文题目：基于搜索空间演进的网络结构搜索

作者列表：次元政 (悉尼大学)，林宸 (牛津大学)，孙明 (商汤科技)，陈博宇 (悉尼大学)，张鸿文 (中科院自动化所)，欧阳万里 (悉尼大学)

B站观看网址：

https://www.bilibili.com/video/BV11u411U7eq/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

神经网络结构设计的自动化一直作为一个目标来替代人类专家设计网络结构。许多网络结构索方法旨在于搜索空间中找到最佳网络结构。当搜索空间变大时，人们会期望搜索结果会有所改善，因为它可能包含更多的高性能候选结构。意外的是，我们观察到扩大搜索空间对现有的神经网络结构搜索 (NAS)方法无益甚至有害。这种现象表明，将现有方法用于大型搜索空间情景并非易事。然而，这个问题在现有文献中讨论较少。

本文提出了一种网络搜索空间演进 (NSE) 模式，这是第一个专为大空间网络结构搜索问题设计的网络结构搜索模式。一个设计良好且大小受限的搜索空间的必要性是现有方法的潜在要求，本文提出的 NSE 旨在最小化这种必要性。具体来说，NSE 从搜索空间子集开始，然后通过重复两个步骤来演化搜索空间：1) 在搜索空间子集中优化搜索空间，2) 于未遍历过的操作中采样重新填充该子集。本文通过引入可学习的多分支结构进一步扩展了可得架构的灵活性。本文所提出的方法在 ImageNet 上大幅度地减少了人为地对NAS搜索空间进行设计的必要性，同时取得了更好的结果。

论文信息：

[1] Yuanzheng Ci, Chen Lin, Ming Sun, Boyu Chen, Hongwen Zhang, and Wanli Ouyang. Evolving search space for neural architecture search. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pages 6659–6669, October 2021.

论文链接：

[https://openaccess.thecvf.com/content/ICCV2021/papers/Ci_Evolving_Search_Space_for_Neural_Architecture_Search_ICCV_2021_paper.pdf]

代码链接：

[https://github.com/orashi/NSE_NAS]

视频讲者简介：

次元政，悉尼大学博士生，导师为欧阳万里教授，研究方向为网络结构搜索，自监督学习。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：董宣毅 (Amazon)、谢凌曦 (华为数字技术有限公司)

季度责任AC：许永超 (武汉大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ R群，群号：137634472）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3、VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。

看到这了，确定不关注下吗？关注下再走吧～