VALSE 论文速览 第13期：基准化分析网络结构搜索算法在拓扑结构和网络尺寸上的应用

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周二和周五各发布一篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自悉尼科技大学（UTS）的工作。该工作由悉尼科技大学研究员董宣毅录制，将为大家呈现神经网络结构搜索领域的进展。

论文题目：基准化分析网络结构搜索算法在拓扑结构和网络尺寸上的应用

作者列表：Xuanyi Dong (UTS), Lu Liu (UTS), Katarzyna Musial (UTS), Bogdan Gabrys (UTS)

B站观看网址：

https://www.bilibili.com/video/BV1Pb4y127Cy/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

网络结构搜索算法吸引了诸多注意，近年来在大量的应用中展示了显著的益处。神经网络的拓扑结和尺寸大小被视为影响深度学习模型性能的两个（最）重要因素。目前已经有很多搜索网络结构或者尺寸的算法被提出。然而，很多搜索算法带来的性能提升是在不同的搜索空间和训练设置下达到的。这使得，在某种程度上，这些算法的整体性能是不可比的，来自算法中每个子模块带来的性能提升不甚清晰。在本文中，我们提出了NATS-Bench，一个针对搜索网络拓扑结构和尺寸的统一基准，该基准对任何网络搜索算法都适用。NATS-Bench包含了一个包含15625种不同网络拓扑的搜索空间和一个包含了32768种不同网络尺寸的搜索空间。两个空间中近五万种候选网络都在3个数据集上进行充分的训练和测试。我们在多种指标和性能对比下分析了我们NATS-Bench的有效性。我们也通过基准分析13种最近的网络结构搜索算法验证了NATS-Bench的多功能性。每个候选网络的所有训练测试日志和各种诊断信息都在NATS-Bench中提供了。这促进了一个更大的科研社区来专注于研发更好的网络结构搜索算法，在一个更加可比的和计算友好环境中。所有的代码都已在github.com/D-X-Y/NATS-Bench和github.com/D-X-Y/AutoDL-Projects内开源。该文章于年初被IEEE TPAMI所收录。

论文信息：

[1] Xuanyi Dong, Lu Liu, Katarzyna Musial, Bogdan Gabrys, “NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size,” in IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI), Jan 2021.

论文链接：

[https://ieeexplore.ieee.org/document/9336247]

[https://arxiv.org/abs/2009.00437]

项目主页：

[https://github.com/D-X-Y/NATS-Bench]

[https://github.com/D-X-Y/AutoDL-Projects]

视频讲者简介：

董宣毅，悉尼科技大学计算机系四年级博士生。他在科技企业，如谷歌，脸书，百度等，有五年的业界经验。读博期间在CVPR/NeurIPS/ICLR/TPAMI等顶会顶刊发表文章20+篇，谷歌引用2500余次。曾分别在2019年和2020年获得过Google Ph.D. Fellowship和百度奖学金。

特别鸣谢本次论文速览主要组织者：

月度轮值AC：沈为 (上海交通大学)、赵恒爽 (牛津大学)

季度责任AC：王兴刚 (华中科技大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/ 

2、VALSE Webinar活动通常每周三晚上20:00进行，但偶尔会因为讲者时区问题略有调整，为方便您参加活动，请关注VALSE微信公众号：valse_wechat 或加入VALSE QQ R群，群号：137634472）；

*注：申请加入VALSE QQ群时需验证姓名、单位和身份，缺一不可。入群后，请实名，姓名身份单位。身份：学校及科研单位人员T；企业研发I；博士D；硕士M。

3. VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网每期报告通知的最下方更新。

看到这了，确定不关注下吗？关注下再走吧～