在线研讨会 | 如何利用Retiarii优化网络结构搜索？

传统的深度学习框架，如 TensorFlow 和 PyTorch，仅支持开发单个具体的神经网络，而研究人员往往需要探索一类神经网络结构。微软自动机器学习工具NNI（Neural Network Intelligence）集成的“探索性训练”框架 Retiarii 能够帮助用户灵活、自由地表示各种搜索空间、重用前沿搜索算法，并利用系统级优化加速搜索过程。

Retiarii将神经网络的开发看成一系列网络模型的“变形”（Mutation），这一系列变形组成了在网络空间（Model Space）内的搜索过程。Retiarii 提出将“变形器”（Mutator）作为基本编程范式，神经网络开发人员可以利用“变形器”对基础网络进行编程变形，如增加或删除某个网络节点。在每次变形时，“变形器”通过选择（choose()）接口将网络变形的选择权交给“探索策略”（Exploration Strategy），甚至可以实时地交给开发者本人。由此，整个探索性训练将一系列的“变形器”作用于一个基础网络上，并交由探索策略来驱动整个探索过程。

Retiarii 通过单个变形器的抽象将 DNN 模型空间、探索策略和跨模型优化完美地分离开来，能够简化编程过程，重用各个组件，极大地改善整个探索性训练过程的效率，在实验中达到了8.58倍的搜索加速。

6月24日，微软亚洲研究院主管研究员张权路和研究产品主管李东兵将在线为大家全面介绍 Retiarii 的“前世今生”，并分享怎样在 NNI 上实现 Retiarii，以及如何用 NNI 工具包设计最先进的网络结构搜索（NAS）。

扫描下方二维码或访问链接了解详情和报名参加：

https://note.microsoft.com/MSR-Webinar-Retiarii-Registration-Live.html

你也许还想看：