商研丨ICLR 2019论文解读：随机神经网络结构搜索 (SNAS)

近日，商汤科技研究院发表论文《随机神经网络结构搜索》（SNAS，Stochastic Neural Architecture Search），已被深度学习会议ICLR（International Conference Of Learning Representation）录用。

该论文提出了一种全新的经济、高效且自动化程度高的神经网络结构搜索（NAS）方法，受到深度学习学术领域的广泛关注。

NAS是自动机器学习（AutoML）中的热点问题之一，通过设计经济高效的搜索方法，自动获得泛化能力强、硬件友好的神经网络结构，可以大量降低研发成本，解放研究员的创造力。

在经典的NAS方法中，逐层搭建神经网络的过程被建模成一个强化学习（Reinforcement Learning）智能体的马尔可夫决策过程（MDP ,Markov Decision Process）。

商汤科技研究团队通过深入分析NAS任务的MDP，回答了上述问题，并提出了一个更高效的方法——随机神经网络结构搜索，重新建模了NAS问题。与基于强化学习的方法（ENAS）相比，SNAS的搜索优化可微分，搜索效率更高。

与其他可微分的方法（DARTS）相比，SNAS直接优化NAS任务的目标函数，搜索结果偏差更小。此外，基于SNAS保持了随机性（Stochasticity）的优势，该论文进一步提出同时优化网络损失函数的期望和网络正向时延的期望，自动生成硬件友好的稀疏网络。

此外，商汤科技去年于CVPR发表Oral论文《深度增强学习自动网络结构设计》，提出了一种高效算法，通过强化学习来自动设计最优的网络结构。随着商汤科技通用基础算法的发展，在将来，SNAS可以解决更多特定数据和特殊的硬件应用场景的神经网络结构自动定制化需求。

查看完整论文解读，请点击“阅读原文”。