【导读】自动机器学习方向热度高涨,近日,IBM 沃森研究中心发表综述性文章,主要聚焦于网络架构搜索问题,特此整理如下,可与上周专知推送的AutoML搭配阅读。
原文链接: https://arxiv.org/abs/1905.01392
【综述】自动机器学习AutoML最新65页综述,带你了解最新进展
介绍:
人们对AutoML的兴趣越来越强烈,这将对神经架构优化领域起到强大的推动作用。事实证明,网络架构的选择,对模型性能至关重要。另外,由于深度学习技术的计算密集型特点,构建实际应用的过程中需要引入很强的领域知识。因此,对于领域专家来说,从头开始深度学习模型的搭建有一定难度,这也使得AutoML技术具有非常广阔的前景。
目前,深度学习自动化是机器学习领域增长速度最快的研究方向。每周,在arxiv社区上均会发表大量有趣的信息研究成果,这也让研究人员很难做到完全的跟踪。为此,通过本文,我们对网络架构搜索问题,提供了一种形式化的描述,对现有的技术进行了统一的分类,并对单个技术进行了详细的分析。在本文中,我们讨论了基于强化学习和进化算法原理的常见架构优化算法,另外,我们还讨论了新的研究方向,包括约束和多目标架构搜索,及自动数据增强、优化器和激活函数搜索等。
本文结构:
神经架构搜索空间
全局搜索空间
Cell-Based搜索空间
全局与Cell-Based搜索空间
Recurrent Cells搜索空间
优化方法
强化学习
进化算法
基于代理模型的优化
One-Shot架构搜索
总结
约束与多目标
约束优化
多目标优化
其他相关工作
关于神经架构搜索方法的观点以及未来应用
请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),
后台回复“AMLNAS” 就可以获取最新综述 下载链接~
附文章全文:
更多内容,请下载观看
-END-
专 · 知
专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!
请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~
专知《深度学习:算法到实战》课程全部完成!530+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!
点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程