【综述】IBM 自动机器学习网络架构搜索最新综述,附45页全文下载

【导读】自动机器学习方向热度高涨,近日,IBM 沃森研究中心发表综述性文章,主要聚焦于网络架构搜索问题,特此整理如下,可与上周专知推送的AutoML搭配阅读。

原文链接:
https://arxiv.org/abs/1905.01392

【综述】自动机器学习AutoML最新65页综述,带你了解最新进展


介绍:


人们对AutoML的兴趣越来越强烈,这将对神经架构优化领域起到强大的推动作用。事实证明,网络架构的选择,对模型性能至关重要。另外,由于深度学习技术的计算密集型特点,构建实际应用的过程中需要引入很强的领域知识。因此,对于领域专家来说,从头开始深度学习模型的搭建有一定难度,这也使得AutoML技术具有非常广阔的前景。


目前,深度学习自动化是机器学习领域增长速度最快的研究方向。每周,在arxiv社区上均会发表大量有趣的信息研究成果,这也让研究人员很难做到完全的跟踪。为此,通过本文,我们对网络架构搜索问题,提供了一种形式化的描述,对现有的技术进行了统一的分类,并对单个技术进行了详细的分析。在本文中,我们讨论了基于强化学习和进化算法原理的常见架构优化算法,另外,我们还讨论了新的研究方向,包括约束和多目标架构搜索,及自动数据增强、优化器和激活函数搜索等。


本文结构:

  • 神经架构搜索空间

    • 全局搜索空间

    • Cell-Based搜索空间

    • 全局与Cell-Based搜索空间

    • Recurrent Cells搜索空间

  • 优化方法

    • 强化学习

    • 进化算法

    • 基于代理模型的优化

    • One-Shot架构搜索

    • 总结

  • 约束与多目标

    • 约束优化

    • 多目标优化

  • 其他相关工作

  • 关于神经架构搜索方法的观点以及未来应用

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“AMLNAS” 就可以获取最新综述 下载链接~ 


附文章全文:

更多内容,请下载观看

-END-

专 · 知

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成!530+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

展开全文
Top
微信扫码咨询专知VIP会员