【综述】IBM 自动机器学习网络架构搜索最新综述,附45页全文下载

2019 年 5 月 8 日 专知

【导读】自动机器学习方向热度高涨,近日,IBM 沃森研究中心发表综述性文章,主要聚焦于网络架构搜索问题,特此整理如下,可与上周专知推送的AutoML搭配阅读。

原文链接:
https://arxiv.org/abs/1905.01392

【综述】自动机器学习AutoML最新65页综述,带你了解最新进展


介绍:


人们对AutoML的兴趣越来越强烈,这将对神经架构优化领域起到强大的推动作用。事实证明,网络架构的选择,对模型性能至关重要。另外,由于深度学习技术的计算密集型特点,构建实际应用的过程中需要引入很强的领域知识。因此,对于领域专家来说,从头开始深度学习模型的搭建有一定难度,这也使得AutoML技术具有非常广阔的前景。


目前,深度学习自动化是机器学习领域增长速度最快的研究方向。每周,在arxiv社区上均会发表大量有趣的信息研究成果,这也让研究人员很难做到完全的跟踪。为此,通过本文,我们对网络架构搜索问题,提供了一种形式化的描述,对现有的技术进行了统一的分类,并对单个技术进行了详细的分析。在本文中,我们讨论了基于强化学习和进化算法原理的常见架构优化算法,另外,我们还讨论了新的研究方向,包括约束和多目标架构搜索,及自动数据增强、优化器和激活函数搜索等。


本文结构:

  • 神经架构搜索空间

    • 全局搜索空间

    • Cell-Based搜索空间

    • 全局与Cell-Based搜索空间

    • Recurrent Cells搜索空间

  • 优化方法

    • 强化学习

    • 进化算法

    • 基于代理模型的优化

    • One-Shot架构搜索

    • 总结

  • 约束与多目标

    • 约束优化

    • 多目标优化

  • 其他相关工作

  • 关于神经架构搜索方法的观点以及未来应用

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“AMLNAS” 就可以获取最新综述 下载链接~ 


附文章全文:

更多内容,请下载观看

-END-

专 · 知

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成!530+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
19

相关内容

自动机器学习(AutoML)是将机器学习应用于实际问题的过程的自动化过程。AutoML涵盖了从原始数据集到可部署的机器学习模型的完整管道。提出将AutoML作为基于人工智能的解决方案来应对不断增长的应用机器学习的挑战。 AutoML的高度自动化允许非专家使用机器学习模型和技术,而无需首先成为该领域的专家。 从机器学习角度讲,AutoML 可以看作是一个在给定数据和任务上学习和泛化能力非常强大的系统。但是它强调必须非常容易使用;从自动化角度讲,AutoML 则可以看作是设计一系列高级的控制系统去操作机器学习模型,使得模型可以自动化地学习到合适的参数和配置而无需人工干预。
专知会员服务
72+阅读 · 2020年5月21日
专知会员服务
98+阅读 · 2020年3月19日
中文知识图谱构建技术以及应用的综述
专知会员服务
305+阅读 · 2019年10月19日
深度学习视频中多目标跟踪:论文综述
专知会员服务
89+阅读 · 2019年10月13日
自动机器学习:最新进展综述
专知会员服务
115+阅读 · 2019年10月13日
【综述】视频摘要最新综述文章,附45页综述全文下载
专知会员服务
33+阅读 · 2019年9月20日
【综述】生成式对抗网络GAN最新进展综述
专知
57+阅读 · 2019年6月5日
神经网络架构搜索(NAS)综述 | 附AutoML资料推荐
Image Segmentation Using Deep Learning: A Survey
Arxiv
42+阅读 · 2020年1月15日
AutoML: A Survey of the State-of-the-Art
Arxiv
67+阅读 · 2019年8月14日
Arxiv
135+阅读 · 2018年10月8日
Arxiv
12+阅读 · 2018年9月5日
VIP会员
相关VIP内容
专知会员服务
72+阅读 · 2020年5月21日
专知会员服务
98+阅读 · 2020年3月19日
中文知识图谱构建技术以及应用的综述
专知会员服务
305+阅读 · 2019年10月19日
深度学习视频中多目标跟踪:论文综述
专知会员服务
89+阅读 · 2019年10月13日
自动机器学习:最新进展综述
专知会员服务
115+阅读 · 2019年10月13日
【综述】视频摘要最新综述文章,附45页综述全文下载
专知会员服务
33+阅读 · 2019年9月20日
Top
微信扫码咨询专知VIP会员