在过去的十年中,深度学习的进步导致了从计算机视觉到自然语言理解到语音识别等多个领域的突破。虽然深度学习的兴起有很多因素,但高性能神经结构的设计对其成功至关重要。神经结构搜索(Neural architecture search, NAS)是对给定任务的结构进行自动化设计的过程,在过去的两年里,它得到了飞速的发展,发表了1200多篇论文,导致人工设计的结构被自动设计的结构所超越。在本教程中,我们将提供一个有组织且易于遵循的NAS指南。我们调研了搜索空间、黑箱优化技术、权重共享技术、加速技术、扩展和应用。对于每个主题,除了前沿趋势之外,我们还仔细描述了基本原理。我们通过描述NAS研究的最佳实践、资源和有前景的未来方向来总结。

https://crwhite.ml/

成为VIP会员查看完整内容
32

相关内容

谷歌大脑《自动强化学习》教程,81页ppt!
专知会员服务
66+阅读 · 2022年8月15日
专知会员服务
38+阅读 · 2021年6月29日
专知会员服务
56+阅读 · 2021年2月12日
最新《神经架构搜索NAS》报告,附46页ppt与视频
专知会员服务
33+阅读 · 2020年12月30日
【NeurIPS 2020】近似推断进展,272页ppt
专知会员服务
32+阅读 · 2020年12月11日
「神经结构搜索NAS」最新2022综述
专知
5+阅读 · 2022年1月12日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
69+阅读 · 2022年6月13日
Arxiv
35+阅读 · 2022年3月14日
Arxiv
14+阅读 · 2021年8月5日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
10+阅读 · 2018年3月22日
VIP会员
相关VIP内容
谷歌大脑《自动强化学习》教程,81页ppt!
专知会员服务
66+阅读 · 2022年8月15日
专知会员服务
38+阅读 · 2021年6月29日
专知会员服务
56+阅读 · 2021年2月12日
最新《神经架构搜索NAS》报告,附46页ppt与视频
专知会员服务
33+阅读 · 2020年12月30日
【NeurIPS 2020】近似推断进展,272页ppt
专知会员服务
32+阅读 · 2020年12月11日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
相关论文
Arxiv
69+阅读 · 2022年6月13日
Arxiv
35+阅读 · 2022年3月14日
Arxiv
14+阅读 · 2021年8月5日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
10+阅读 · 2018年3月22日
微信扫码咨询专知VIP会员