Neural architecture search automates neural network design and has achieved state-of-the-art results in many deep learning applications. While recent literature has focused on designing networks to maximize accuracy, little work has been conducted to understand the compatibility of architecture design spaces to varying hardware. In this paper, we analyze the neural blocks used to build Once-for-All (MobileNetV3), ProxylessNAS and ResNet families, in order to understand their predictive power and inference latency on various devices, including Huawei Kirin 9000 NPU, RTX 2080 Ti, AMD Threadripper 2990WX, and Samsung Note10. We introduce a methodology to quantify the friendliness of neural blocks to hardware and the impact of their placement in a macro network on overall network performance via only end-to-end measurements. Based on extensive profiling results, we derive design insights and apply them to hardware-specific search space reduction. We show that searching in the reduced search space generates better accuracy-latency Pareto frontiers than searching in the original search spaces, customizing architecture search according to the hardware. Moreover, insights derived from measurements lead to notably higher ImageNet top-1 scores on all search spaces investigated.


翻译:虽然最近的文献侧重于设计网络以最大限度地提高准确性,但几乎没有开展什么工作来理解建筑设计空间与各种硬件的兼容性。在本文中,我们分析了用于构建“万事通”的神经构造块(MobileNetV3)、ProxlessNAS和ResNet家庭。根据广泛的剖析结果,我们得出设计洞察力并将其应用于硬件专用搜索空间的缩小。我们显示,在缩小的搜索空间搜索比在原始搜索空间搜索更能产生精确度比在高级搜索空间搜索,根据硬件对硬件进行定制化的建筑搜索。此外,从最高图像网络到高级搜索,从所有高级搜索到硬件搜索。

0
下载
关闭预览

相关内容

【如何做研究】How to research ,22页ppt
专知会员服务
108+阅读 · 2021年4月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
CCF推荐 | 国际会议信息10条
Call4Papers
8+阅读 · 2019年5月27日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
重磅!MobileNetV3 来了!
计算机视觉life
4+阅读 · 2019年5月11日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
AutoML与轻量模型大列表
专知
8+阅读 · 2019年4月29日
移动端机器学习资源合集
专知
8+阅读 · 2019年4月21日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
Arxiv
8+阅读 · 2020年6月15日
Neural Architecture Optimization
Arxiv
8+阅读 · 2018年9月5日
Arxiv
12+阅读 · 2018年9月5日
VIP会员
相关资讯
CCF推荐 | 国际会议信息10条
Call4Papers
8+阅读 · 2019年5月27日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
重磅!MobileNetV3 来了!
计算机视觉life
4+阅读 · 2019年5月11日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
AutoML与轻量模型大列表
专知
8+阅读 · 2019年4月29日
移动端机器学习资源合集
专知
8+阅读 · 2019年4月21日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
相关论文
Neural Architecture Search without Training
Arxiv
10+阅读 · 2021年6月11日
Arxiv
8+阅读 · 2020年6月15日
Neural Architecture Optimization
Arxiv
8+阅读 · 2018年9月5日
Arxiv
12+阅读 · 2018年9月5日
Top
微信扫码咨询专知VIP会员