The difficulty of deploying various deep learning (DL) models on diverse DL hardwares has boosted the research and development of DL compilers in the community. Several DL compilers have been proposed from both industry and academia such as Tensorflow XLA and TVM. Similarly, the DL compilers take the DL models described in different DL frameworks as input, and then generate optimized codes for diverse DL hardwares as output. However, none of the existing survey has analyzed the unique design of the DL compilers comprehensively. In this paper, we perform a comprehensive survey of existing DL compilers by dissecting the commonly adopted design in details, with emphasis on the DL oriented multi-level IRs, and frontend/backend optimizations. Specifically, we provide a comprehensive comparison among existing DL compilers from various aspects. In addition, we present detailed analysis of the multi-level IR design and compiler optimization techniques. Finally, several insights are highlighted as the potential research directions of DL compiler. This is the first survey paper focusing on the unique design of DL compiler, which we hope can pave the road for future research towards the DL compiler.


翻译:在各种DL硬件上部署各种深层次学习(DL)模型的困难,促进了社区DL汇编者的研究和发展,从Tensorflow XLA和TVM等行业和学术界提出了若干DL汇编者,例如Tensorflow XLA和TVM。同样,DL汇编者将不同的DL框架描述的DL模型作为投入,然后为不同的DL硬件生成最佳代码作为输出。然而,现有的调查没有一项全面分析了DL汇编者的独特设计。在本文件中,我们对现有DL汇编者进行了全面调查,将共同采用的设计细分为细节,重点是DL导向的多层次IR,以及前端/后端优化。具体地说,我们从各方面对现有DL汇编者进行了全面比较。此外,我们提出了对多层次的IR设计和编译者优化技术的详细分析。最后,一些见解被强调为DL汇编者的潜在研究方向。这是第一份调查文件,重点是DL汇编者的独特设计,我们希望它能够为未来的研究铺路。

10
下载
关闭预览

相关内容

编译器(Compiler),是一种计算机程序,它会将用某种编程语言写成的源代码(原始语言),转换成另一种编程语言(目标语言)。
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
104+阅读 · 2019年10月12日
开源书:PyTorch深度学习起步
专知会员服务
41+阅读 · 2019年10月11日
强化学习最新教程,17页pdf
专知会员服务
97+阅读 · 2019年10月11日
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
【推荐】深度学习情感分析综述
机器学习研究会
57+阅读 · 2018年1月26日
【推荐】直接未来预测:增强学习监督学习
机器学习研究会
6+阅读 · 2017年11月24日
深度学习医学图像分析文献集
机器学习研究会
14+阅读 · 2017年10月13日
【论文】图上的表示学习综述
机器学习研究会
9+阅读 · 2017年9月24日
【推荐】深度学习目标检测全面综述
机器学习研究会
18+阅读 · 2017年9月13日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Anomalous Instance Detection in Deep Learning: A Survey
A Comprehensive Survey on Transfer Learning
Arxiv
105+阅读 · 2019年11月7日
AutoML: A Survey of the State-of-the-Art
Arxiv
56+阅读 · 2019年8月14日
Few-shot Learning: A Survey
Arxiv
345+阅读 · 2019年4月10日
Arxiv
44+阅读 · 2018年12月11日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Arxiv
11+阅读 · 2018年7月31日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
【推荐】深度学习情感分析综述
机器学习研究会
57+阅读 · 2018年1月26日
【推荐】直接未来预测:增强学习监督学习
机器学习研究会
6+阅读 · 2017年11月24日
深度学习医学图像分析文献集
机器学习研究会
14+阅读 · 2017年10月13日
【论文】图上的表示学习综述
机器学习研究会
9+阅读 · 2017年9月24日
【推荐】深度学习目标检测全面综述
机器学习研究会
18+阅读 · 2017年9月13日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
相关论文
Anomalous Instance Detection in Deep Learning: A Survey
A Comprehensive Survey on Transfer Learning
Arxiv
105+阅读 · 2019年11月7日
AutoML: A Survey of the State-of-the-Art
Arxiv
56+阅读 · 2019年8月14日
Few-shot Learning: A Survey
Arxiv
345+阅读 · 2019年4月10日
Arxiv
44+阅读 · 2018年12月11日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Arxiv
11+阅读 · 2018年7月31日
Top
微信扫码咨询专知VIP会员