In this paper, we describe a hierarchy of program transformers in which the transformer at each level of the hierarchy builds on top of those at lower levels. The program transformer at level 1 of the hierarchy corresponds to positive supercompilation, and that at level 2 corresponds to distillation. We prove that the transformers at each level terminate. We then consider the speedups that can be obtained at each level in the hierarchy, and try to characterise the improvements that can be made.


翻译:在本文中, 我们描述一个程序变压器的等级, 使等级的各级变压器在较低等级的变压器之上建起。 等级的一级变压器对应正超合成, 2级的变压器对应蒸馏。 我们证明每个等级的变压器终止了。 然后我们考虑在等级的每个级别上可以得到的加速, 并尝试描述可以作出的改进。

0
下载
关闭预览

相关内容

专知会员服务
75+阅读 · 2021年9月27日
最新《Transformers模型》教程,64页ppt
专知会员服务
308+阅读 · 2020年11月26日
少即是多?非参数语言模型,68页ppt
专知会员服务
23+阅读 · 2020年11月22日
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
103+阅读 · 2020年8月30日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
和积网络综述论文,Sum-product networks: A survey,24页pdf
专知会员服务
23+阅读 · 2020年4月3日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
Transformer中的相对位置编码
AINLP
5+阅读 · 2020年11月28日
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年9月30日
Arxiv
20+阅读 · 2021年9月21日
Arxiv
103+阅读 · 2021年6月8日
Arxiv
23+阅读 · 2020年9月16日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Music Transformer
Arxiv
5+阅读 · 2018年12月12日
VIP会员
相关VIP内容
专知会员服务
75+阅读 · 2021年9月27日
最新《Transformers模型》教程,64页ppt
专知会员服务
308+阅读 · 2020年11月26日
少即是多?非参数语言模型,68页ppt
专知会员服务
23+阅读 · 2020年11月22日
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
103+阅读 · 2020年8月30日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
和积网络综述论文,Sum-product networks: A survey,24页pdf
专知会员服务
23+阅读 · 2020年4月3日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
相关资讯
Transformer中的相对位置编码
AINLP
5+阅读 · 2020年11月28日
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【推荐】自然语言处理(NLP)指南
机器学习研究会
35+阅读 · 2017年11月17日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
0+阅读 · 2021年9月30日
Arxiv
20+阅读 · 2021年9月21日
Arxiv
103+阅读 · 2021年6月8日
Arxiv
23+阅读 · 2020年9月16日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Music Transformer
Arxiv
5+阅读 · 2018年12月12日
Top
微信扫码咨询专知VIP会员