Although mixed precision arithmetic has recently garnered interest for training dense neural networks, many other applications could benefit from the speed-ups and lower storage cost if applied appropriately. The growing interest in employing mixed precision computations motivates the need for rounding error analysis that properly handles behavior from mixed precision arithmetic. We develop mixed precision variants of existing Householder QR algorithms and show error analyses supported by numerical experiments.


翻译:虽然混合精密算术最近吸引了对密集神经网络培训的兴趣,但许多其他应用软件如果应用得当,也可以受益于超速和较低的储存成本。 使用混合精确计算法的兴趣日益增长,这促使有必要进行四舍五入的错误分析,从混合精确算法中正确处理行为。 我们开发了现有住户QR算法的混合精密变量,并展示了由数字实验支持的错误分析。

0
下载
关闭预览

相关内容

【上海交大】<操作系统> 2021课程,附课件
专知会员服务
41+阅读 · 2021年4月3日
专知会员服务
50+阅读 · 2020年12月14日
【经典书】统计学习导论,434页pdf,斯坦福大学
专知会员服务
234+阅读 · 2020年4月29日
已删除
将门创投
6+阅读 · 2019年9月3日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
误差反向传播——RNN
统计学习与视觉计算组
18+阅读 · 2018年9月6日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年4月16日
VIP会员
相关VIP内容
【上海交大】<操作系统> 2021课程,附课件
专知会员服务
41+阅读 · 2021年4月3日
专知会员服务
50+阅读 · 2020年12月14日
【经典书】统计学习导论,434页pdf,斯坦福大学
专知会员服务
234+阅读 · 2020年4月29日
相关资讯
已删除
将门创投
6+阅读 · 2019年9月3日
深度卷积神经网络中的降采样
极市平台
12+阅读 · 2019年5月24日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
误差反向传播——RNN
统计学习与视觉计算组
18+阅读 · 2018年9月6日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员