quest for processing speed potential. In fact, we always get a fraction of the technically available computing power (so-called {\em theoretical peak}), and the gap is likely to go hand-to-hand with the hardware complexity of the target system. Among the key aspects of this complexity, we have: the {\em heterogeneity} of the computing units, the {\em memory hierarchy and partitioning} including the non-uniform memory access (NUMA) configuration, and the {\em interconnect} for data exchanges among the computing nodes. Scientific investigations and cutting-edge technical activities should ideally scale-up with respect to sustained performance. The special case of quantitative approaches for solving (large-scale) problems deserves a special focus. Indeed, most of common real-life problems, even when considering the artificial intelligence paradigm, rely on optimization techniques for the main kernels of algorithmic solutions. Mathematical programming and pure combinatorial methods are not easy to implement efficiently on large-scale supercomputers because of {\em irregular control flow}, {\em complex memory access patterns}, {\em heterogeneous kernels}, {\em numerical issues}, to name a few. We describe and examine our thoughts from the standpoint of large-scale supercomputers.


翻译:事实上,我们总能得到技术上可用的计算能力(所谓的理论高峰 ) 的一小部分,而这种差距很可能与目标系统的硬件复杂程度同步。在这种复杂性的关键方面,我们有:计算单位的 ~ 异质性, 记忆级和分区, 包括非统一的内存存访问(NUMA)配置, 以及计算节点之间数据交换的连接 。科学调查和尖端技术活动最好在持续业绩方面扩大规模。 解决(大规模)问题的量化方法的特例值得特别关注。 事实上,大多数常见的现实问题,即使考虑到人工智能模式,也依赖优化技术,用于算法解决方案的主要内核。 数学编程和纯组合方法不容易在大型超级计算机上高效地实施,因为超标准控制流 、 复杂的记忆访问模式 、 QQQQQQ 、 QQQQQQ 、 和 QQQQQQ 、 、 QQQQQQQ 、 QQQQQQ 、 和 QQQQQQQQQ 、 、 QQQQQQQQQQQ 、 、 QQQQQQQQQQQQQQQQQ 、Q 、QQQQ 。

0
下载
关闭预览

相关内容

商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
109+阅读 · 2020年5月15日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
已删除
将门创投
7+阅读 · 2018年4月25日
Arxiv
1+阅读 · 2021年8月24日
Arxiv
0+阅读 · 2021年8月22日
Arxiv
56+阅读 · 2021年5月3日
Arxiv
24+阅读 · 2021年1月25日
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
Large-Scale Study of Curiosity-Driven Learning
Arxiv
8+阅读 · 2018年8月13日
Arxiv
3+阅读 · 2018年2月24日
VIP会员
相关VIP内容
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
109+阅读 · 2020年5月15日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
已删除
将门创投
7+阅读 · 2018年4月25日
相关论文
Arxiv
1+阅读 · 2021年8月24日
Arxiv
0+阅读 · 2021年8月22日
Arxiv
56+阅读 · 2021年5月3日
Arxiv
24+阅读 · 2021年1月25日
A Survey of Deep Learning for Scientific Discovery
Arxiv
29+阅读 · 2020年3月26日
Large-Scale Study of Curiosity-Driven Learning
Arxiv
8+阅读 · 2018年8月13日
Arxiv
3+阅读 · 2018年2月24日
Top
微信扫码咨询专知VIP会员