技术控 | Spark SQL优化与硬件选型

点击上方“蓝字”可以关注我们哦

程浩 

Intel亚太研发中心Spark团队研发经理

嘉宾介绍

Intel亚太研发中心Spark团队研发经理，Apache Spark活跃开发者，致力于Spark框架在Intel平台架构上的性能分析与优化。

■议题简介

Spark SQL优化与硬件选型

在Spark大数据应用中，如何让硬件得到更好的效能发挥和更高的性价比一直是我们关心的话题。如何收集硬件利用率和Spark应用程序性能瓶颈分析；当新硬件采购时，如何验证怎样的硬件配置对Spark应用可以有最佳的效能或者最好的性价比。在这个主题中，我们将展示不同特性的典型Spark应用的性能分析和调优手段，揭示如何释放硬件资源，监控硬件性能发挥，并在此基础上，测试不同硬件配置诸如内存、网络、磁盘、CPU选型，对于Spark大数据应用程序性能的影响，指导运维人员决策购买或者升级新的硬件零部件时候，可能可以采取的测试验证方法。此外，我们也将比较Spark应用程序在物理机、虚拟机以及容器技术下的性能分析和对比，提供大数据应用部署在不同基础设施架构下的硬件性价比参考。

品读之后，

愿享同感。

by.数据库技术大会