题目: Speedup Your Analytics: Automatic Parameter Tuning for Databases and Big Data Systems
简介: Hadoop和Spark等数据库和大数据分析系统具有大量配置参数,这些参数控制着内存分配,I / O优化,并行性和压缩。 不正确的参数设置会导致严重的性能下降和稳定性问题。 但是,普通用户甚至专家管理员都难以理解和调整他们以取得良好的性能。 在本教程中,我们回顾了有关数据库,Hadoop和Spark的自动参数调整的现有方法,我们将其分为六类:基于规则,成本模型,基于模拟,实验驱动,机器学习和自适应调整。 我们描述了不同的自动参数调整算法的基础,并介绍了每种方法的优缺点。
嘉宾介绍: Jiaheng Lu,芬兰赫尔辛基大学的副教授。他的主要研究兴趣在于大数据管理和数据库系统,尤其是对来自现实生活中的高效数据处理,海量数据存储库和Web的挑战。 他撰写了四本有关Hadoop和NoSQL数据库的书,并在SIGMOD,VLDB,TODS和TKDE等上发表了70多篇期刊和会议论文。
Herodotos Herodotou是塞浦路斯科技大学(CUT)的助理教授。 他的研究兴趣是大规模数据处理系统,数据库系统和云计算。 特别是,他的工作集中于集中式和分布式数据密集型计算系统的自动性能调整。
Shivnath Babu是Unravel Data Systems的CTO和杜克大学的兼职教授。 他的研究专注于数据密集型系统的易用性和可管理性,自动问题诊断以及在云平台上运行的应用程序的群集大小确定。 Shivnath共同创立了Unravel,以解决公司采用Hadoop和Spark等系统时面临的应用程序管理难题。 Unravel起源于Duke建立的Starfish平台,该平台已被100多家公司下载。 Shivnath赢得了美国国家科学基金会职业奖,三个IBM教授奖和一个HP Labs创新研究奖。