题目: Speedup Your Analytics: Automatic Parameter Tuning for Databases and Big Data Systems

简介: Hadoop和Spark等数据库和大数据分析系统具有大量配置参数,这些参数控制着内存分配,I / O优化,并行性和压缩。 不正确的参数设置会导致严重的性能下降和稳定性问题。 但是,普通用户甚至专家管理员都难以理解和调整他们以取得良好的性能。 在本教程中,我们回顾了有关数据库,Hadoop和Spark的自动参数调整的现有方法,我们将其分为六类:基于规则,成本模型,基于模拟,实验驱动,机器学习和自适应调整。 我们描述了不同的自动参数调整算法的基础,并介绍了每种方法的优缺点。

嘉宾介绍: Jiaheng Lu,芬兰赫尔辛基大学的副教授。他的主要研究兴趣在于大数据管理和数据库系统,尤其是对来自现实生活中的高效数据处理,海量数据存储库和Web的挑战。 他撰写了四本有关Hadoop和NoSQL数据库的书,并在SIGMOD,VLDB,TODS和TKDE等上发表了70多篇期刊和会议论文。

Herodotos Herodotou是塞浦路斯科技大学(CUT)的助理教授。 他的研究兴趣是大规模数据处理系统,数据库系统和云计算。 特别是,他的工作集中于集中式和分布式数据密集型计算系统的自动性能调整。

Shivnath Babu是Unravel Data Systems的CTO和杜克大学的兼职教授。 他的研究专注于数据密集型系统的易用性和可管理性,自动问题诊断以及在云平台上运行的应用程序的群集大小确定。 Shivnath共同创立了Unravel,以解决公司采用Hadoop和Spark等系统时面临的应用程序管理难题。 Unravel起源于Duke建立的Starfish平台,该平台已被100多家公司下载。 Shivnath赢得了美国国家科学基金会职业奖,三个IBM教授奖和一个HP Labs创新研究奖。

成为VIP会员查看完整内容
5

相关内容

Shivnath Babu是Unravel Data Systems的CTO和杜克大学的兼职教授。 他的研究专注于数据密集型系统的易用性和可管理性,自动问题诊断以及在云平台上运行的应用程序的群集大小确定。 Shivnath共同创立了Unravel,以解决公司采用Hadoop和Spark等系统时面临的应用程序管理难题。 Unravel起源于Duke建立的Starfish平台,该平台已被100多家公司下载。 Shivnath赢得了美国国家科学基金会职业奖,三个IBM教授奖和一个HP Labs创新研究奖。
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
57+阅读 · 2019年12月21日
分布式智能计算系统前沿
中国计算机学会
17+阅读 · 2019年10月8日
CNCC技术论坛丨新型持久内存系统与安全
中国计算机学会
7+阅读 · 2019年9月15日
CCFTF17(上海):认知计算产业化如何落地
中国计算机学会
4+阅读 · 2019年4月28日
“联邦学习”实现“共同富裕”?来TF“共同富裕”!
中国计算机学会
5+阅读 · 2019年3月12日
AutoML 坏掉了
云头条
4+阅读 · 2019年2月20日
Forge:如何管理你的机器学习实验
专知
11+阅读 · 2018年12月1日
报名 | 知识图谱前沿技术课程(苏州大学站)
PaperWeekly
12+阅读 · 2017年11月27日
Arxiv
4+阅读 · 2019年4月17日
Arxiv
3+阅读 · 2018年3月2日
Arxiv
12+阅读 · 2018年1月12日
VIP会员
相关VIP内容
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
57+阅读 · 2019年12月21日
相关资讯
分布式智能计算系统前沿
中国计算机学会
17+阅读 · 2019年10月8日
CNCC技术论坛丨新型持久内存系统与安全
中国计算机学会
7+阅读 · 2019年9月15日
CCFTF17(上海):认知计算产业化如何落地
中国计算机学会
4+阅读 · 2019年4月28日
“联邦学习”实现“共同富裕”?来TF“共同富裕”!
中国计算机学会
5+阅读 · 2019年3月12日
AutoML 坏掉了
云头条
4+阅读 · 2019年2月20日
Forge:如何管理你的机器学习实验
专知
11+阅读 · 2018年12月1日
报名 | 知识图谱前沿技术课程(苏州大学站)
PaperWeekly
12+阅读 · 2017年11月27日
微信扫码咨询专知VIP会员