面向大数据处理框架的JVM优化技术综述

2021 年 11 月 27 日 专知


当前,以Hadoop、Spark为代表的大数据处理框架,已经在学术界和工业界被广泛应用于大规模数据的处理和分析.这些大数据处理框架采用分布式架构,使用Java、Scala等面向对象语言编写,在集群节点上以Java虚拟机(JVM)为运行时环境执行计算任务,因此依赖JVM的自动内存管理机制来分配和回收数据对象.然而,当前的JVM并不是针对大数据处理框架的计算特征设计的,在实际运行大数据应用时经常出现垃圾回收(GC)时间长、数据对象序列化和反序列化开销大等问题.在一些大数据场景下,JVM的垃圾回收耗时甚至超过应用整体运行时间的50%,已经成为大数据处理框架的性能瓶颈和优化热点.本文对近年来相关领域的研究成果进行了系统性综述:(1)总结了大数据应用在JVM中运行时性能下降的原因;(2)总结了现有面向大数据处理框架的JVM优化技术,对相关优化技术进行了层次划分,并分析比较了各种方法的优化效果、适用范围、使用负担等优缺点;(3)探讨了JVM未来的优化方向,有助于进一步提升大数据处理框架的性能.


http://www.jos.org.cn/jos/article/abstract/6502



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“JVMO” 就可以获取面向大数据处理框架的JVM优化技术综述》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
0

相关内容

深度神经网络FPGA设计进展、实现与展望
专知会员服务
32+阅读 · 2022年3月21日
面向行人重识别的局部特征研究进展、挑战与展望
专知会员服务
26+阅读 · 2021年10月13日
专知会员服务
26+阅读 · 2021年8月24日
专知会员服务
30+阅读 · 2021年6月18日
图计算加速架构综述
专知会员服务
47+阅读 · 2021年4月5日
专知会员服务
64+阅读 · 2021年3月23日
专知会员服务
46+阅读 · 2020年11月20日
专知会员服务
104+阅读 · 2020年10月27日
专知会员服务
44+阅读 · 2020年8月20日
专知会员服务
78+阅读 · 2020年8月4日
开放型对话技术研究综述
专知
1+阅读 · 2021年12月28日
深度学习中的单阶段小目标检测方法综述
专知
0+阅读 · 2021年11月23日
面向任务型的对话系统研究进展
专知
0+阅读 · 2021年11月17日
FPGA加速深度学习综述
专知
3+阅读 · 2021年11月13日
基于深度学习的行人检测方法综述
专知
1+阅读 · 2021年4月14日
约束进化算法及其应用研究综述
专知
0+阅读 · 2021年4月12日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
领域知识图谱研究综述
专知
15+阅读 · 2020年8月2日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月17日
Arxiv
30+阅读 · 2021年3月29日
Arxiv
42+阅读 · 2019年12月20日
Arxiv
12+阅读 · 2018年9月5日
VIP会员
相关VIP内容
深度神经网络FPGA设计进展、实现与展望
专知会员服务
32+阅读 · 2022年3月21日
面向行人重识别的局部特征研究进展、挑战与展望
专知会员服务
26+阅读 · 2021年10月13日
专知会员服务
26+阅读 · 2021年8月24日
专知会员服务
30+阅读 · 2021年6月18日
图计算加速架构综述
专知会员服务
47+阅读 · 2021年4月5日
专知会员服务
64+阅读 · 2021年3月23日
专知会员服务
46+阅读 · 2020年11月20日
专知会员服务
104+阅读 · 2020年10月27日
专知会员服务
44+阅读 · 2020年8月20日
专知会员服务
78+阅读 · 2020年8月4日
相关资讯
开放型对话技术研究综述
专知
1+阅读 · 2021年12月28日
深度学习中的单阶段小目标检测方法综述
专知
0+阅读 · 2021年11月23日
面向任务型的对话系统研究进展
专知
0+阅读 · 2021年11月17日
FPGA加速深度学习综述
专知
3+阅读 · 2021年11月13日
基于深度学习的行人检测方法综述
专知
1+阅读 · 2021年4月14日
约束进化算法及其应用研究综述
专知
0+阅读 · 2021年4月12日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
领域知识图谱研究综述
专知
15+阅读 · 2020年8月2日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员