会员服务
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
Gartner：2018年数据科学和机器学习平台魔力象限
Gartner：2018年数据科学和机器学习平台魔力象限
云头条
0+阅读 · 2018年2月24日
推荐｜机器学习必须了解的那些AI工具包！
推荐｜机器学习必须了解的那些AI工具包！
全球人工智能
1+阅读 · 2017年10月12日
百度开源高性能 Python 分布式计算框架 Bigflow
百度开源高性能 Python 分布式计算框架 Bigflow
大数据技术
0+阅读 · 2017年12月14日
马蜂窝实时计算平台演进之路
马蜂窝实时计算平台演进之路
架构文摘
0+阅读 · 2019年6月17日
ClickHouse为啥在字节跳动能这么火？ | 卓越技术团队访谈录
ClickHouse为啥在字节跳动能这么火？ | 卓越技术团队访谈录
InfoQ
1+阅读 · 2022年4月13日
大数据和云计算技术周报（第69期)
大数据和云计算技术周报（第69期)
大数据和云计算技术
0+阅读 · 2018年9月24日
这项技术实操与测试，我们是认真的
这项技术实操与测试，我们是认真的
InfoQ
1+阅读 · 2018年9月2日
【AI TOP 10】北京交警称将依法查处百度无人车；DeepMind在加拿大开设AI实验室；特斯拉股价跌逾7%
【AI TOP 10】北京交警称将依法查处百度无人车；DeepMind在加拿大开设AI实验室；特斯拉股价跌逾7%
新智元
0+阅读 · 2017年7月6日
实时流处理新选择：LinkedIn重磅发布Samza 1.0
实时流处理新选择：LinkedIn重磅发布Samza 1.0
AI前线
0+阅读 · 2018年12月3日
一篇文看懂Hadoop
一篇文看懂Hadoop
人工智能学家
1+阅读 · 2019年7月15日
北上广深工作的年轻人，周末都是怎么过的？
北上广深工作的年轻人，周末都是怎么过的？
DJI大疆创新
0+阅读 · 2017年11月29日
唯品会实时计算平台的演进之路
唯品会实时计算平台的演进之路
DBAplus社群
1+阅读 · 2019年3月21日
微软将数据中心沉入大海 省钱环保拯救地球；Google 放弃将 AI 用作武器，但仍然会对军方销售；吉林省完成首例机器人骨科手术
微软将数据中心沉入大海 省钱环保拯救地球；Google 放弃将 AI 用作武器，但仍然会对军方销售；吉林省完成首例机器人骨科手术
大数据技术
0+阅读 · 2018年6月15日
2月投融市场全解析：老牌投资机构动作频频 ，企业并购成普遍性
2月投融市场全解析：老牌投资机构动作频频 ，企业并购成普遍性
艾瑞咨询
0+阅读 · 2019年3月16日
阿里云EMR Remote Shuffle Service在小米的实践
阿里云EMR Remote Shuffle Service在小米的实践
阿里技术
1+阅读 · 2022年1月17日
参考链接
父主题
大数据处理
数据批处理框架
子主题
Databricks
Shark
Spark SQL
微信扫码咨询专知VIP会员
Top