成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
Spark
关注
51
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
综合
百科
VIP
热门
动态
论文
精华
马斯克称Twitter可能破产;Meta暴裁1.1 万人,小扎承认犯了错;GitHub年度报告:印度开发者增速超中国 | Q资讯
InfoQ
0+阅读 · 2022年11月12日
和Rust一样好,编程更安全?三年实践、员工态度反转,英伟达用 SPARK 换掉 C
InfoQ
0+阅读 · 2022年11月9日
全平台、更智能,老牌邮件应用 Spark 推出 3.0 大更新
少数派
0+阅读 · 2022年10月18日
世界疯抢中国船!
创业邦杂志
0+阅读 · 2022年10月7日
传统大数据平台如何进行云原生化改造
InfoQ
0+阅读 · 2022年9月27日
EMR 实战心得浅谈
InfoQ
0+阅读 · 2022年9月4日
字节跳动开源自研 Shuffle 框架——Cloud Shuffle Service
InfoQ
0+阅读 · 2022年8月26日
美国远程办公空间Switchboard完成2500万美元A轮融资,红杉资本连续加注
创业邦杂志
0+阅读 · 2022年8月2日
一名在读研究生的自白:我为什么会沉迷于openGauss 社区?| Q推荐
InfoQ
0+阅读 · 2022年7月27日
T-thinker | 继MapReduce, Apache Spark之后的下一代大数据并行编程框架
机器之心
0+阅读 · 2022年7月5日
你是 Data Governance Platform 正在寻找的『意中人』吗?
微软招聘
0+阅读 · 2022年5月20日
阿里云RemoteShuffleService新功能:AQE和流控
阿里技术
0+阅读 · 2022年4月22日
一份数据满足所有数据场景?腾讯云数据湖解决方案及DLC核心技术介绍
AI前线
1+阅读 · 2022年4月20日
ClickHouse为啥在字节跳动能这么火? | 卓越技术团队访谈录
InfoQ
1+阅读 · 2022年4月13日
腾讯Angel Graph大规模图计算平台
专知
1+阅读 · 2022年4月11日
参考链接
父主题
大数据处理
数据批处理框架
子主题
Databricks
Shark
Spark SQL
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top