技术控 | 大数据实时处理架构实践

2017 年 6 月 23 日 数据库技术大会 朱健

点击上方“蓝字”可以关注我们哦



朱健 京东商城大数据技术专家

嘉宾简介:

京东广告部大数据技术专家,长期从事大数据技术的实践和研究工作,在分布式系统架构设计、开发方面有丰富的实践经验。目前负责京东广告日志系统、广告实时效果系统的研发工作。


议题简介

大数据实时处理架构实践


当今互联网早已不是蛮荒生长的时代,各大公司也在自己的领域深耕细作,伴随着市场的成熟,如何提供更好的服务、更快的数据决策,成为竞争的关键点。实时计算技术作为其中的一项关键技术,开始在业界广泛流行。如何依据自己的业务,在众多的实时计算技术中做出选择,如何处理实时计算中遇到的各种问题,保证数据的效率和正确,成为所有人都要面对的极具挑战的工作。本次分享将会从实时计算的业务要求出发,结合具体的一个基于spark streaming的实践例子,总结大数据实时处理架构设计上需要处理的几个关键问题,同时基于此对实时计算技术提出一些要求。



品读之后,

愿享同感。


by.数据库技术大会



登录查看更多
1

相关内容

从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
轻量级神经网络架构综述
专知会员服务
96+阅读 · 2020年4月29日
【实用书】流数据处理,Streaming Data,219页pdf
专知会员服务
76+阅读 · 2020年4月24日
专知会员服务
123+阅读 · 2020年3月26日
深度神经网络实时物联网图像处理,241页pdf
专知会员服务
76+阅读 · 2020年3月15日
《人工智能2020:落地挑战与应对 》56页pdf
专知会员服务
195+阅读 · 2020年3月8日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
【大数据】大数据参考架构和关键技术(综合)
产业智能官
14+阅读 · 2018年11月22日
人工智能大数据平台中Golang的应用实践
MomentaAI
5+阅读 · 2018年9月27日
SLA 99.99%以上!饿了么实时计算平台3年演进历程
51CTO博客
11+阅读 · 2018年4月10日
基于 Storm 的实时数据处理方案
开源中国
4+阅读 · 2018年3月15日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
Adaptive Neural Trees
Arxiv
4+阅读 · 2018年12月10日
A General and Adaptive Robust Loss Function
Arxiv
8+阅读 · 2018年11月5日
Arxiv
12+阅读 · 2018年9月5日
Arxiv
4+阅读 · 2018年4月29日
Arxiv
3+阅读 · 2018年3月14日
Arxiv
20+阅读 · 2018年1月17日
VIP会员
相关VIP内容
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
轻量级神经网络架构综述
专知会员服务
96+阅读 · 2020年4月29日
【实用书】流数据处理,Streaming Data,219页pdf
专知会员服务
76+阅读 · 2020年4月24日
专知会员服务
123+阅读 · 2020年3月26日
深度神经网络实时物联网图像处理,241页pdf
专知会员服务
76+阅读 · 2020年3月15日
《人工智能2020:落地挑战与应对 》56页pdf
专知会员服务
195+阅读 · 2020年3月8日
相关资讯
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
【大数据】大数据参考架构和关键技术(综合)
产业智能官
14+阅读 · 2018年11月22日
人工智能大数据平台中Golang的应用实践
MomentaAI
5+阅读 · 2018年9月27日
SLA 99.99%以上!饿了么实时计算平台3年演进历程
51CTO博客
11+阅读 · 2018年4月10日
基于 Storm 的实时数据处理方案
开源中国
4+阅读 · 2018年3月15日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
相关论文
Top
微信扫码咨询专知VIP会员