一张“黑洞”需要拍两年?有了它或许就不会让大家等那么久了

2019 年 4 月 15 日 AI100

只闻其名,不见其形,从小听到大的”黑洞“,终于让我们在有生之年见到了它的真容,只能说幽暗的宇宙美丽也调皮,长久以来人类关于黑洞的探索,在这一刻终于得到影像印证。相信很多人心中都有一个疑惑,为黑洞拍张照片需要两年时间?究其原因一个字“难”!难在哪?“数据”! 

首先,望远镜观测到的数据量非常庞大,2017年时8个望远镜的数据量达到了10PB,2018年又增加了格陵兰岛望远镜,庞大的数据量让数据处理的难度不断加大,且在数据处理的过程当中还伴随着不少技术难题。 

这张“冲洗”出的照片,蕴含着复杂的后期数据处理分析,而这一过程中涉及的数据量之多,处理难度之大都是前所未有的。那有没有办法,尽快揭开宇宙神秘的面纱?有没有办法,在面对庞大数据量的时候,我们有更高效快捷的方式去处理它们呢?


强势应对海量数据 内存分析放大招


就拿一张小小的黑洞照片来说,它背后的数据量需要一万块 500GB 硬盘才能装满,而这一万块硬盘高达半吨之重,这么”重“的数据,分析起来已经够难,还想要快速分析那更是难上加难!庞大的数据量不应该成为人类进步的绊脚石,恰恰相反,将其中蕴含的价值挖掘出来,我们将拥有无限宝贵资源。 

根据IDC预测,到2025年,全球数据量将从2018年的33ZB增加到175ZB,随着接入大容量数据能力的提高,从这些数据中提取价值的需求势必也在提升。而这也意味着我们了更广泛的工具选择,其中内存分析就是一个绝好的工具,那么它在处理海量数据时到底有多靠谱? 

首先,顾名思义,内存分析就是将数据在存储层向上移动,使其更接近CPU,以便加快内存访问速度以更快地进行分析,并缩短获取洞察的时间。所以,倘若那半吨重的数据,运用内存分析或许我们就不会等那么久了。 

内存分析的优势可不少,其中包括降低IT成本、简化基础设施、延长运行时间、降低时延、优化数据同步、减少数据副本以及缩短开发周期。此外,更快速地提供大量更深入的实时洞察,从而帮助创造新的机会,以推动和增强服务交付。


光说不练假把式 应用案例来一遍


内存分析如此强大,在助力临床医疗、零售业、金融服务业、智能运营供应链、呼叫中心和客户流失方面都已全面落地,并表现出色。下面我们就来看看运用内存分析解决行业痛点的两个真实案例,一睹其风采。 

全球领先的专业化学品公司Evonik,致力于实现总体拥有成本(TCO)效率的进一步提升,经过精挑细选,最后采用了内存分析方法解决了实际工作中遇到的难题。现在Evonik可以灵活并更高效地将数据集集成到其SAPHANA*平台中,并做好存储大容量数据集的准备。除此之外,一家提供全国广告产品的ZypMedia公司,借助内存分析确保了每秒处理大约500,000个事务请求,响应时间低至半毫秒,凭借速度和灵活性提供这种高质量服务。


深入了解内存分析 传统架构已力不从心


内存分析已经在如此多的场景顺利落地,并帮助企业巧妙化解行业难题,相信好奇的宝宝们心中已经有了一个疑问,如此强大的内存分析,需求一定少不了,这对于IT负责人来说挑战可不小,因为他们需要从更大的数据集中提取更多价值。此时,不得不考虑他们所采用的架构能否支持内存运营,以及如何满足目前和将来的需求。 

由于架构方面的需求基本取决于组织的能力和经验,而传统的架构可能会使用运营数据库来存储和管理当前数据,在将这些数据发送到组织数据仓库进行分析前,需要先对其进行批处理。然而,在许多企业中,这一模式正在逐渐被单一混合事务和分析处理架构取代,如此一来,便可以为一些受益于内存分析的关键平台和应用提供支持。而如果考虑采用HTAP,则需要考虑哪种形式更适合当前业务。然而,内涵式HTAP则更进了一步,其将分析功能嵌入事务本身以影响其结果。 

不难发现,更高的工作需求,要求我们必须采用支持实时数据处理和分析的IT基础设施。那么,到底有没有一种架构可以完美支持所需内存运行,并能够满足目前和将来的需求呢?答案来了,上面提到的化学公司正是借助了英特尔®傲腾TM数据中心级持久内存,改善了实际性能和总体拥有成本;而广告产品公司则借助英特尔®至强®可扩展处理器,实现了动态广告投放。 

而这一切都要归功于英特尔®至强®平台构建内存分析堆栈,让采集和处理大容量数据能力大大提升,已达到帮助行业实时甚至提前识别趋势与洞察并做出响应。由此可见,存储和内存方面的创新型产品,确实将困扰我们的数据难题快速解决消化,不信你接着看,适用于数据中心的英特尔®傲腾TM固态盘,其采用非易失性内存技术,可提供类似DRAM的性能并具有固态盘存储的持久性。为了推进这一变革,英特尔®傲腾TM数据中心级持久内存,配备全新一代的英特尔®至强®可扩展处理器,将此优势与CPU内存总线直接结合。这样一来,可更好地兼顾高容量、经济性和持久性。


极简内存分析 助力数据资源价值最大化


数据处理能力永远赶不上生成数据的速度,因此,必须将数据战略的重点放在充分发挥数据资源的价值上,那么如何将好钢用在刀刃上呢?为简化内存分析,英特尔不仅设计并优化了一系列数据中心技术,用以加快数据驱动型洞察,还在存储架构上做了不小的文章,使得内存容量超出DRAM限制,更好地兼顾性能和成本。如此一来,就可以提供内存分析工作负载通常所需的快速可扩展性和灵活性。除了持续致力于硬件创新外,它们开发了通过基准测试且完全集成的软件和硬件堆栈,支持特定工作负载,缩短服务交付时间和上市时间。 

内存数据库已不单单是面向特殊分析工作负载的一种昂贵方案,而是在向着实现更广泛的目标转变。从人类生活到行业应用,甚至到宇宙探索,人类数据正以指数级增长,面对海量数据,如何充分发挥数据资源价值,基于英特尔®至强®平台构建的内存分析堆栈给了我们最好的答案。当然我们也相信,未来英特尔将会有更多的创新与探索,为企业数据带来革新的同时,创造无限可能性。

登录查看更多
0

相关内容

英特尔公司是世界上最大的半导体公司,也是第一家推出x86架构处理器的公司,总部位于美国加利福尼亚州圣克拉拉。由罗伯特·诺伊斯、高登·摩尔、安迪·葛洛夫,以“集成电子”之名在1968年7月18日共同创办公司,将高级芯片设计能力与领导业界的制造能力结合在一起。 维基百科
商业数据分析,39页ppt
专知会员服务
159+阅读 · 2020年6月2日
华为发布《自动驾驶网络解决方案白皮书》
专知会员服务
125+阅读 · 2020年5月22日
斯坦福2020硬课《分布式算法与优化》
专知会员服务
118+阅读 · 2020年5月6日
专知会员服务
123+阅读 · 2020年3月26日
Python数据分析:过去、现在和未来,52页ppt
专知会员服务
99+阅读 · 2020年3月9日
《人工智能2020:落地挑战与应对 》56页pdf
专知会员服务
195+阅读 · 2020年3月8日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
27+阅读 · 2020年1月16日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
137+阅读 · 2019年12月12日
你知道计算机视觉领域这些“黑科技”吗?
计算机视觉life
6+阅读 · 2018年12月4日
终于有人把云计算、大数据和人工智能讲明白了
Python开发者
3+阅读 · 2018年6月13日
终于有人把云计算、大数据和人工智能讲明白了!
大数据技术
7+阅读 · 2018年4月2日
关于机器学习,你需要知道的三件事!
云栖社区
3+阅读 · 2018年3月3日
如何教育人工智能这个全球74亿人共同的小孩?
微软研究院AI头条
3+阅读 · 2017年11月17日
机器学习没有想象中的那么难
待字闺中
4+阅读 · 2017年9月14日
Arxiv
20+阅读 · 2020年6月8日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
26+阅读 · 2020年3月13日
Arxiv
101+阅读 · 2020年3月4日
Arxiv
22+阅读 · 2019年11月24日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
Deep Reinforcement Learning: An Overview
Arxiv
17+阅读 · 2018年11月26日
Two Stream 3D Semantic Scene Completion
Arxiv
4+阅读 · 2018年7月16日
Arxiv
5+阅读 · 2018年5月28日
VIP会员
相关VIP内容
商业数据分析,39页ppt
专知会员服务
159+阅读 · 2020年6月2日
华为发布《自动驾驶网络解决方案白皮书》
专知会员服务
125+阅读 · 2020年5月22日
斯坦福2020硬课《分布式算法与优化》
专知会员服务
118+阅读 · 2020年5月6日
专知会员服务
123+阅读 · 2020年3月26日
Python数据分析:过去、现在和未来,52页ppt
专知会员服务
99+阅读 · 2020年3月9日
《人工智能2020:落地挑战与应对 》56页pdf
专知会员服务
195+阅读 · 2020年3月8日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
27+阅读 · 2020年1月16日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
137+阅读 · 2019年12月12日
相关资讯
你知道计算机视觉领域这些“黑科技”吗?
计算机视觉life
6+阅读 · 2018年12月4日
终于有人把云计算、大数据和人工智能讲明白了
Python开发者
3+阅读 · 2018年6月13日
终于有人把云计算、大数据和人工智能讲明白了!
大数据技术
7+阅读 · 2018年4月2日
关于机器学习,你需要知道的三件事!
云栖社区
3+阅读 · 2018年3月3日
如何教育人工智能这个全球74亿人共同的小孩?
微软研究院AI头条
3+阅读 · 2017年11月17日
机器学习没有想象中的那么难
待字闺中
4+阅读 · 2017年9月14日
相关论文
Arxiv
20+阅读 · 2020年6月8日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
26+阅读 · 2020年3月13日
Arxiv
101+阅读 · 2020年3月4日
Arxiv
22+阅读 · 2019年11月24日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
Deep Reinforcement Learning: An Overview
Arxiv
17+阅读 · 2018年11月26日
Two Stream 3D Semantic Scene Completion
Arxiv
4+阅读 · 2018年7月16日
Arxiv
5+阅读 · 2018年5月28日
Top
微信扫码咨询专知VIP会员