首先,望远镜观测到的数据量非常庞大,2017年时8个望远镜的数据量达到了10PB,2018年又增加了格陵兰岛望远镜,庞大的数据量让数据处理的难度不断加大,且在数据处理的过程当中还伴随着不少技术难题。
这张“冲洗”出的照片,蕴含着复杂的后期数据处理分析,而这一过程中涉及的数据量之多,处理难度之大都是前所未有的。那有没有办法,尽快揭开宇宙神秘的面纱?有没有办法,在面对庞大数据量的时候,我们有更高效快捷的方式去处理它们呢?
就拿一张小小的黑洞照片来说,它背后的数据量需要一万块 500GB 硬盘才能装满,而这一万块硬盘高达半吨之重,这么”重“的数据,分析起来已经够难,还想要快速分析那更是难上加难!庞大的数据量不应该成为人类进步的绊脚石,恰恰相反,将其中蕴含的价值挖掘出来,我们将拥有无限宝贵资源。
根据IDC预测,到2025年,全球数据量将从2018年的33ZB增加到175ZB,随着接入大容量数据能力的提高,从这些数据中提取价值的需求势必也在提升。而这也意味着我们了更广泛的工具选择,其中内存分析就是一个绝好的工具,那么它在处理海量数据时到底有多靠谱?
首先,顾名思义,内存分析就是将数据在存储层向上移动,使其更接近CPU,以便加快内存访问速度以更快地进行分析,并缩短获取洞察的时间。所以,倘若那半吨重的数据,运用内存分析或许我们就不会等那么久了。
内存分析的优势可不少,其中包括降低IT成本、简化基础设施、延长运行时间、降低时延、优化数据同步、减少数据副本以及缩短开发周期。此外,更快速地提供大量更深入的实时洞察,从而帮助创造新的机会,以推动和增强服务交付。
内存分析如此强大,在助力临床医疗、零售业、金融服务业、智能运营供应链、呼叫中心和客户流失方面都已全面落地,并表现出色。下面我们就来看看运用内存分析解决行业痛点的两个真实案例,一睹其风采。
全球领先的专业化学品公司Evonik,致力于实现总体拥有成本(TCO)效率的进一步提升,经过精挑细选,最后采用了内存分析方法解决了实际工作中遇到的难题。现在Evonik可以灵活并更高效地将数据集集成到其SAPHANA*平台中,并做好存储大容量数据集的准备。除此之外,一家提供全国广告产品的ZypMedia公司,借助内存分析确保了每秒处理大约500,000个事务请求,响应时间低至半毫秒,凭借速度和灵活性提供这种高质量服务。
内存分析已经在如此多的场景顺利落地,并帮助企业巧妙化解行业难题,相信好奇的宝宝们心中已经有了一个疑问,如此强大的内存分析,需求一定少不了,这对于IT负责人来说挑战可不小,因为他们需要从更大的数据集中提取更多价值。此时,不得不考虑他们所采用的架构能否支持内存运营,以及如何满足目前和将来的需求。
由于架构方面的需求基本取决于组织的能力和经验,而传统的架构可能会使用运营数据库来存储和管理当前数据,在将这些数据发送到组织数据仓库进行分析前,需要先对其进行批处理。然而,在许多企业中,这一模式正在逐渐被单一混合事务和分析处理架构取代,如此一来,便可以为一些受益于内存分析的关键平台和应用提供支持。而如果考虑采用HTAP,则需要考虑哪种形式更适合当前业务。然而,内涵式HTAP则更进了一步,其将分析功能嵌入事务本身以影响其结果。
不难发现,更高的工作需求,要求我们必须采用支持实时数据处理和分析的IT基础设施。那么,到底有没有一种架构可以完美支持所需内存运行,并能够满足目前和将来的需求呢?答案来了,上面提到的化学公司正是借助了英特尔®傲腾TM数据中心级持久内存,改善了实际性能和总体拥有成本;而广告产品公司则借助英特尔®至强®可扩展处理器,实现了动态广告投放。
而这一切都要归功于英特尔®至强®平台构建内存分析堆栈,让采集和处理大容量数据能力大大提升,已达到帮助行业实时甚至提前识别趋势与洞察并做出响应。由此可见,存储和内存方面的创新型产品,确实将困扰我们的数据难题快速解决消化,不信你接着看,适用于数据中心的英特尔®傲腾TM固态盘,其采用非易失性内存技术,可提供类似DRAM的性能并具有固态盘存储的持久性。为了推进这一变革,英特尔®傲腾TM数据中心级持久内存,配备全新一代的英特尔®至强®可扩展处理器,将此优势与CPU内存总线直接结合。这样一来,可更好地兼顾高容量、经济性和持久性。
数据处理能力永远赶不上生成数据的速度,因此,必须将数据战略的重点放在充分发挥数据资源的价值上,那么如何将好钢用在刀刃上呢?为简化内存分析,英特尔不仅设计并优化了一系列数据中心技术,用以加快数据驱动型洞察,还在存储架构上做了不小的文章,使得内存容量超出DRAM限制,更好地兼顾性能和成本。如此一来,就可以提供内存分析工作负载通常所需的快速可扩展性和灵活性。除了持续致力于硬件创新外,它们开发了通过基准测试且完全集成的软件和硬件堆栈,支持特定工作负载,缩短服务交付时间和上市时间。
内存数据库已不单单是面向特殊分析工作负载的一种昂贵方案,而是在向着实现更广泛的目标转变。从人类生活到行业应用,甚至到宇宙探索,人类数据正以指数级增长,面对海量数据,如何充分发挥数据资源价值,基于英特尔®至强®平台构建的内存分析堆栈给了我们最好的答案。当然我们也相信,未来英特尔将会有更多的创新与探索,为企业数据带来革新的同时,创造无限可能性。