▲点击上方 雷锋网 关注
文 | 张莉
来自雷锋网(leiphone-sz)的报道
雷锋网按:12月7日,京东举办首届大数据峰会,此次峰会亮点颇多,京东打造的智能零售大数据“操作系统”全面亮相,并发布《京东大数据技术白皮书》,宣布与英特尔合作建立数字化零售联合实验室、推出针对线下零售、区块链等领域的多款产品。
值得注意的是,雷锋网在现场观察到,不同以往以战略和产品为主的发布会,此次,京东大数据团队各技术部门负责人悉数登台,详细介绍了京东大数据平台的底层架构和技术细节。
京东集团CTO张晨在开场演讲中指出,如今的京东已经不仅仅是一家零售公司,而是数字经济与实体经济深度融合的创新企业,完整的产业链条带来了海量大数据和丰富的业务场景。
据介绍,2010年京东就启动了在大数据领域的研发和应用探索,正式组建京东大数据部,并确立了数据集中式的数据服务模式。
此次发布会,《京东大数据技术白皮书》正式对外发布,至于为什么选择在这个节点发布,京东集团副总裁、大数据平台负责人翁志在接受包括雷锋网在内的媒体采访时表示,首先,京东大数据经过十几年的发展,在技术上已经积累到一定程度,是时候向外界展示其成果;其次,京东非常看好数据科学对整个经济发展的驱动,通过这个节点发布白皮书,可以展示京东的技术能力,也希望通过大数据和数据产品的对外开放,赋能行业,产生更大价值。
此外,翁志表示,通过发布大数据技术白皮书,可以让行业伙伴和相关从业者对京东大数据整个发展概貌有比较系统的了解,“研发人员也可以通过这本书来了解京东是怎样进行数据处理的,可以看到我们在哪方面非常重视,做了哪些工作;对于大数据分析的从业人员,他们可以从中来了解京东大概数据的面貌,这里包括底层的,包括我们产品的,也包括我们应用方向的,所以对他们来说应该也是非常有用;这本白皮书对普通的数据分析人员和新闻工作者也有参考价值。”
雷锋网第一时间拿到了这本《京东大数据技术白皮书》,主体内容共八个章节,涵盖了京东大数据的发展历程、技术体系、数据管理、数据产品、应用场景、合作生态以及京东大数据的特点和展望。
雷锋网注:京东大数据平台技术架构
白皮书中指出,京东大数据平台的发展随着京东业务同步发展,由原来的传统数据仓库模式逐步演变为基于Hadoop的分布式计算架构。
技术领域覆盖Hadoop、Kubernetes、Spark、Hive、Alluxio、Presto、Hbase、Storm、Flink、Kafka等大数据全生态体系。
目前已拥有集群规模40000+服务器、数据规模800PB+、日增数据1P+,每日的离线数据日处理30PB+,实时计算每天行数近万亿条。
建设了完整的技术体系,包括离线计算、实时计算和机器学习平台,可以满足多种复杂应用场景的计算任务。
元数据管理、数据质量管理、任务调度、数据开发工具、流程中心等构成了全面的数据运营工具。
分析师、指南针等数据应用产品提供了便利的数据分析功能,以及敏感数据保护、数据权限控 制等策略方案,能够最大程度地保护数据资产的安全。
利用大数据分析和挖掘,京东打造了个性化商城,自主研发了智能门店解决方案,打造了智能供应链体系,京东大数据的应用已渗透到了业务的各个环节。
京东大数据的特点包括:
高可用和高性能。采用自研 Yarn Federation 技术实现资源按需无限扩展;采用自研大数据虚拟化容器技术实现计算资源共享;采用自研 Vitual FileSystem 技术实现计算存储分离。
一站式服务平台。覆盖了用户、商品、采销、仓储、配送、 订单、售后等电商全产业链数据;建立了完善的技术体系;提供全面的平台产品和服务。
可靠的安全保障。数据分级保护;通过用户权限系统保障用户数据安全;对敏感数据传输通道进行加密。
此外,京东大数据建设了全生态核心产品体系,是京东大数据业务的基础服务平台,为京东全业务生态提供一站式、自助式的大数据处理全流程解决方案。
涵盖数据采集、存储、加工、分析、可视化、机器学习等专业化产品和服务,在保障数据安全的前提下,提供更可靠、高性能的服务,降低大数据使用门槛,帮助京东大数据业务快速落地。
在论坛上,京东携手英特尔宣布建立数字化零售联合实验室,据介绍,双方将探索IoT(物联网)在线下智能零售解决方案中的应用。
数字化零售联合实验室将凭借京东在零售行业的海量大数据积累,与英特尔边缘计算优势相结合,旨在建立更加完善的零售产业基础设施,孵化并推动新技术、新产品的商业落地与全球推广。
翁志表示:“这个实验室将结合双方的优势,开发尖端的解决方案,将在线购物出色的精准体验带给线下的消费者。我们期待着扩大与英特尔的合作,无论消费者在哪里购物,都能提供一流的个性化购物体验。”
据了解,目前京东已与英特尔在门店科技、边缘计算、新媒体领域展开合作并取得了一定成果:
在门店科技方面,借助京东机器视觉算法与英特尔RRI边缘计算和OPENVINO计算机视觉加速技术,已经可以利用普通安防摄像头做门店客流分析与用户行为识别。
在边缘计算领域,结合英特尔的技术优势与京东门店IoT平台结合,提升了设备接入能力与边缘计算能力。
新媒体方面,双方正在就基于深度学习的智能媒体推荐平台展开合作,根据周边客群特点提升广告投放效果。
在论坛上,京东公布了针对线下零售的全新智能零售解决方案——数链+。
据介绍,数链+大数据智能零售服务解决方案整合了此前京东在门店科技、智能供应链等业务上的经验成果,由京东大数据团队自研形成。
该解决方案是将大数据技术和人工智能技术进行结合打造出的智能零售业态。
首先,以社交体系、内容体系以及交易体系为依托,为品牌商打造的线上线下一体化、服务深度定制化、场景交易高融合的零售解决方案,旨在成为智能零售的大数据“操作系统”。
其次,以实现产业链成本、效率最优化,打造极致用户体验为目的,针对现有的线下实体店进行升级改造,为店铺提供智能化数据支撑,实现“知人、知货、知场”的精准匹配,驱动企业业务增长、提升运营效率,为客户提供个性化、高品质产品及服务。
在该解决方案中,包含了前端的应用到基础的协议和数据支持,每一个功能都以组件化的模式对外输出,并整合了祖冲之全链路数据平台,提供更为完整的一体化解决方案。
此外,为了能够更好地帮助商家使用这套解决方案,京东还推出了“灯塔”计划,由组件、产品和服务三个部分组成,为商家提供业务对接、产品升级、技能培训等服务。
发布会最后环节,京东还发布了两大企业级区块链领域应用平台:
面向消费品和医药行业推出的区块链防伪追溯平台能帮助消费品行业建立全程的信息防伪追溯,并满足企业多样化的数字分析及营销需求;推动医药领域建立透明、安全、高效的管理机制,实现疫苗、药品、医疗器械等的追溯能力。
区块链存证平台可通过自动化取证、可信存证、一键举证、侵权预警等能力,应用于多种同信任关联的场景中,助力构建信任经济大环境。
此外,京东在论坛上还推出了具有自主知识产权的企业级区块链框架系统——JD CHAIN。
据介绍,其交易处理达到万级TPS,交易确认缩短至秒级;基于可动态伸缩的账本存储设计支持海量账户和交易;支持多核并行的高性能密码算法,并且,该框架系统将在2019年1季度开源。
◆ ◆ ◆
推荐阅读
关于峰会购票信息,点击“阅读原文”了解详情~