7月19日,以《从底层到应用,企业大数据的成长之路》为主题的京东“数说科技”技术沙龙在北辰世纪中心举行,作为继美团之后的“数说科技”系列活动第二期,本次活动邀请了刚刚完成上市的小米集团的相关团队,进行了面对面的技术交流。
随着企业的扩张,大量和业务、流程、规则相关的半结构化数据也呈爆发式增长,每日产生的庞大数据信息需要强有力且安全的平台进行收集、分析从而提出切实可行的方案,大数据对于当今的企业而言已是尤为重要的一部分,如何将分散在公司的各个系统中的数据汇总并形成统一的企业级数据仓库,让企业能够灵活,高效的运用就成了最大的难题。
为了让企业之间拥有一个对技术进行探讨的路径,京东大数据与智能供应链事业部推出“数说科技”系列活动,每期将联合一个外部企业针对大数据深入的进行业界技术交流分享,以提升企业间大数据技术能力。
本次沙龙由小米大数据负责人司马云瑞领衔,京东集团副总裁、大数据与智能供应链事业部负责人裴健,京东大数据平台负责人翁志也参加了本次活动,双方携各自大数据核心团队展开了一场大数据专业领域的技术分享。
当天参加活动的双方成员均由来自国内外知名科技企业及科研机构的工程师与数据科学家组成,分别在数据赋能、数据工程、数据科学、分布式计算、机器学习、统计分析等相关领域中拥有丰富的研发经验。
此次分享交流从大数据底层技术谈起,针对基于HDFS、HBase、Lambda、Hadoop、Presto、Plumber、Spark、Kylin等大数据相关项目的实践,以及双方大数据的核心技术应用、技术内容及数据治理体系的设计实施策略经验而进行了交流,通过双方的用户画像分析以及双方实际应用实践中的痛点展开了深度讨论,并对未来产品的技术和进化方向进行了深度探讨。
(大数据与智能供应链事业部负责人 裴健)
大数据与智能供应链事业部负责人裴健在论坛上表示,在京东技术战略转型的大背景下,按照集团ABC战略的整体部署和规划,京东将数据链、供应链、区块链三链合并,整合了京东在大数据方面与供应链的优势资源和技术研发方面的长期积累,围绕数据产品业务、供应链产品业务、物联网产品业务、区块链技术等方面重点发力,将底层技术和上层应用进行了完美的结合,避免了业务上的脱节,以实现共赢。这与小米技术团队的CBA发展路线不谋而合,相信两家公司可以从数据谈起,进行数据产品、外部数据内部数据使用等方面的交流,也希望未来有更多业务方面的深度合作。
(小米大数据负责人司马云瑞)
小米大数据负责人司马云瑞对其团队进行了介绍,小米大数据的核心产品与服务,包括数据平台、用户画像、智能分析系统、行为分析引擎、OLAP引擎等,目前多个重点项目已落地于MIUI、金融、新零售、品质、虚拟助手等相关内部核心业务上,帮助业务团队快速实现了精准运营,解决了业务挑战中的疑难杂症,并不断以数据驱动的方式引领着业务创新。
司马云瑞认为大数据的使命,是融汇公司全景数据,以数据驱动、AI赋能公司核心业务。小米大数据主要负责设计、完善公司级数据仓库解决方案,提供完善的、全链条的数据治理一站式平台,融汇公司各业务线数据,打造公司级的用户、设备画像和行为分析引擎,不断提升数据服务品质,依托数据科学、机器学习等技术赋能公司核心业务。
(京东大数据平台负责人翁志)
京东大数据平台负责人翁志表示,京东大数据运用自研的大数据全平台权限管理系统,负责平台建设和基础数据及通用数仓建设,业务部分负责数据应用层面的研发,专注于数据、深度学习、感知识别等技术领域,意在打造包括大数据采集、存储、离线计算、实时计算、集群自动化运维、数据可视化等一系列技术平台和工具,建设包含GPU、FPGA等基础设施支撑、支持TensorFlow、Caffe等多种深度学习工具的软硬件一体化开放深度学习平台。
目前,京东大数据的总数据量超过600PB,并保持数据的高速增长。数据范围覆盖:商品、订单、流量、仓储、配送、售后、财务、供应链等京东全产业链的数据。帮助京东大数据业务快速落地,助力京东实践以数据为驱动的业务变革与发展。
同时京东大数据在驱动企业业务增长、提升运营效率,为客户提供个性化、高品质产品及服务上具有重要作用,大数据的应用已经渗透到了业务的各个环节,大数据分析和挖掘成就了京东的个性化商城,提高了物流配送的效率,基于大数据形成智慧供应链体系,并自主研发出智能门店解决方案,实现知人、知货、知场景的购物体验。
在论坛的最后阶段,京东、小米的各位技术负责人、产品负责人,还针对平台建设、数据服务及数据治理两个方向进行了分组讨论,由双方研发负责人坐阵进行了更为细致深入的探讨和交流。
京东和小米作为业界技术的领先者,一直在持续不断的向中国大数据、算法等领域挖掘出更多更好的优秀人才,双方利用自己完整、精准的数据,持续为大数据、算法等新技术提供大量的实际应用场景,通过算法及数据处理的迭代优化,让数据发挥出更大价值,以成熟的技术应用为行业、为合作伙伴赋能,进而延伸到现实消费环境以提升消费者的购物体验。
未来京东大数据团队还将联合多家企业对话更多业界大咖进行大数据方面的技术探索,从大数据底层技术入手,为大数据领域专业人员提供行业痛点问题的解决方案,共同探讨双方如何在技术和业务上进一步加深合作,以实现并提升整体大数据技术能力。