领先还是落后?中美核心架构实践内容对比 | 大会

2018 年 5 月 8 日 InfoQ David

但凡谈到硅谷,国内总有程序员视自己低人一等。确实,在下图若干个核心领域对比中,中国仅在家用电器、建材、铁路和高铁技术等几项技术领先美国,核心的半导体、系统软件等技术领域与美国整体差距悬殊。

但中国从 1986年发出第一封邮件发展至今,一直在追赶汇聚了全球顶尖智力的硅谷。我们不仅每天可以看到大陆团队在硅谷朝圣或学习,也能看到越来越多的团队前往设立分支机构。

你看,微博市值已经压制 Twitter,而 Facebook与腾讯的市值在互相超越,越来越多的美国企业开始学习中国互联网模式。

今天,我们就聊聊中美知名企业在各自细分领域上的核心架构实践对比,以 全球架构师峰会上已确定的国内外议题为例,各案例均是各顶尖企业技术团队的代表之作,推荐各位来到现场与嘉宾交流学习。

机器学习及算法
Apple:机器学习在多模态传感器数据上的应用

嘉宾:刘磊,Apple机器学习专家,在研和已完成项目包括数据管理中机器学习核心技术、大规模数据分类、推荐系统、社会网络挖掘、网络僵尸病毒检测、基于传感器数据的个性化健康、基于大数据的教育系统。将在 ArchSummit有两个分享,下述是其中之一。

随着如手机、智能手表和生物传感器等便携式设备的普及,数字化自跟踪技术近几年已经获得了长足发展。同样,用于监测、存储和分析人类自跟踪数据的信息管理系统设计也在不断的优化。

刘磊的分享将会聚焦在介绍机器学习平台在传感数据中的应用,详细对利用多源传感器数据结合机器学习技术来检测人体行为的项目做详细介绍。

首先收集位于 Bristol (UK)的智能家庭传感器数据,包括重力传感器、环境传感器和三维视觉传感器,之后通过机器学习技术来构建人类行为监测模型。这一机器学习系统能通过分析传感数据,动态准确地检测日常生活里的人体行为活动。

阿里:跨境业务动态广告算法迭代

嘉宾:孟晓楠,阿里国际技术事业部算法专家,负责 1688平台、alibaba.com和 aliexpress.com平台广告算法,出版译著《机器学习实用案例解析》。

电商广告环境下,受到广告主预算耗竭的影响,即使变现速率翻倍,广告消耗提升也会小于 1倍,业界对于这种分析往往停留在定性分析,孟晓楠团队对这个问题做了定量分析和研究。

搜索广告系统是一个三方博弈的过程,参与方包括网站访问者、广告提供商和平台。作为平台方要权衡三方的利益,孟晓楠团队主要探索搜索广告中 RPM最大化的理论和实践,提出了一种新的离线模型评估指标 SAUC(Soft AUC),并在实际项目应用中取得显著的业务结果。

孟晓楠团队借助运筹学,将广告展现个数问题定义成一个线性规划问题,并且提出一套目标可扩展、简单易实现的 online算法,该算法已经在 alibaba.com上线,并且取得显著效果。

推荐系统实践
Google:深度学习在大规模推荐系统中的应用

作者:Dekun Zou,Google研究院资深研发工程师,负责研发多个基于深度神经网络的推荐系统,包括 Android应用商店、Google广告排名。加入 Google前就职于 Apple,再之前供职于 AWS。将在 ArchSummit 有两个分享,下述是其中之一。

传统的线性回归方法在很多推荐系统里应用广泛,只不过随着深度神经网络在图像视觉领域的突破,很多研究人员开始利用神经网络搭建深度推荐系统,推荐质量显著超越传统基于线性回归系统,同时也简化了以往搭建推荐系统所需专家知识 (domain knowledge)。

Dekun的分享大纲如下:

  • 信号类别

    • 场景信号:当前场景相关的信息

    • 用户信号:用户特征,用户历史信息

    • 物件信号:排序模型物件的特征

  • 两步定制化推荐

    • 深度挖掘,生成候选人列表

    • 混合人工生成的候选人,最终排序

  • 模型训练模式

    • 离线,根据系统日志 (适用于大系统,海量用户)

    • 在线,强化学习(小量用户,快速迭代)

  • user vector, item vector

    • 预生成的用户向量降低推断延时

    • 超大规模物件向量的学习

  • 损失函数的构造

微博:热门微博是如何做个性化推荐的?

作者:朱红垒,新浪微博算法总监,负责微博兴趣流技术研发,曾负责打造微博搜索推荐类相关产品研发,包括热搜榜、相关搜索、相关用户等。

新浪微博每天上亿条内容产生并在万亿级关系的社交网络上进行传播,热门微博是用户基于兴趣阅读微博内容的信息流产品。

朱红垒将和大家分享如何将主流前沿机器学习技术应用在热门微博中,并探讨如何打造适合自己产品的推荐系统,分享提纲如下:

  • 个性化推荐引擎框架: 基础层 /推荐层 /排序层

  • 特征挖掘与特征工程:

    • 超短文本内容特征构建

    • 超大规模关系特征提取

  • 大规模实时协同推荐;

  • 大规模多目标机器学习排序:

    • 千亿级排序模型

    • 多目标排序模型

  • 深度学习在推荐场景的应用;

  • 效果总结和未来技术规划。

时空大数据及地图技术
Facebook:万亿级混合复杂时空数据的处理决策

作者:宾理涵,Facebook的 GeoAPI组技术领导。带领团队开发了 Geospatial Indexing平台,参与了 Facebook搜索引擎中的地理查询的设计和开发。

大规模空间数据除了在规模上的挑战以外,还有一些独特的问题需要解决:例如经纬度,直线距离和弧面距离的区别,以及同样的经纬度差在两极和赤道的面积差等。

这些特性既是挑战也是性能优化上的机遇。随着越来越多的移动设备,物联网设备产生海量的时空数据,如何有效存储,检索,实时的 k-nearest查询,关联性排序,如何高效的解决在离线大规模空间数据分析中常用到的 Spatial Join都是 Facebook要解决的问题。

Facebook Location Infrastructure团队在处理大规模时空数据过程中,在内部技术和开源技术之间采取折中而务实的办法。宾理涵将会和大家分享经过验证的,在处理日万亿级混合复杂操作的时空数据背后的多个设计决策和架构选型内容,包括在线和面向分析的用户案例。

滴滴:地图引擎架构实践和 AI技术应用

作者:朱智青,滴滴出行地图事业部高级专家,主导建设地图路线核心服务团队,完成了路径规划、ETA、司机位置语义等地图核心引擎能力的自建。

滴滴已成为日成交订单千万量级的全球最大出行平台,作为中台三个最核心引擎之一的地图引擎是整个平台的基石,重度参与了线上业务流程的几乎每一个环节。

业务要求赋予了滴滴地图超出传统地图之外的新使命:除确保导航、底图展示等功能体验外,还需要通过与接驾、派单、预估价等业务场景结合并精细打磨带来平台整体效率的提升。

本次朱智青将重点介绍在服务迭代过程中面对的全新技术挑战(业务高性能要求与严苛的效果约束,经典地图算法与 AI的结合等),以及在挑战下滴滴地图团队做出的努力和取得的成果。

微服务及 FaaS
Netflix:Going FaaSter,Function as a Service

作者:Yunong 目前是 Netflix 的首席软件工程师,带领着 Netflix API 平台设计和架构团队。在此之前任职于 AWS 和 Joyent,并帮助规划和构建了多款云计算产品。与此同时,他也在维护开源项目 Node.JS 框架的校正。

FaaS变革像风暴一般拓展到全球。因为企业都喜欢 FaaS 所带来的 No-Ops,或者说在工程效率上的突出表现。所以 FaaS 所带来的变革可以在一线开发者领域迅速扩展,能够帮助工程师们更快速的将代码部署到产品上。

在 Netflix,这些功能特性对于 Netflix API平台来说简直是完美符合,工程师们用 JavaScript 来写代码并部署到 tier-1服务层,整个过程不是完全必须要去管理基础架构设施或者运维。

然而,还是有很多权衡之处需要考虑,传统的 FaaS 理念或者做法在今天看来,更适合那些对延迟要求不高的任务。但是,对于延迟很敏感,对可靠性以及可弹性扩展要求较高的任务来说,FaaS 还需要再优化。

Yunong将分享 Netflix FaaS 平台的架构和内部构成,它可以帮助工程师们在 FaaS 基础上可以很好的将功能部署成为隔离、可靠、低延时的产品服务。

腾讯弹性计算平台无服务器化实践

作者:陈杰,腾讯架构平台部研发 leader,2007年毕业于中科院计算所,2011年加入腾讯架构平台部,现负责弹性计算及云函数平台研发,致力于提升数据中心资源利用率,并解放程序员生产力。

随着容器技术在微服务架构,研发 /测试 /运营流程优化及利用率提升等方向的落地及价值体现,容器化已成为一种趋势,逐步深入人心。但容器能持续满足业务发展的需求吗?未来基础设施架构最终会以什么样的形态呈现呢?

腾讯弹性计算平台收拢公司闲置资源统一调度,以容器方式再利用,实现算力共享,服务包括 AI、音视频转码、图片压缩等多个场景。陈杰将分享弹性计算建设过程中基于容器的无服务器化(Serverless)的一些思考、实践和经验。

  • 容器化的一些困境与挑战

  • Serverless究竟是什么

  • Serverless对容器技术的新挑战

  • 容器平台如何走向 Serverless

  • 腾讯 Serverless的应用案例

  • Serverless建设过程中的经验教训

更多国内外架构实践

除上述分享之外,ArchSummit深圳站还有诸多国内外架构实践与你分享:

  • 腾讯:微信百亿消息万级机器背后的 AI调度

  • 阿里:使用标准的 ANSI SQL驱动大数据流计算

  • 华为:边缘计算 IoT云服务应用实践

  • 唯品会:统一检索平台的演进和探索

  • 蚂蚁金服:企业级 Node.js Web 框架研发与落地

  • 今日头条:大型直播互动系统的设计与实践

  • 微众银行:金融业务中区块链技术架构解析

  • 菜鸟网络:全球跨域 RPC架构设计

  • 网易严选:售后服务架构演变实践

  • IBM:构造、守护、监控微服务的守护神

  • eBay:QE团队向工程效率团队转型的实践之路

  • Pinterest:大数据平台的过去与未来

  • 前 Tesla深度深度学习负责人:自动驾驶中的计算机视觉技术

  • ...

目前 ArchSummit 限时 9折 ,点击 阅读原文可立即报名,识别下方二维码获取大会日程。

PS :如需帮助,欢迎联系票务小助手 豆包(微信:aschina666,或致电 010-84780850)。

登录查看更多
1

相关内容

刘磊,eBay搜索技术团队资深算法研究员。在机器学习领域有多年研发经验,曾从事搜索查询理解、搜索广告匹配、品牌广告分配等方向的算法研究工作。目前担任eBay搜索技术团队商品算法负责人,主要研究商品质量评估、相似计算、作弊检测等方向。
FPGA加速系统开发工具设计:综述与实践
专知会员服务
65+阅读 · 2020年6月24日
专知会员服务
80+阅读 · 2020年6月20日
大数据安全技术研究进展
专知会员服务
93+阅读 · 2020年5月2日
专知会员服务
124+阅读 · 2020年3月26日
阿里巴巴达摩院发布「2020十大科技趋势」
专知会员服务
106+阅读 · 2020年1月2日
分布式核心技术知识图谱,带走不谢
架构师之路
12+阅读 · 2019年9月23日
阿里技术大牛:一份架构师成神路线图!
51CTO博客
30+阅读 · 2019年7月6日
主流互联网平台广告业务对比分析
百度公共政策研究院
29+阅读 · 2019年5月20日
大伽「趣」说AI:腾讯云在多个场景中的AI落地实践
人工智能头条
4+阅读 · 2018年8月1日
阿里搜索技术,在AI路上走了多远?
机器学习研究会
11+阅读 · 2017年12月29日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Doubly Attentive Transformer Machine Translation
Arxiv
4+阅读 · 2018年7月30日
Arxiv
4+阅读 · 2018年4月29日
Arxiv
4+阅读 · 2018年4月17日
Arxiv
4+阅读 · 2018年1月19日
VIP会员
相关资讯
分布式核心技术知识图谱,带走不谢
架构师之路
12+阅读 · 2019年9月23日
阿里技术大牛:一份架构师成神路线图!
51CTO博客
30+阅读 · 2019年7月6日
主流互联网平台广告业务对比分析
百度公共政策研究院
29+阅读 · 2019年5月20日
大伽「趣」说AI:腾讯云在多个场景中的AI落地实践
人工智能头条
4+阅读 · 2018年8月1日
阿里搜索技术,在AI路上走了多远?
机器学习研究会
11+阅读 · 2017年12月29日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
相关论文
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Doubly Attentive Transformer Machine Translation
Arxiv
4+阅读 · 2018年7月30日
Arxiv
4+阅读 · 2018年4月29日
Arxiv
4+阅读 · 2018年4月17日
Arxiv
4+阅读 · 2018年1月19日
Top
微信扫码咨询专知VIP会员