阿里首次开源深度学习框架X-Deep Learning

2018 年 11 月 28 日 AI100

今年，各企业在开源路上的势头可以说是“你追我赶”，谁也不甘落后。6 月，小米宣布开源自己在移动端深度学习框架 MACE；9 月，腾讯 AI Lab 宣布开源一款自动化深度学习模型压缩与加速的框架——PocketFlow。双十一刚过，阿里巴巴就宣布要把商业操作系统中一个重要的业务板块——阿里妈妈的重要技术框架进行开源，这也是阿里巴巴首次公开深度学习框架。

作为阿里巴巴旗下的大数据营销平台，阿里妈妈基于自身广告业务，自主研发了深度学习框架 X-Deep Learning（下文简称 XDL），并已经大规模部署应用在核心生产场景。相关代码链接将在 12 月中旬正式发布。

▌1.XDL 面向广告、推荐、搜索研发，覆盖核心场景

XDL 是首个面向高维稀疏数据场景的深度学习开源框架。数据的高维稀疏性既是阿里妈妈业务场景的重要特征，也是互联网的众多核心应用场景（如广告/推荐/搜索等）的特征，覆盖了大多数互联网企业的数据应用模式。新框架 XDL 针对阿里妈妈业务数据高维稀疏的场景特点进行了优化。此外，微博、抖音、今日头条等也属于该范畴内，XDL在这些场景中都具有通用性。因此，不管是以广告、推荐、搜索为代表业务的企业级用户，还是对此感兴趣的个人用户，都可以加入到开源计划当中。

另外，在阿里巴巴XDL开源之前，业界的深度学习开源框架基本是面向图像、语音处理等场景数据而设计，这与整个人工智能领域的研究重点有关，图像和语音是率先取得理论突破的场景，而 XDL 的开源可以说是首次在工业级互联网场景中取得突破。

▌2.开放与易用，是阿里巴巴具备开源 XDL 的技术标准

XDL 采用了桥接的架构设计理念，打造面向工业级应用的分布式规模能力，单机能够处理的计算则引用现有开源框架。这种桥接的架构，使得 XDL 跟业界的开源社区是无缝对接的，例如用户可以在 XDL 框架上应用基于 Tensorflow 或者 Pytorch 编写的深度学习算法。此外，对于已经在使用其它开源框架的企业或者个人用户，也可以在原有系统基础上进行扩展。

除了核心的 XDL 训练框架外，阿里妈妈透露将全面开源面向高维稀疏数据场景的系统化解决方案，计划分批次对外发布，包括面向在线实时服务的深度学习预估引擎、面向全库实时检索的深度学习匹配引擎；同时还内置阿里妈妈自主研发的一系列算法，涉及 CTR 预估模型、CVR 预估模型、匹配召回模型、模型压缩训练算法等等。

剩下的就是坐等代码了！

本文由 AI科技大本营整理，转载请联系微信 1092722531。

—【完】—

BDTC 2018

◆

精彩纷呈

◆

2018 年12月6-8 日，由中国计算机学会主办，CCF 大数据专家委员会承办，CSDN、中科天玑数据科技股份有限公司协办的 2018 中国大数据技术大会（BDTC 2018），将在北京新云南皇冠假日酒店隆重举行。

除 Keynote 外，主办方精心策划了 13 场专题技术和行业论坛，涵盖大数据分析与生态系统、深度学习、推荐系统、大数据安全与政策、大数据可视分析、精准医疗大数据、数据科学与大数据技术教育、数据库、金融大数据、知识图谱、工业大数据、区块链、交通与旅游大数据等主题。

点击『阅读原文』，查看大会详情