国美深度学习初体验，开启社交电商的智能时代！

2017 年 7 月 18 日 51CTO博客 王雪燕

本周五（2017 年 7 月 21 日），由 51CTO 主办的 WOTI2017 全球创新技术峰会将于北京富力万丽酒店举行，此次峰会设有全天的巅峰论坛，及深度学习、人机交互和智+应用等分论坛。

国美大数据中心副总监杨骥，将出席深度学习分论坛，做主题为“深度学习开启社交电商智能时代”的演讲。在会前交流中，杨骥介绍了此次演讲的部分技术干货，让我们抢先看。

人工智能、机器学习与深度学习的关系

从冯诺依曼体系结构的提出开始，人类使用计算机就有了智能化的诉求。也就是使用计算机或机器人能够帮助人类做繁杂或者做不到的事情，从根本上来说，就是提升整个社会的生产效率。

相对于机器学习和深度学习，人工智能的概念更为宽泛。在机器学习方法兴起之前，大部分的人工智能应用都是基于逻辑推理实现，即设定N多规则，在不同场景，让机器或者程序做选择。

作为人工智能的一个分支，机器学习利用统计或者几何表达的形式处理问题，专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识和技能。直到上世纪90年代，伴随着互联网行业的兴起，机器学习掀起了人工智能领域一个新的热潮。

深度学习属于神经网络模型的范畴，本身并不是一个新的概念，早在上世纪四、五十年代，就有了最简单的神经网络——感知机模型。

2006 年，Geoffrey Hinton 提出了 LayerwisePre-Training 方法训练多层 RBM 网络（即 DBN），神经网络在大数据规模上的效果取得了长足的进展。

深度学习本身就是对训练数据进行分层表达，将低层级特征逐步抽象成高层级特征的过程，同时拟合出非常复杂的高维非线性函数，这是大多数机器学习模型难以望其项背的。

三者之间的关系

机器学习在国美的应用实践

目前机器学习在国美的应用，常规阶段已经趋近成熟，如基础数据收集、数据处理、特征工程、模型部署等方面，目前的主要工作是算法和业务逻辑的快速迭代。

接下来我们会在深度学习、计算机视觉、自然语言处理、语音识别等方面继续加大研发力度，除了搜索、推荐、广告等线上业务外，还会重点支持线下门店的新兴购物场景，实现国美社交电商的新零售平台落地。

我入职时，国美在机器学习方面还比较薄弱，之后团队建设、整套算法和架构部署等都由我亲自建设起来。相比之前的效果，GMV 提升幅度非常大。举例来说，在商品推荐过程中，利用机器学习排序和传统的排序方式相比，各方面都有很大改变。

初期针对 Web 首页、手机 APP 首页等一些推荐位置，系统基于冷启数据，做一些归类、统计等，展示到页面上，这时每个用户访问的时候，看到的效果毫无差别。

这样就会使得用户对推荐产品不感兴趣，毫无粘性可言，同时将其他商品宝贵的曝光机会浪费掉了。那么如何做到推荐个性化？这里就涉及到利用机器学习进行推荐的个性化排序。

如下图，是机器学习排序工作流：

先要对海量的数据进行训练，基于用户、查询、商家数据找特征，之后做模型训练，经过线上部署之后，正式上线。

如下图，是推荐排序的训练流程：

推荐排序训练流程分别为场景恢复、训练样本构建、模型训练和线上实验这四部分。

推荐离线模型的构建流程：

如下图，是推荐离线模型的评分规则：

这里值得提醒的是在打分之前，必须要对数据进行清洗，去除“点击狂人”、“用户误点”、“买后查单”等情况。其中，对非常活跃的用户要对他的行为进行降采样。

深度学习在国美的应用实践

传统计算机视觉工作流是由计算机视觉专家进行特征的设计，如 SIFT，KAZE，HoG，SURF 等。之后是训练分类器，进行多目标识别。

如下图，是传统计算机视觉工作流程：

传统计算机视觉领域不仅需要领域知识，还需要耗费巨量时间，深度学习的发展给这个领域带来了新的变革。

深度学习工作流是根据训练数据自动构建特征，将特征抽取和分类/检测任务同时进行。深度学习专家需要做的事情就是定义神经网络架构，并进行训练。

如下图，是深度学习工作流：

深度学习会自动训练出好的特征，并且很多方法可以在各个领域中通用。在国美的做法是深度学习+CV 工作流，也就是将计算机视觉特征和深度学习特征相结合。

同时，抽取计算机视觉特征和 DNN 特征，之后进行多目标的识别。如下图：

深度学习与视觉特征

利用机器学习对图像视觉特征进行提取的过程，可以分为四步，分别是图像标注、提取特征、降维和匹配检索：

图像标注。对国美全站的商品图像进行标注，这个过程中最主要的工作是数据清洗，即把不能和品类对应的图片删除或者重新进行品类校准。
先统计国美全站最近一年内各品类下商品总数的分布，然后按照分布进行图片抽样。
提取特征。图片的特征分为通过深度学习得到的特征和图像局部的特征。可利用 caffe 训练 CNN。
将倒数第二层输出作为 Feature Learning 的结果提取出来(Deep Learning + Transfer Learning)，可利用局部特征算子(SIFT，kaze等)提取出图像的局部特征。
降维。用积量化(ProductQuantization)的方法对深度学习得到的特征进行降维，用 Fisher Vector 对图像局部特征进行降维。
匹配检索。采用最近邻搜索的方法找出每一个商品的相似商品集合。