端推理引擎对于深度学习平台有多重要？百度深度学习平台再次升级

作者 | 佘磊

编辑 | Natalie

2019 年，我们的深度学习技术，还要往哪发展？

作为人工智能、机器学习的重要分支，深度学习在当前 AI 领域的实践中起到了至关重要的作用。自 2012 年进入爆发期后，一路高歌猛进的深度学习技术，似乎正在进入一个发展的瓶颈期。

随着国内外科技巨头的大力发展，深度学习在图像识别、语音语义、自动驾驶、大数据学习等实践场景下都取得了不俗的成绩，打造一款高效易用的深度学习计算引擎正在成为当下各家深度学习平台的着力点。Google、Facebook、微软、Amazon、百度等巨头，正在将深度学习平台的“战争”拖入到下半场。

然而平台上的其它功能都很容易被模仿，就像手机一样，芯片、引擎技术才是一款深度学习平台的核心所在。也许只有突破当下深度学习引擎的瓶颈，才能真正将突破当前深度学习技术发展乏力的困境。

今年 8 月，百度深度学习平台飞桨 (PaddlePaddle) 对端侧推理引擎进行全新升级，重磅发布 Paddle Lite，旨在推动人工智能应用在端侧更好落地。通过对底层架构设计的改进，拓展性和兼容性等方面实现显著提升，目前，Paddle Lite 已经支持了 ARM CPU，Mali GPU，Adreno GPU，华为 NPU 以及 FPGA 等诸多硬件平台，是目前 首个支持华为 NPU 在线编译的深度学习推理框架。

9 月 21 日，【百度 AI 快车道企业深度学习实战营】 走进北京百度科技园，由百度深度学习技术平台资深架构师、百度深度学习平台系统工程师主讲，详细解读 Paddle Lite 的技术特点、使用方法和相关应用。通过现场实践来实现目标检测模型在手机上的部署，完整体验 Paddle Lite 在实际业务中的应用。此外还有在 FPGA 设备上进行蔬菜识别部署等多个趣味实践，帮助来到现场的你进行深度学习的实战练习。

活动主题：

• Paddle Lite

活动时间：

• 2019 年 9 月 21 日

活动地点：

• 北京·百度科技园

课程安排：

• 13:30–14:00 签到，现场交流
• 14:00–14:15 百度深度学习平台 - 飞桨全景介绍
• 14:15–15:00 Paddle Lite 深度技术解读及应用
• 15:00–15:30 Q&A
• 15:50-16:50 基于 Paddle Lite 的移动端目标检测部署实战
• 16:50–18:00 Paddle Lite 在 Edgeboard（FPGA）上的部署实践

扫码立即报名

关于 Paddle Lite

Paddle Lite 的架构有一系列自主研发技术，整合了百度内部多个预测库架构优势能力，并重点增加了多种计算模式（硬件、量化方法、 Data Layout ）混合调度的完备性设计，新架构设计如下：

• 其中最上面一层是模型层，直接接受 Paddle 训练的模型，通过模型优化工具转化为 NaiveBuffer 特殊格式，以便更好地适应移动端的部署场景。
• 第二层是程序层，是 operator 序列构成的执行程序。
• 第三层是一个完整的分析模块，包括了 MIR （ Machine IR ） 相关模块，能够对原有的模型的计算图针对具体的硬件列表进行算子融合、计算裁剪在内的多种优化。不同于飞桨训练过程中的 IR （ Internal Representation ），硬件和执行信息也在这一层加入到分析中。
• 最底层是执行层，也就是一个 Kernel 序列构成的 Runtime Program 。执行层的框架调度框架极低，只涉及到 Kernel 的执行，且可以单独部署，以支持极致的轻量级部署。

整体上来看，不仅着重考虑了对多硬件和平台的支持，而且也强化了多个硬件在一个模型中混合执行的能力、多个层面的性能优化处理，以及对端侧应用的轻量化设计。

干货满满的现场，行业 A 级的导师，还有一群志同道合的小伙伴，还在等什么？活动限额免费 30 人！赶快扫描下方二维码或者点击 阅读原文 报名参加吧！