TensorFlow Lite指南实战，附48页ppt

【导读】TensorFlow Lite是可帮助开发人员在移动端（mobile）、嵌入式（embeded）和物联网（IoT）设备上运行TensorFlow机器学习模型的一组工具。它使设备机器学习具有低延迟和更小的二进制体积。本文是TensorFlow Lite入门指导。

TensorFlow Lite

TensorFlow Lite由两个主要组件组成：

1. interpreter（解释器）：可在许多不同的硬件类型（包括手机，嵌入式Linux设备和微控制器）上运行经过特别优化的模型。

2. converter（转换器）：将TensorFlow模型转换为供解释器使用的有效形式，并且可以引入优化以改善二进制大小和性能。

下图显示了 TensorFlow Lite 的架构设计：

在设备端使用模型的过程：

1. 训练并保存模型（开发机器）

2. 转换模型（开发机器）

3. 将转换后的模型复制到设备上

4. 使用TF Lite解释器运行推理

   
   

converter与量化

converter使用TF模型生成FlatBuffer文件（.tflite），然后将FlatBuffer文件部署到客户端设备（例如移动设备，嵌入式设备）并使用TensorFlow Lite解释器在本地运行。下图显示了此转换过程：

converter代码实现如下：

为什么要使用FlatBuffer？ 主要原因有：

1. 无需解析/拆包即可访问序列化数据

2. 内存效率和速度-访问数据所需的唯一内存是缓冲区的内存

3. 没有依赖项的跨平台代码

使用converter转换模型的主要原因：

    使模型更小（内存占用更小）

    提高推理效率

    需要较少的内存访问

    推理中使用更少的能量

注：推理（Inference） 是通过模型（model）运行数据（data）以获得预测（predictions）的过程。这个过程需要模型（model）、解释器（interpreter）和输入数据（input data）。

为了实现这些目标，主要组成部分是所谓的量化（Quantization）如下图：

参考网址：

https://sahnimanas.github.io/post/quantization-in-tflite/#deep_compression

Quantization有两种量化方式：

1. Post-training quantization

   更容易实现，在大多数情况下非常高效

2. Training-aware quantization

   更复杂，需要重写计算图

量化公式：

r是真实值（通常是float32）

q是B位整数（uint8，uint32等）量化表示

S（floating）和z（integer）是我们缩放的因子

更多内容请参考原始PPT。

完整PPT下载

请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“TFLAP” 就可以获取完整《TensorFlow Lite A primer》PPT的下载链接~ 

部分PPT截图如下所示：

参考链接：

• https://github.com/michelucci/TensorFlow-Roadshow-Zurich

• https://www.tensorflow.org/lite/guide

  
  

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

请加专知小助手微信（扫一扫如下二维码添加），获取专知VIP会员码，加入专知人工智能主题群，咨询技术商务合作~

点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资料