推出可更新的 Android 一体化 ML 推理栈

会员服务 ·

推出可更新的 Android 一体化 ML 推理栈

2021 年 7 月 16 日 TensorFlow

发布人：Android ML 产品经理 Oli Gaymond

基于终端设备的机器学习具有低延迟、低能耗，以及无需联网的特点。然而当开发团队在 Android 设备上部署基于终端设备的 ML 时，常常会遇到以下几点挑战：

由于许多 app 的体积受到严格的限制，因此仅仅为了 ML 而添加并管理额外的依赖库将会是一笔巨大的开销。

与基于服务器的 ML 不同，基于终端设备的 ML 在计算环境上具有很高的数据异构性。这导致了性能、稳定性和精度方面的显著差异。

为了兼容市面上大部分的已有设备，app 往往会采用低版本的 API，这使得在终端设备上使用 ML 的最新成果变得举步维艰。

为解决这些问题，我们建立了 Android ML 平台：一个可更新且高度集成的 ML 推理堆栈。开发者可以通过该平台获得以下几点好处：

内置在终端设备上的推理要件：我们将为 Android 提供面向终端设备的推理二进制文件，并及时对这些要件进行更新，从而减小 apk 的体积。

在所有设备上均能表现优异：我们将优化其与 Android 的集成，使其能自动根据当前设备进行性能上的优化，该功能可在打开硬件加速时启用。

在不同的 Android 版本中使用相同的 API：Google Play 服务可以定期更新此 API，并且更新工作会独立于 Android 操作系统的发布周期之外。

内置在终端设备上的推理要件：

Android 版 TensorFlow Lite

所有支持 Google Play 服务的设备上均可使用 TensorFlow Lite，开发者不再需要在应用中加入运行时环境，从而减小 app 体积。此外，Android 版 TensorFlow Lite 将在模型中使用元数据来自动开启硬件加速，帮助开发者在所有 Android 设备上获得尽可能优异的性能。

在所有设备上均能

表现优异：自动加速

自动加速是 Android 版 TensorFlowLite 的一个新功能。借助此功能，用户可在考虑性能、准确性和稳定性的前提下，在每个模型测试中创建特定设备的许可名单。这些许可名单可在运行时中决定是否开启硬件加速。开发者如果想使用加速器许可名单功能，则需要提供额外的元数据来验证其正确性。自动加速功能将于今年晚些时候推出。

在不同的 Android 版本中

使用相同的 API

除了通过定期更新的方式让 Android 版 TensorFlow Lite 保持最新外，我们还将独立于操作系统版本之外更新神经网络 API，同时保持各个 Android 版本使用相同的 API 。此外，我们正在与芯片厂商合作，让他们能够将硬件的最新驱动程序独立于操作系统升级之外直接发布到设备上。通过这种方式，开发人员的测试量将从数以千计的设备，缩减为只针对少量配置进行测试。现在，我们很高兴地宣布，在今年晚些时候我们将会与我们的第一个合作伙伴 Qualcomm 联袂发布该产品。