案例解析｜看开发者如何巧用 TensorFlow Hub 解决实际问题

2021 年 8 月 9 日 TensorFlow

发布人：Luiz GUStavo Martins 和 Elizabeth Kemp，代表 TensorFlow Hub 团队

作为开发者，在面对挑战时您可能会想：“我该如何解决这个问题？”或“该用哪些工具来完成这个任务？”如今，机器学习能在越来越多的场景中发挥作用！对于传统编程来说，许多极具挑战性的任务，如检测图像中的目标、对声音事件进行分类，或理解文本，都可以用机器学习 (ML) 解决。

但训练机器学习模型可能需要大量的时间和数据，以及该领域深厚的专业知识，同时还会耗费大量资源。但如果有人已经解决了相同的问题，使您无需从头开始、或者至少解决了非常类似的问题，给了您不错的起点呢？这时就轮到 TensorFlow Hub 大显身手了！

TensorFlow Hub
tensorflow.google.cn/hub

TensorFlow Hub 是一个开放的、预训练机器学习模型的代码库。只要稍作调整，无论是服务器、移动设备，还是微控制器或浏览器，均可部署。

目前，开发者正在使用 TF Hub 提供的模型解决来许多领域中的实际问题。在 2021 年 Google I/O 大会上，我们特别介绍了一些开发者利用 TensorFlow Hub 中的模型改变世界的例子。

在本文中，我们也将介绍这些用例，并附上链接，方便您进一步了解。

图像

图像分类是机器学习最常见的用例之一。这个领域取得了极佳成果，并努力突破研究极限，其发展有力推动了机器学习的整体发展。

TensorFlow Hub 有许多用于图像问题领域的模型，涉及图像分类、对象检测、图像分割、姿态检测、风格迁移等众多任务。

图像分类
https://hub.tensorflow.google.cn/google/collections/image/1
对象检测
https://hub.tensorflow.google.cn/tensorflow/collections/object_detection/1
图像分割
https://hub.tensorflow.google.cn/tensorflow/collections/lite/task-library/image-segmenter/1
姿态检测
https://hub.tensorflow.google.cn/s?q=movenet
风格迁移
https://hub.tensorflow.google.cn/google/magenta/arbitrary-image-stylization-v1-256/2

许多可用模型都含有可视化工具（如下所示）。工具就位于模型的文档页面，让您无需使用任何代码或下载任何东西，就能试用模型。

TFHub 让迁移学习更加简单，也更易于通过许多先进模型（如 MobilenetV3、EfficientNet V2）进行试验，以便找出与您数据最匹配的模型。此 CropNet 教程提供了一个，创建检测木薯叶疾病的最佳模型、并将其部署到设备上以供实地使用的真实用例。

更加简单
https://tensorflow.google.cn/hub/tutorials/tf2_image_retraining
CropNet 教程
http://tensorflow.google.cn/hub/tutorials/cropnet_on_device

文本

理解文本对计算机来说一直是极具挑战性的任务，因为计算机需要处理上下文，以及大量单词和短语。TensorFlow Hub 上提供许多先进的自然语言处理 (NLP) 模型，您可随时使用。

其中一个例子是 BERT 系列模型。通过 TFHub 使用这些模型比以往更轻松。除了基本 BERT 模型外，我们还有更高级的版本可供您使用，并提供多种语言，您可以在 Making BERT Easier with Preprocessing Models From TensorFlow Hub（利用 TensorFlow Hub 中的预处理模型简化 BERT）中查看。

MuRIL 模型是一个很好的例子。该模型是一个利用 17 种印度语言训练的、多语言 BERT 模型，供开发者用来解决印度当地的 NLP 难题。

MuRIL 模型
https://hub.tensorflow.google.cn/google/MuRIL/1

预处理模型的动画，该模型让您能轻松地将文本输入 BERT

开发者还可以使用 TF Hub 垃圾留言检测模型来检测在线论坛中的垃圾评论。该模型可用于 TF.js 和 TFLite，且能在浏览器和设备端运行。

TF Hub 垃圾留言检测模型
https://hub.tensorflow.google.cn/tensorflow/tutorials/spam-detection/1

音频

TF Hub 有许多音频模型，可用于桌面设备、移动设备上的设备端推断，或是网页。还有一些音频嵌入模型，可配合迁移学习使用，您可根据自己的数据对其进行调整。

开发者正在使用音频分类来了解森林 (How ZSL uses ML to classify gunshots to protect wildlifeZSL（ZSL 如何使用 ML 对枪声进行分类以保护野生动物）) 或海洋内部 (Acoustic Detection of Humpback Whales Using a Convolutional Neural Network（使用卷积神经网络对座头鲸进行声学检测）) 的情况，甚至与我们生活更相关的，了解自己家中的情况 (Important household sounds become more accessible（重要的家中声音变得更易获取）)。

森林
https://hub.tensorflow.google.cn/google/yamnet/1
海洋内部
https://hub.tensorflow.google.cn/google/humpback_whale/1
Important household sounds become more accessible
https://blog.google/products/android/new-sound-notifications-on-android/

视频

视频处理变得日益重要，而 TensorFlow Hub 也有这个领域的模型，比如可以执行视频分类的 MoViNet 系列或用于动作识别的 I3D。

MoViNet 系列
https://hub.tensorflow.google.cn/google/collections/movinet/1
I3D
https://hub.tensorflow.google.cn/s?module-type=video-classification,video-generation,video-text&q=i3d

TFHub 还有关于动作识别、视频插帧和文本到视频检索的教程。

动作识别
http://tensorflow.google.cn/hub/tutorials/action_recognition_with_tf_hub
视频插帧
https://tensorflow.google.cn/hub/tutorials/tweening_conv3d
文本到视频检索
https://tensorflow.google.cn/hub/tutorials/text_to_video_retrieval_with_s3d_milnce