基于TensorFlow Lite的几项技术更新

自年初在 google i/o 大会上宣布推出 movenet 以来，我们已经收到了众多积极反馈和功能请求。今天，我们很高兴能与大家分享以下几项技术更新：
●
movenet 的 tensorflow lite 版本现已在 tensorflow hub 上推出。我们对该版本进行了一些可提升准确率的更新，并使其与硬件加速器兼容，其中包括 gpu 和获得 android nn api 支持的其他加速器。
tensorflow hub
http://hub.tensorflow.google.cn/s？deployment-format=lite&q=movenet
●
我们发布了可在 android 环境下使用 raspberry pi 的全新姿态预测示例，可让您在移动设备和 iot 设备上试用 movenet。（即将支持 ios 系统）
android
https://github.com/tensorflow/examples/tree/master/lite/examples/pose_estimation/android
raspberry pi
https://github.com/tensorflow/examples/tree/master/lite/examples/pose_estimation/raspberry_pi
●
同时，我们还发布了 colab notebook，旨在教会您如何利用 movenet 对自定义姿势进行分类（例如，识别不同的瑜伽姿势）。您可以在上文提到的 android、ios 和 raspberry pi 应用中试用姿态分类。
notebook
https://tensorflow.google.cn/lite/tutorials/pose_classification
什么是姿态预测？
姿态预测是一项机器学习任务，即通过预测图像或视频中特定身体部位（关键点）的空间位置来预测人物姿态。movenet 是目前最先进的姿态预测模型，能够检测以下 17 个关键点：
鼻子
左眼和右眼
左耳和右耳
左肩和右肩
左肘和右肘
左腕和右腕
左臀和右臀
左膝和右膝
左脚踝和右脚踝
我们发布了以下两个 movenet 版本：
●
movenet.lightning 模型体积更小、速度更快，但在准确性方面不如 thunder 模型。该模型能在现代智能手机上实时运行。
movenet.lightning
http://hub.tensorflow.google.cn/google/movenet/singlepose/lightning/
●
movenet.thunder 模型准确性更高，但体积较 lightning 模型而言更大，速度也相对较慢。
movenet.thunder
http://hub.tensorflow.google.cn/google/movenet/singlepose/thunder/
各种基准数据集（参见下文表中的评估/基准结果）中的数据表明，movenet 模型的表现优于我们先前的 tensorflow lite 姿态预测模型 posenet（论文、文章和模型）。
论文
https://arxiv.org/abs/1803.08225
文章
https://medium.com/tensorflow/track-human-poses-in-real-time-on-android-with-tensorflow-lite-e66d0f3e6f9e
模型
https://storage.googleapis.com/download.tensorflow.org/models/tflite/posenet_mobilenet_v1_100_257x257_multi_kpt_stripped.tflite
以上 movenet 模型支持 tensorflow lite fp16 和 int8 量化格式，可最大限度与硬件加速器兼容。
此次 movenet 版本可识别输入图像中的单一姿态。如果图像中的人数超过一个，该模型会通过剪裁算法将尽可能地聚焦在离图像中心最近的人物身上。同时，我们还采用了智能剪裁算法，来提高视频检测的准确率。简而言之，该模型将放大前一帧中检测到姿态的区域，继而查看更细节的部分，然后根据当前帧做出更准确的预测。
如果您想深入了解 movenet 的实现过程，请查看之前发布的文章，其中包括 movenet 模型架构和其训练时用到的数据集。
android 与 raspberry pi
的示例应用
我们发布了全新的姿态预测示例应用，便于您在所选平台上快速试用不同的姿态预测模型（movenet lightning、movenet thunder 和 posenet）。
android 示例
ios 示例
raspberry pi 示例
在 android 和 ios 示例中，您也可以选择使用加速器（gpu、nnapi 或 coreml）来运行姿态预测模型。
android 示例应用屏幕截图。图像来自 pixabay
movenet 性能
我们已对 movenet 进行优化，使其能在由 tensorflow lite 提供支持的硬件加速器（包括 gpu 和获得 android nn api 支持的加速器）上更好地运行。movenet 的性能基准结果可助您选择最适合您用例的运行时配置。
模型大小（mb）map*延迟时间（ms） **
pixel 5 -
cpu 4 线程pixel 5 - gpuraspberry pi 4 -
cpu 4 线程
movenet.
thunder
（fp16 量化）12.6mb72.0155ms45ms594ms
movenet.
thunder
（int8 量化）7.1mb68.9100ms52ms251ms
movenet.
lightning
（fp16 量化）4.8mb63.060ms25ms186ms
movenet.
lightning
（int8 量化）2.9mb57.452ms28ms95ms
posenet（mobilenetv1
主干，fp32）13.3mb45.680ms40ms338ms
* 我们在 coco 关键点数据集的子集上测量 map，并在其中筛选并裁剪每张图像，使其只包含一个人像。
** 在持续负载下，我们使用带有 tensorflow 2.5 的 android 和 raspberry pi 示例应用测量端到端的延迟时间。
●
选择 lightning 或 thunder 模型。首先，您应该了解 lightning 模型的准确率能否满足您的用例。
对于您的用例而言，如果 lightning int8 模型的准确率足够高，则可以选择该模型，因为它是系列模型中体积最小、速度最快的模型。模型的越快则意味着其能耗越少。
如果准确率对于您的用例而言至关重要，thunder fp16 模型则是理想之选。
●
选择加速器。加速器的性能会因不同的制造商制造的 android 设备而异。
cpu 是最为安全便捷的选择，因为可以肯定的是，cpu 几乎可以在任何能运行 tensorflow lite 的 android 设备上正常工作。但在通常情况下，相较于在加速器上运行模型，在 cpu 运行模型时速度更慢，且耗能更高。所有 movenet 模型都能在 cpu 上运行良好，因此您应该根据自身的准确率需求选择模型。
gpu 是应用最广泛的加速器，能够提供出色的性能提升。如果您想使用 gpu，fp16 量化模型则是理想之选。
android nnapi 是一种能在 android 设备上支持其他 ml 加速器的便捷方式。如果您已经将 cpu 或 gpu 用于其他工作负载，并且用户设备运行版本为 android 10 或更高版本，则您可以选择满足您准确率需求的模型，并让 nnapi 选择最适合您模型的路径。
如果您是 iot 开发者，不妨使用 coral 来提升推理速度。请在此处查看 coral 基准数据。
此处
https://coral.ai/models/pose-estimation/
●
对模型进行无线部署，而非将其捆绑在应用的二进制文件中。
由于 android 生态系统的多元化，我们无法提供适用于所有用户的统一模型。对于使用低端设备的用户而言，lightning int8 模型是最佳选择，因为该模型速度最快，且能耗最少。然而对于使用高端设备的用户而言，不妨凭借 thunder fp16 模型提供更为出色的性能。如果您想根据用户设备更改模型，则可以考虑使用免费版firebase ml 托管您的模型，而非将所有打算使用的模型捆绑到应用中。如果用户开始使用需要 tflite 模型的应用功能，则您可以编写逻辑，为每个用户设备下载最佳模型。
firebase ml
https://firebase.google.com/docs/ml/manage-hosted-models
姿态分类
tensorboard 是 tensorflow 的可视化工具包。通过将 tensorflow quantum 模型与 tensorboard 进行集成，您将获得许多开箱可用的模型可视化数据，例如训练损失和准确性、可视化模型图和程序分析。
为简化姿态分类流程，我们还发布了 colab notebook，该工具能够教您如何通过结合 movenet 和 tensorflow lite，并根据自定义姿态数据集来训练自定义姿态分类模型。这表示如果您想要识别瑜伽姿势，您需要做的就是收集您想识别的姿态图像并为其添加标签，然后按照教程进行训练，接着将瑜伽姿势分类器部署到您的应用中。
姿态分类器由两个阶段构成：
1. 利用 movenet 检测输入图像中的关键点。
2. 利用小型 tensorflow lite 模型，对已检测到的关键点进行姿态分类。
利用 movenet 进行姿态分类的示例。输入图像来自 pixabay
为训练自定义姿态分类器，您需要准备姿态图像，并将它们放入下图所示的文件夹结构中。您可以根据想要识别的类别为每个子文件夹命名。然后运行 notebook 来训练自定义姿态分类器，并将其转换为 tensorflow lite 格式。
yoga_poses
|__ downdog
|______ 00000128.jpg
|______ 00000181.bmp
|______ 。..
|__ goddess
|______ 00000243.jpg
|______ 00000306.jpg
|______ 。..
。..
tensorflow lite 姿态分类模型非常小，其大小只有 30kb 左右。该模型从 movenet 中获取标记点输出，使姿态坐标标准化，并将坐标传递至几个完全连接的层中。模型的输出是一个概率列表，即姿态为每个已知的姿态类别。
tensorflow lite 姿态分类模型概览
您可以在任何已发布的 android 或 raspberry pi 姿态预测示例应用中试用姿态分类模型。
android
https://github.com/tensorflow/examples/tree/master/lite/examples/pose_estimation/android
raspberry pi
https://github.com/tensorflow/examples/tree/master/lite/examples/pose_estimation/raspberry_pi#run-the-pose-classification-sample
未来计划
我们的目标是提供核心的姿态预测技术以及动作识别引擎，让开发者在此基础上构建创新性应用。以下是我们目前正在积极研究的一些方向：
●
对 movenet 当前版本做出改进，使其能在同一转接路径中检测多种姿态。
●
研发新型动作识别技术，使其能在多个帧上检测姿态。