TensorFlow Lite 路线图

更新时间:2021 年 5 月

以下是我们路线图的高级概述。请注意,此路线图可能会随时更改,以下顺序不反映任何优先级类型。

我们将路线图分为四个关键部分:可用性、性能、优化和可移植性。我们强烈建议您对我们的路线图发表评论,并在 TensorFlow Lite 讨论组 中向我们提供反馈。

可用性

  • 扩展的操作覆盖范围
    • 根据用户反馈添加目标操作。
    • 为特定领域和区域添加目标操作集,包括随机操作、基本 Keras 层操作、哈希表、选择训练操作。
  • 更多辅助工具
    • 提供 TensorFlow 图表注释和兼容性工具,以在训练期间和转换后验证 TFLite 和硬件加速器的兼容性。
    • 允许在转换期间针对特定加速器进行目标定位和优化。
  • 设备上训练
    • 支持设备上训练以进行个性化和迁移学习,包括一个演示端到端用法的 Colab。
    • 支持变量/资源类型(用于推理和训练)
    • 支持转换和执行具有多个函数(或签名)入口点的图表。
  • 增强的 Android Studio 集成
    • 将 TFLite 模型拖放到 Android Studio 中以生成模型接口。
    • 改进 Android Studio 分析支持,包括内存分析。
  • 模型制作器
    • 支持更新的任务,包括目标检测、推荐和音频分类,涵盖广泛的常见用法。
    • 支持更多数据集,使迁移学习更容易。
  • 任务库
    • 支持更多模型类型(例如音频、NLP),以及相关的预处理和后处理功能。
    • 使用任务 API 更新更多参考示例。
    • 支持所有任务的开箱即用加速。
  • 更多 SOTA 模型和示例
    • 添加更多示例(例如音频、NLP、结构化数据相关)以演示模型用法以及新功能和 API,涵盖不同的平台。
    • 为设备上创建可共享的骨干模型,以降低训练和部署成本。
  • 跨多个平台的无缝部署
    • 在 Web 上运行 TensorFlow Lite 模型。
  • 改进的跨平台支持
    • 扩展和改进 Android 上的 Java、iOS 上的 Swift、RPi 上的 Python 的 API。
    • 增强 CMake 支持(例如,更广泛的加速器支持)。
  • 更好的前端支持
    • 提高与各种创作前端的兼容性,包括 Keras、tf.numpy。

性能

  • 更好的工具
    • 用于跟踪每次发布的性能提升的公共仪表板。
    • 用于更好地了解图表与目标加速器兼容性的工具。
  • 改进的 CPU 性能
    • 默认情况下启用 XNNPack,以实现更快的浮点推理。
    • 使用优化内核的端到端半精度(float16)支持。
  • 更新的 NN API 支持
    • 完全支持更新的 Android 版本 NN API 功能、操作和类型。
  • GPU 优化
    • 使用委托序列化支持改进启动时间。
    • 硬件缓冲区互操作,实现零拷贝推理。
    • 更广泛的设备上加速可用性。
    • 更好的操作覆盖范围。

优化

  • 量化

    • 选择性训练后量化,以将某些层排除在量化之外。
    • 量化调试器,用于检查每层的量化误差损失。
    • 在更多模型覆盖范围上应用量化感知训练,例如 TensorFlow 模型花园。
    • 针对训练后动态范围量化的质量和性能改进。
    • 张量压缩 API,允许使用 SVD 等压缩算法。
  • 剪枝/稀疏性

    • 组合可配置的训练时间(剪枝 + 量化感知训练)API。
    • 增加 TF 模型花园模型上的稀疏性应用。
    • TensorFlow Lite 中的稀疏模型执行支持。

可移植性

  • 微控制器支持
    • 添加对一系列 32 位 MCU 架构用例的支持,用于语音和图像分类。
    • 音频前端:图内音频预处理和加速支持
    • 用于视觉和音频数据的示例代码和模型。