更新时间:2021 年 5 月
以下是我们路线图的高级概述。请注意,此路线图可能会随时更改,以下顺序不反映任何优先级类型。
我们将路线图分为四个关键部分:可用性、性能、优化和可移植性。我们强烈建议您对我们的路线图发表评论,并在 TensorFlow Lite 讨论组 中向我们提供反馈。
可用性
- 扩展的操作覆盖范围
- 根据用户反馈添加目标操作。
- 为特定领域和区域添加目标操作集,包括随机操作、基本 Keras 层操作、哈希表、选择训练操作。
- 更多辅助工具
- 提供 TensorFlow 图表注释和兼容性工具,以在训练期间和转换后验证 TFLite 和硬件加速器的兼容性。
- 允许在转换期间针对特定加速器进行目标定位和优化。
- 设备上训练
- 支持设备上训练以进行个性化和迁移学习,包括一个演示端到端用法的 Colab。
- 支持变量/资源类型(用于推理和训练)
- 支持转换和执行具有多个函数(或签名)入口点的图表。
- 增强的 Android Studio 集成
- 将 TFLite 模型拖放到 Android Studio 中以生成模型接口。
- 改进 Android Studio 分析支持,包括内存分析。
- 模型制作器
- 支持更新的任务,包括目标检测、推荐和音频分类,涵盖广泛的常见用法。
- 支持更多数据集,使迁移学习更容易。
- 任务库
- 支持更多模型类型(例如音频、NLP),以及相关的预处理和后处理功能。
- 使用任务 API 更新更多参考示例。
- 支持所有任务的开箱即用加速。
- 更多 SOTA 模型和示例
- 添加更多示例(例如音频、NLP、结构化数据相关)以演示模型用法以及新功能和 API,涵盖不同的平台。
- 为设备上创建可共享的骨干模型,以降低训练和部署成本。
- 跨多个平台的无缝部署
- 在 Web 上运行 TensorFlow Lite 模型。
- 改进的跨平台支持
- 扩展和改进 Android 上的 Java、iOS 上的 Swift、RPi 上的 Python 的 API。
- 增强 CMake 支持(例如,更广泛的加速器支持)。
- 更好的前端支持
- 提高与各种创作前端的兼容性,包括 Keras、tf.numpy。
性能
- 更好的工具
- 用于跟踪每次发布的性能提升的公共仪表板。
- 用于更好地了解图表与目标加速器兼容性的工具。
- 改进的 CPU 性能
- 默认情况下启用 XNNPack,以实现更快的浮点推理。
- 使用优化内核的端到端半精度(float16)支持。
- 更新的 NN API 支持
- 完全支持更新的 Android 版本 NN API 功能、操作和类型。
- GPU 优化
- 使用委托序列化支持改进启动时间。
- 硬件缓冲区互操作,实现零拷贝推理。
- 更广泛的设备上加速可用性。
- 更好的操作覆盖范围。
优化
量化
- 选择性训练后量化,以将某些层排除在量化之外。
- 量化调试器,用于检查每层的量化误差损失。
- 在更多模型覆盖范围上应用量化感知训练,例如 TensorFlow 模型花园。
- 针对训练后动态范围量化的质量和性能改进。
- 张量压缩 API,允许使用 SVD 等压缩算法。
剪枝/稀疏性
- 组合可配置的训练时间(剪枝 + 量化感知训练)API。
- 增加 TF 模型花园模型上的稀疏性应用。
- TensorFlow Lite 中的稀疏模型执行支持。
可移植性
- 微控制器支持
- 添加对一系列 32 位 MCU 架构用例的支持,用于语音和图像分类。
- 音频前端:图内音频预处理和加速支持
- 用于视觉和音频数据的示例代码和模型。