TensorFlow 模型优化工具包 减少了优化机器学习推理的复杂性。
推理效率是部署机器学习模型时的一个关键问题，因为涉及延迟、内存利用率，以及在许多情况下还有功耗。特别是在移动设备和物联网 (IoT) 等边缘设备上，资源更加有限，模型大小和计算效率成为主要问题。
训练 的计算需求随着在不同架构上训练的模型数量而增长，而推理 的计算需求则与用户数量成正比。
用例
模型优化对于以下方面非常有用：
- 降低云和边缘设备（例如移动设备、IoT）的推理延迟和成本。
- 在处理、内存和/或功耗有限的边缘设备上部署模型。
- 减少空中模型更新的有效负载大小。
- 支持在仅限于或针对定点运算优化的硬件上执行。
- 针对特殊用途硬件加速器优化模型。
优化技术
模型优化领域可能涉及各种技术
- 使用剪枝和结构化剪枝减少参数数量。
- 使用量化降低表示精度。
- 将原始模型拓扑更新为更有效的拓扑，减少参数或加快执行速度。例如，张量分解方法和蒸馏
我们的工具包支持 训练后量化、量化感知训练、剪枝 和 聚类。该工具包还提供对 协作优化 的实验性支持，以结合各种技术。
量化
量化模型是指我们将模型表示为较低精度，例如 8 位整数而不是 32 位浮点数。较低的精度是利用某些硬件的必要条件。
稀疏性和剪枝
稀疏模型是指在运算符（即神经网络层）之间的连接已被剪枝的模型，在参数张量中引入了零。
聚类
聚类模型是指将原始模型的参数替换为更少数量的唯一值的模型。
协作优化
该工具包提供对协作优化的实验性支持。这使您能够从结合多种模型压缩技术中获益，并通过量化感知训练同时提高精度。