本文档概述了模型剪枝，以帮助您确定它是否适合您的用例。
- 要直接深入了解端到端示例，请参阅 使用 Keras 进行剪枝 示例。
- 要快速找到用例所需的 API，请参阅 剪枝综合指南。
- 要探索剪枝在设备上推理中的应用，请参阅 针对 XNNPACK 的设备上推理剪枝。
- 要查看结构化剪枝的示例，请运行教程 具有 2x4 稀疏性的结构化剪枝。
概述
基于幅度的权重剪枝在训练过程中逐渐将模型权重归零，以实现模型稀疏性。稀疏模型更容易压缩，并且我们可以在推理过程中跳过零，以提高延迟。
此技术通过模型压缩带来改进。将来，对该技术的框架支持将提供延迟改进。我们已经看到模型压缩提高了 6 倍，而精度损失最小。
该技术正在各种语音应用中进行评估，例如语音识别和文本转语音，并且已在各种视觉和翻译模型中进行了实验。
API 兼容性矩阵
用户可以使用以下 API 应用剪枝
- 模型构建：
keras，仅限顺序模型和函数式模型 - TensorFlow 版本：TF 1.x（版本 1.14+）和 2.x。
tf.compat.v1（使用 TF 2.X 包）和tf.compat.v2（使用 TF 1.X 包）不受支持。
- TensorFlow 执行模式：图模式和急切模式
- 分布式训练：
tf.distribute，仅限图模式执行
我们正在路线图中添加以下方面的支持
结果
图像分类
| 模型 | 非稀疏 Top-1 准确率 | 随机稀疏准确率 | 随机稀疏性 | 结构化稀疏准确率 | 结构化稀疏性 |
|---|---|---|---|---|---|
| InceptionV3 | 78.1% | 78.0% | 50% | 75.8% | 2x4 |
| 76.1% | 75% | ||||
| 74.6% | 87.5% | ||||
| MobilenetV1 224 | 71.04% | 70.84% | 50% | 67.35% | 2x4 |
| MobilenetV2 224 | 71.77% | 69.64% | 50% | 66.75% | 2x4 |
这些模型在 ImageNet 上进行了测试。
翻译
| 模型 | 非稀疏 BLEU | 稀疏 BLEU | 稀疏性 |
|---|---|---|---|
| GNMT 英语-德语 | 26.77 | 26.86 | 80% |
| 26.52 | 85% | ||
| 26.19 | 90% | ||
| GNMT 德语-英语 | 29.47 | 29.50 | 80% |
| 29.24 | 85% | ||
| 28.81 | 90% |
这些模型使用 WMT16 德语和英语数据集，其中 news-test2013 用作开发集，news-test2015 用作测试集。
关键词识别模型
DS-CNN-L 是为边缘设备创建的关键词识别模型。它可以在 ARM 软件的 示例存储库 中找到。
| 模型 | 非稀疏准确率 | 结构化稀疏准确率（2x4 模式） | 随机稀疏准确率（目标稀疏性 50%） |
|---|---|---|---|
| DS-CNN-L | 95.23 | 94.33 | 94.84 |
示例
除了 使用 Keras 进行剪枝 教程之外，请参阅以下示例
有关背景信息，请参阅剪枝还是不剪枝：探索剪枝在模型压缩中的有效性 [论文]。