TensorFlow模型优化

译者: Jack
原文: https://www.tensorflow.org/model_optimization/guide

TensorFlow模型优化工具包最大限度地降低了优化机器学习推理的复杂性。

在部署机器学习模型时，由于延迟，内存利用率以及在许多情况下的功耗，推理效率是一个关键问题。特别是在诸如移动和物联网（IoT）的边缘设备上，资源进一步受到限制，并且模型尺寸和计算效率成为主要关注点。

对模型训练的计算需求随着在不同体系结构上训练的模型的数量而增长，而推理的计算需求与用户数量成比例地增长。

用例

除其他事项外，模型优化很有用，如：

• 减少云和边缘设备（例如移动，物联网）推理的延迟和成本。
• 在边缘设备上部署模型，限制计算处理，内存和/或功耗。
• 减少模型大小以进行在线模型更新。
• 在只能进行定点操作的硬件或为定点操作优化的硬件上运行模型。
• 为专用硬件加速器优化模型。

优化技术

模型优化的领域可能涉及各种技术：

• 通过剪枝和结构化剪枝减少模型参数个数。
• 通过量化(quantization)降低表示精度。
• 通过减少参数或更快执行速度，将原始模型拓扑更新为更高效的拓扑。例如，张量分解方法和蒸馏。
• 我们的工具包支持训练后量化和修剪。训练期间的量化即将到来。

量化

量化模型是具有较低精度的模型，例如使用8位整数而不是32位浮点数。某些硬件的要求使用较低的精度。

稀疏性和剪枝

稀疏模型是那些在操作(operator)（即神经网络层）之间的连接被剪枝的模型，它的实现是将零引入参数张量。