简介

模型量化是一种优化技术，它通过减少模型中参数和运算的精度来减小模型大小和加速模型推理。在深度学习领域，模型通常使用16位浮点数（FP16）进行训练，但推理时并不需要如此高的精度。通过量化，可以将模型的权重和激活从FP16降低到更低精度，如8位整数（INT8）。

表1 模型量化方式介绍
量化方式	简介
训练后量化（ONNX）训练后量化（PyTorch）训练后量化（MindSpore）	训练后量化（Post-Training Quantization, PTQ）是一种在不重新训练模型的情况下减少模型大小并提升推理性能的技术。
量化感知训练	在QAT中，量化操作在训练过程中被模拟，使得模型能够适应量化带来的误差。这种方法通常能够提供最佳的量化效果，但需要重新训练模型。

父主题： 模型量化