量化为什么会有损失从量化误差到精度下降1. 引言模型量化通过降低模型参数和计算过程中的数值精度将原本使用 FP32 等高精度浮点数据表示的模型转换为 INT8 等低比特整数模型从而降低模型存储空间、减少计算开销并提升模型在边缘设备上的推理效率。然而模型量化带来的收益并不是没有代价的。在 FP32 模型中一个参数可以表示为0.123456经过 INT8 量化后16虽然整数形式更加紧凑但是原始浮点数据中的部分信息已经无法完全保留。这种从高精度数据表示转换为低精度数据表示过程中产生的信息差异就是量化误差Quantization Error。量化误差是模型量化过程中不可避免的问题也是影响量化模型最终精度的重要因素。因此理解模型量化为什么会产生损失需要从量化过程本身出发。本文主要介绍什么是量化损失量化损失产生的本质原因舍入误差如何产生截断误差如何产生为什么量化误差会影响模型最终精度2. 量化损失的概念2.1 从浮点表示到整数表示神经网络模型中的主要数据包括权重Weight偏置Bias激活值Activation训练阶段通常使用 FP32 或 FP16 表示这些数据。例如FP32: 0.127 0.456 -0.832这些浮点数据可以表示非常丰富的数值变化。而 INT8 的表示范围有限[-128,127]因此需要通过量化过程建立浮点空间和整数空间之间的映射关系。量化过程可以表示为浮点值 ↓ 除以 Scale ↓ 取整 ↓ 整数值数学表达quantized_value round(real_value / scale)其中real_value原始浮点值scale量化比例quantized_value量化后的整数值由于取整操作会改变原始数值因此量化后的整数只能近似表示原始浮点值。2.2 量化损失的定义量化损失描述的是量化前后的数值差异。完整过程FP32 ↓ 量化 ↓ INT8 ↓ 反量化 ↓ 近似 FP32例如原始浮点值0.523量化52假设scale 0.01反量化52 × 0.01 0.520因此量化误差 0.523 - 0.520 0.003这个差值就是量化过程中产生的信息损失。3. 量化损失产生的本质3.1 连续空间映射到离散空间量化产生误差的根本原因是连续浮点空间需要映射到有限离散整数空间。FP320.10001 0.10002 0.10003 ...理论上可以表示连续变化。而 INT80 1 2 ...只能表示有限数量的离散状态。因此多个不同的浮点值可能会映射到同一个整数值。例如量化前0.101 0.102 0.103量化后13 13 13那么0.101 0.102 0.103之间的细微差异就无法恢复。这就是量化损失产生的根本原因。3.2 Scale 决定量化精度Scale 决定了整数空间中的一个单位对应多少浮点变化。例如scale 0.01表示INT8 增加 1 对应 FP32 增加 0.01如果INT8 50对应50 × 0.01 0.5如果INT8 51对应51 × 0.01 0.51因此整数之间的最小间隔0.01就是当前量化精度。Scale 越小一个整数单位代表的浮点范围越小 ↓ 量化精度越高Scale 越大一个整数单位代表的浮点范围越大 ↓ 量化误差增加因此Scale 的选择直接影响量化效果。4. 舍入误差Rounding Error4.1 舍入误差产生原因量化过程中浮点值经过 Scale 映射后通常会得到一个非整数结果。例如real_value / scale 12.7但是整数无法表示12.7因此需要进行取整round(12.7)13这个过程中产生的误差就是舍入误差。4.2 舍入误差示例假设scale 0.1原始浮点值1.26量化1.26 / 0.1 12.6取整round(12.6) 13反量化13 × 0.1 1.3因此原始值 1.26 量化后 1.30误差1.26 - 1.30 -0.044.3 舍入误差特点舍入误差具有以下特点单次误差通常较小舍入误差只发生在整数映射过程中。与 Scale 大小相关Scale 越大整数之间距离越大 ↓ 舍入误差可能越明显多层传播会影响模型输出单个参数的误差通常很小。但是神经网络包含大量参数卷积 ↓ 激活 ↓ 下一层计算 ↓ 多层传播大量误差累积后可能影响最终输出。5. 截断误差Clipping Error5.1 截断误差产生原因除了舍入误差之外量化过程中还存在另一类重要误差截断误差Clipping Error。截断误差产生于原始数据超过量化范围无法被目标数据类型表示。INT8 的表示范围[-128,127]但是在实际神经网络计算过程中权重和激活值的分布并不一定完全落在这个范围内。例如实际数据范围[-200,200]其中200已经超过 INT8 最大可表示值127因此量化过程中需要将超出范围的数据限制到边界200 → 127这个过程称为截断Clipping。5.2 截断误差示例假设INT8 最大值127某个浮点激活值2.5经过 Scale 映射2.5 / scale 150但是INT8 最大只能表示127因此150 → 127反量化127 × scale最终恢复出的值会小于真实值反量化结果 2.5这部分差异就是截断误差。与舍入误差相比截断误差通常更大因为它直接丢失了超过表示范围的数据。5.3 截断误差与量化范围的关系量化范围的选择会直接影响截断误差。如果量化范围设置过小覆盖范围不足 ↓ 大量数据超过范围 ↓ 截断增加例如实际激活范围[-5,5]但是设置[-1,1]那么1 以上的数据 都会被限制为最大值大量有效信息会因此丢失。如果量化范围设置过大覆盖范围增加 ↓ Scale 增大 ↓ 整数间隔变大 ↓ 舍入误差增加例如同样使用 INT8范围 A[-1,1]范围 B[-10,10]虽然范围 B 可以覆盖更多数据但是每一个整数单位代表的浮点变化更大范围 Ascale 较小 精度更高范围 Bscale 较大 精度降低因此量化过程需要在数据覆盖范围 和 表示精度之间寻找平衡。6. 量化误差如何影响模型精度单个参数产生的量化误差通常非常有限。例如原始值0.523量化后0.520两者之间误差 0.003对于单个数据点而言这种差异通常不会产生明显影响。但是神经网络具有以下特点参数数量巨大网络层级复杂特征逐层传递因此局部量化误差会随着网络计算不断传播。典型传播过程输入量化误差 ↓ 卷积计算 ↓ 激活输出变化 ↓ 下一层输入变化 ↓ 最终预测变化6.1 分类任务中的影响对于分类模型量化误差可能导致类别概率变化例如量化前Cat: 0.62 Dog: 0.35量化后Cat: 0.56 Dog: 0.41虽然预测结果可能保持不变但是置信度会发生变化。当两个类别概率接近时量化误差可能导致分类结果发生改变。6.2 目标检测任务中的影响对于目标检测模型量化误差可能影响分类置信度边界框回归结果NMS 前后的候选框数量例如量化前object confidence: 0.52量化后object confidence: 0.48如果阈值设置为0.5那么量化前保留目标量化后被过滤因此小幅数值变化可能影响最终检测结果。6.3 语义分割任务中的影响对于语义分割模型量化误差可能影响像素分类结果边界区域预测小目标区域识别尤其对于小目标边缘区域类别间差异较小区域量化误差带来的影响可能更加明显。7. 如何理解量化损失模型量化中的损失本质上来自两个方面7.1 表示精度降低FP32连续高精度空间INT8有限离散空间由于可表示的数据数量减少因此部分细节信息无法完全保留这属于量化过程中的固有损失。7.2 数据范围限制除了表示精度之外数据范围也是影响量化效果的重要因素。如果范围设置过小数据覆盖不足 ↓ 截断误差增加如果范围设置过大Scale 增大 ↓ 舍入误差增加因此量化过程的核心问题是在有限整数表示能力下尽可能保留模型中的有效信息。8. 总结模型量化产生精度损失是由浮点空间向整数空间转换这一过程决定的。FP32 可以表示连续、高精度的数据而 INT8 只能表示有限数量的离散整数。因此在两个空间之间建立映射关系时必然会产生一定的信息损失。量化误差主要包括两类舍入误差由于浮点值经过 Scale 映射后通常无法得到整数结果需要进行取整因此产生舍入误差。特点单次误差通常较小与 Scale 大小相关多层传播后可能影响模型输出截断误差由于数据超过量化范围被限制到最大或最小可表示值因此产生截断误差。特点误差通常较大与数据范围选择密切相关主要影响异常值和极端激活值从本质上看量化损失来源于更高精度表示 ↓ 有限低比特表示这个转换过程中的信息压缩。