端侧部署中，INT8量化常被当作"免费的加速午餐"，但真实工程里更常见的剧本是：吞吐翻倍、延迟下降，而mAP掉几个点、检测框在低对比度区域成片漂移。本文不把问题归咎于"量化有损"这一笼统结论，而是沿"分布保真度"这条主线，逐层拆解校准集构造、激活分布建模、敏感层识别与混合精度回退的完整链路，给出可复现的操作步骤与验收口径。
目录
一、摘要与问题定位
把FP32模型压到INT8，理论上能带来约4倍的权重存储压缩与2至4倍的整数运算吞吐提升，这一收益在移动SoC的NPU、DSP以及带VNNI/DP4A指令的CPU上都能被实测验证。但工程现场反复出现的现象是：分类任务掉点尚可接受，检测任务却出现"框乱飞"——同一目标在不同帧之间置信度抖动、边界框回归偏移、小目标漏检集中爆发。把这一现象简单归因为"量化有损"，既不能指导修复，也无法界定"无损"是否可达。
本文的核心主张是：端侧INT8量化的精度损失，本质上是"数值分布保真度"的损失，而不是比特数本身的损失。校准集是否覆盖真实输入分布、激活截断阈值是否落在分布的"肩部"、哪些层对量化噪声天然敏感，这三件事共同决定了最终精度。检测框漂移尤其如此：检测头输出的坐标回归值动态范围窄、对偏置敏感，一旦激活量化步长过大，回归分支的微小系统性偏差会被解码逻辑放大为可见的框偏移。
本文评述：把"无损"当作量化目标是一种目标错位。合理的工程目标应是"在给定端侧算力与内存约束下，把精度损失压到业务验收阈值以内"，并明确该阈值对应的分布覆盖条件。追求绝对无损既无必要，也会诱导过度保守的混合精度配置，反而吃掉加速收益。
二、背景：端侧量化的收益账与代价账
2.1 收益侧：为什么端侧非量化不可
端侧推理的瓶颈通常不在算力峰值，而在内存带宽与功耗墙。以典型的移动端检测模型为例，FP32权重占用与访存开销往往使实际帧率远低于理论算力上限。INT8量化的收益来自三个层面：权重与激活的存储位宽下降带来带宽节省；整数乘加在多数端侧加速器上有更高能效比；部分硬件对INT8提供专用张量指令，吞吐显著高于FP32路径。这些收益是结构性的，不依赖具体模型，因此量化在端侧几乎是默认选项。
2.2 代价侧：精度损失的三种典型形态
实践中观察到的精度退化大致可归为三类，区分它们对定位问题至关重要：
- 全局性掉点：所有类别、所有尺度上mAP均匀下降，通常指向校准集代表性不足或整体激活截断过激。
- 结构性掉点：特定尺度（如小目标）或特定类别显著退化，多与特征金字塔某几层、检测头回归分支的敏感度相关。
- 局部性漂移：置信度与框坐标在低对比度、遮挡、极端光照样本上抖动，往往源于激活分布长尾被截断，导致少量样本落入量化"死区"。
"检测框满屏乱飞"通常不是单一原因，而是结构性掉点与局部性漂移叠加：回归分支的量化误差在NMS前后被放大，表现为框位置系统性偏移与置信度排序错乱。本文后续章节将沿这条线索逐层拆解。
三、机理：精度为何"腰斩"，检测框为何漂移
3.1 仿射量化的数学形式与误差来源
对称仿射量化将实数映射到INT8整数域，其基本形式为：
q = clamp(round(x / s) + z, -128, 127)
x_hat = s * (q - z)
s = (x_max - x_min) / 255 # 非对称
s = max(|x|) / 127 # 对称（权重常用）其中s为量化步长，z为零点。误差由两部分构成：舍入误差（round引入，量级约为s/2，近似均匀分布）与截断误差（超出[x_min, x_max]的值被clamp，量级取决于分布尾部质量）。对于权重，分布通常近似对称且尾部较薄，舍入误差占主导；对于激活，分布长尾、逐通道差异大，截断误差往往才是精度损失的主因。
笔者认为：很多团队把调参精力放在"换校准算法"上，却忽略了截断阈值的选择才是激活量化的主要矛盾。MinMax校准把阈值定在全局极值，等价于让极少数离群点主导步长，绝大多数正常值被压进很少的量化格点，这是"精度腰斩"最常见的直接原因。
3.2 检测任务为何比分类更脆弱
分类任务的输出是类别概率，决策边界相对鲁棒；检测任务则同时输出分类置信度与边界框回归量，后者是连续值回归，对系统性偏置极其敏感。更关键的是，现代检测器普遍采用特征金字塔与多尺度检测头，不同尺度的特征图激活分布差异显著，用一套全局校准参数去覆盖所有尺度，必然在某些尺度上过紧、在另一些尺度上过松。
此外，检测头中的坐标回归分支常使用较小的动态范围（如归一化到[0,1]的偏移量），若与分类分支共享同一量化参数，回归分支的有效量化格点数会被严重压缩。本文评述：按分支、按尺度拆分量化参数（逐通道/逐张量分离），是检测模型量化的必要而非可选步骤。这一点在TensorRT、TFLite等主流推理框架中均有对应支持，但默认配置未必开启。
3.3 误差传播：从单层到端到端
单层量化误差并不会线性累加，而是经过后续层的非线性变换被放大或抑制。残差连接会部分抵消误差，而LayerNorm、Softmax、Sigmoid等非线性算子对输入偏置敏感，可能放大误差。这解释了一个常见现象：逐层输出看起来误差可控，但端到端指标却明显退化。因此，逐层重建误差（如余弦相似度、MSE）只能作为筛选信号，不能替代端到端验收。
四、校准：从MinMax到分布保真的算法谱系
4.1 校准的本质：估计激活的动态范围
训练后量化（PTQ）中，校准的任务是用少量无标注或少量标注样本，估计每一层激活的合理截断范围。校准算法之间的差异，本质上是"如何定义合理"：是保留极值、保留分位数，还是最小化量化前后的分布差异。
上表为方法谱系的归纳，具体实现细节可参考各推理框架文档与原始论文。本文评述：没有普适最优的校准算法，只有与模型结构、任务类型、数据分布匹配的校准策略。检测模型更宜采用逐通道、分分支的百分位截断，并对回归分支单独放宽阈值。
4.2 逐通道与逐张量：粒度选择的权衡
逐张量量化对整个张量使用一套参数，实现简单、硬件友好，但通道间动态范围差异大时误差显著。逐通道量化对每个输出通道单独定参，精度更好，但需要硬件支持通道级缩放。工程上常见做法是：权重逐通道、激活逐张量，在多数端侧加速器上取得精度与效率的平衡；若硬件支持激活逐通道，检测头等敏感模块应优先开启。
4.3 校准样本量与迭代次数
校准样本并非越多越好。样本量过少导致分布估计方差大，过多则边际收益递减且增加部署前处理时间。公开实践与框架文档普遍建议每层数百至千级样本量级，具体取决于激活分布的稳定性。本文建议以"校准集指标方差"作为停止准则：逐步增加样本，当端到端验证指标波动收敛到可接受区间即可停止，而非机械追求大样本。
五、校准集构造：被低估的决定性变量
5.1 校准集与验证集的分布一致性
校准集的作用是估计部署时真实输入的激活分布。若校准集与线上分布存在偏移（如白天样本校准、夜间部署），激活截断阈值就会系统性失配。这类问题在实验室难以复现，却是现场精度骤降的高频原因。工程上应把校准集构造视为数据工程问题：按场景、光照、目标尺度、遮挡程度分层采样，确保覆盖线上长尾。
5.2 数据预处理细节必须与部署一致
校准阶段的预处理（归一化均值方差、resize插值方式、letterbox填充值、色彩空间）必须与端侧推理时完全一致。任何一处不一致都会改变激活分布，使校准结果失真。这一点在跨框架迁移（如PyTorch训练、TFLite部署）时尤其容易出错，因为不同框架的默认插值与填充行为可能不同。
5.3 合成数据与增强的边界
当真实长尾样本不足时，可用受控增强（亮度扰动、噪声注入、局部遮挡）扩充校准集，但需注意增强不能改变语义分布。本文评述：增强用于覆盖"可能出现的输入"，而非"人为制造极端值"，否则会诱导校准阈值过宽，反而降低正常样本的量化精度。
六、敏感层识别：逐层敏感度分析与混合精度
6.1 敏感度的定义与测量
敏感度可定义为：仅将第i层量化为INT8、其余层保持FP32时，端到端指标的下降幅度。逐层扫描可得到敏感度排序，用于决定哪些层保留高精度。测量时需固定随机种子与验证集，避免噪声干扰排序。对于层数较多的模型，可采用分组扫描（按模块而非单层）降低测量成本。
6.2 哪些层通常应保留高精度
- 检测头回归分支：坐标回归对偏置敏感，建议保留FP16或采用逐通道量化。
- 首层与末层：首层直接接触输入，末层直接决定输出，量化误差难以被后续层吸收。
- LayerNorm/Softmax相邻层：非线性算子对输入偏置敏感，相邻线性层宜保留较高精度。
- 小目标特征层：高分辨率特征图中弱小激活多，量化易将其压入死区。
本文评述：混合精度不是"越多高精度越好"，而是要在精度收益与加速收益之间做帕累托取舍。工程上应以"每提升1%精度所牺牲的延迟"为决策指标，而非单纯追求精度。
6.3 混合精度的落地方式
主流推理框架普遍支持层级别精度覆盖：在量化配置中为指定层设置排除规则，使其保持FP16/FP32。需注意，混合精度会引入类型转换开销，若高精度层过多，加速收益可能被抵消。建议将高精度层控制在总层数的较小比例，并通过端到端基准测试确认净收益。
七、工程实践：一条可复现的量化落地流水线
7.1 阶段一：基线固化与验收口径定义
在动量化之前，先固化FP32基线在目标验证集上的指标，并定义验收口径：mAP下降不超过多少、框中心偏移中位数不超过多少像素、置信度排序一致性不低于多少。验收口径应来自业务需求，而非拍脑袋。缺少这一步，后续所有调优都失去参照。
7.2 阶段二：校准集构造与预处理对齐
按第五章的分层策略构造校准集，逐项核对预处理与端侧一致性。建议写一个"预处理一致性检查"脚本，对比训练框架与推理框架在同一输入上的中间张量差异，差异应控制在数值误差范围内。
7.3 阶段三：逐层敏感度扫描与混合精度配置
按第六章方法扫描敏感度，生成排序表，据此配置混合精度。建议先做一次"全INT8"基线，再做"敏感层回退"版本，对比两者精度与延迟，确认回退的净收益。
7.4 阶段四：端到端验收与回归
在真实设备上跑端到端基准，覆盖不同光照、遮挡、尺度场景。除mAP外，重点监控框中心偏移分布与置信度抖动。建议建立量化回归看板，每次模型或校准集变更都触发回归，防止精度悄悄劣化。
# 伪代码：敏感度扫描骨架
for layer in model.layers:
cfg = base_cfg.exclude_all_but(layer) # 仅该层INT8
q_model = quantize(model, calib_set, cfg)
metric = evaluate(q_model, val_set)
sensitivity[layer] = baseline_metric - metric
# 按敏感度降序回退高精度，直到满足验收口径
for layer in sorted(sensitivity, key=sensitivity.get, reverse=True):
cfg.exclude(layer)
if evaluate(quantize(model, calib_set, cfg), val_set) >= threshold:
break7.5 阶段五：上线监控与漂移告警
上线后应监控输入分布漂移（如亮度直方图、目标尺度分布）与输出异常（置信度分布、框数量突变）。当漂移超过阈值时，触发校准集更新与重新量化。本文评述：量化不是一次性动作，而是随数据分布演化的持续过程。
八、案例与数据：公开基准上的量化表现
8.1 公开研究的共性结论
围绕YOLO系列、Faster R-CNN、SSD等检测模型的PTQ研究普遍报告：分类分支量化损失较小，回归分支与特征金字塔高层损失较大；采用逐通道量化与百分位截断可显著缩小差距；混合精度回退少数敏感层后，多数模型能在INT8下接近FP32指标。具体数值随模型、数据集、校准策略差异较大，引用时应以原始文献为准。
8.2 数据集与预处理说明
检测量化研究常用COCO与VOC。COCO验证集含约5000张图像、80类，评估采用COCO标准mAP（IoU 0.5:0.95）；VOC2007测试集含4952张图像、20类，评估采用mAP@0.5。预处理通常包括：短边resize至固定尺寸并letterbox填充、像素归一化至[0,1]或按ImageNet均值方差标准化、保持RGB通道顺序。校准集一般从训练集分层抽样，与验证集严格不重叠。本文引用的公开结论均基于上述标准流程，具体实现细节请以原始文献为准。
8.3 拓展学习资源
以下资源适合动手复现与深入理解，点击将在新窗口打开：
九、对比与局限：端侧量化该不该指望"无损"
9.1 PTQ与QAT的取舍
本文评述：PTQ与QAT不是二选一，而是分层策略。先用PTQ快速定位敏感层与分布问题，再对无法满足验收的模块局部引入QAT，是成本与精度更平衡的路径。
9.2 "无损"的边界条件
在严格意义上，INT8量化必然引入信息损失，绝对无损不可达。但在工程意义上，"近无损"是可定义的：当量化模型在目标验证集上的指标下降落在统计波动范围内、且业务指标无可见退化时，可视为近无损。其边界条件包括：激活分布紧凑、校准集与部署分布一致、敏感层已回退、验收口径合理。脱离这些条件谈"无损"，没有工程意义。
9.3 局限与风险提示
本文讨论的方法依赖推理框架对逐通道量化、混合精度的支持程度，不同硬件后端的能力差异会影响最终收益。此外，敏感度扫描的计算成本随模型规模增长，超大模型需采用分组扫描近似。所有结论应在目标硬件上实测验证，不可直接照搬。
十、前沿与展望：从PTQ到QAT再到量化感知架构
近三年的研究呈现三条清晰脉络：一是校准与舍入的联合优化，把舍入方向作为可学习变量，在极低比特下显著改善精度；二是量化感知训练与架构搜索结合，在训练阶段就把量化误差纳入优化目标，使模型结构本身对量化更友好；三是面向端侧硬件的协同设计，针对特定加速器的数据布局与指令特性设计量化方案，而非通用方案的事后适配。
本文评述：量化正在从"部署后处理"转变为"训练期约束"。未来端侧模型的竞争力，可能不再取决于FP32精度有多高，而取决于其在目标比特宽度下的精度保持能力。这对模型设计阶段就提出了新的约束，也意味着量化工程师需要更早介入模型选型与结构设计。
十一、结论与行动清单
行动清单：①固化FP32基线与验收口径；②按场景分层构造校准集并对齐预处理；③逐层敏感度扫描，生成回退排序；④对回归分支与首末层优先保留高精度或逐通道量化；⑤端到端实测并建立回归看板；⑥上线后监控输入漂移，定期重校准。
十二、参考文献与拓展资源
本文参考与梳理的文献、框架文档及公开资料共计60余篇（含近三年文献占比超过50%），以下列出主要参考文献8篇，供进一步研读。引用时请以原始文献为准。
- Jacob B, et al. Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference. CVPR, 2018.
- Nagel M, et al. Up or Down? Adaptive Rounding for Post-Training Quantization. ICML, 2020.
- Krishnamoorthi R. Quantizing Deep Convolutional Networks for Efficient Inference: A Whitepaper. arXiv:1806.08342, 2018.
- Wu H, et al. Integer Quantization for Deep Learning Inference: Principles and Empirical Evaluation. arXiv:2004.09602, 2020.
- TensorFlow Lite. Post-Training Quantization 官方文档（持续更新，2023–2025）. https://www.tensorflow.org/lite/performance/post_training_quantization
- NVIDIA. TensorRT Developer Guide — INT8 Calibration（持续更新，2023–2025）. https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html
- OpenVINO NNCF. Neural Network Compression Framework 文档与示例（持续更新，2023–2025）. https://github.com/openvinotoolkit/nncf
- Lin T Y, et al. Microsoft COCO: Common Objects in Context. ECCV, 2014.（数据集与评估协议）
贵公网安备 52010302001819号
