摘要：“人在回路蒸馏”指的是让具备领域经验的专家在真实或回放的任务流中，实时标出关键异常时刻，并同步给出判断依据（证据、规则、反例与置信度），再由工程管线把这些结构化反馈转成监督信号、偏好信号与过程奖励，用于训练或校正学生模型。本文以“专家判断依据的可计算化程度”为贯穿主线，把这类蒸馏拆成时刻定位、依据结构化、信号转化、规模复制四段链路，逐段分析其成本结构与失真来源，并给出可操作的流程设计、数据规范与评估方法。结论是：该模式在“低频高价值异常”场景具备明确的规模化路径，但规模化的上限不由标注人力决定，而由依据的可形式化比例与复核吞吐决定。
目录
一、问题定义：什么叫“人在回路”的蒸馏
1.1 从模型蒸馏到过程蒸馏
经典的知识蒸馏（Knowledge Distillation）由Hinton等人在2015年系统化提出，核心是让学生模型拟合教师模型的软标签分布，用温度系数T平滑概率，从而传递“类间相似性”这类暗知识。这条路线的前提是：教师是一个可调用、可批量推理的模型。而本文讨论的场景里，教师是人——一位在产线、机房、手术室或风控台前工作了十几年的老师傅。人无法被批量调用，也无法对每个样本输出完整概率分布，但他能做一件模型做不到的事：在具体时刻指出“这里不对”，并说清“我为什么这么判断”。
因此，这里的“蒸馏”不是logits层面的拟合，而是判断过程的蒸馏：把专家的注意力分配（看哪里）、证据引用（凭什么）、规则边界（什么情况下不成立）与置信度（有多确定）抽取出来，转成学生模型可优化的目标。笔者认为，把它称作“过程蒸馏”比“人在回路蒸馏”更准确，因为“人在回路”只描述了数据采集形态，没有描述被蒸馏的对象。本文后续统一使用“过程蒸馏”，并在需要强调采集形态时保留“人在回路”的限定。
1.2 三个必须区分的概念
工程讨论中常把三件事混为一谈，导致预算与预期错配。第一是主动学习（Active Learning）：模型挑出不确定样本请人标注，优化的是“标注什么”，标签仍是结果标签。第二是RLHF式的偏好标注：人对多个输出排序，优化的是“哪个更好”，信号是相对偏好。第三才是本文的过程蒸馏：人不仅给结果，还给推理路径与证据位置，信号是过程性的。
三者的成本结构完全不同。主动学习省的是标注量，偏好标注省的是表达难度（排序比写理由容易），过程蒸馏贵在表达，但换来的信号密度最高。本文评述：如果一个任务的结果标签本身就足以定义正确性（例如图像分类），强行上过程蒸馏是浪费；只有当“结果对但过程错”会带来严重下游风险时（例如模型靠伪影判断病灶、靠泄漏特征判断欺诈），过程信号才具有不可替代的价值。
1.3 适用边界的粗判据
可以用三个维度快速判断是否值得投入：异常发生率（越低越适合，因为专家时间花在刀刃上）、判断的可解释性（专家能否说出依据，若纯靠直觉则难以结构化）、错误的代价（漏检代价越高，过程信号越值钱）。三者都高时，过程蒸馏的投入产出比最优；若异常高频且结果标签充分，则应回到常规监督学习。
二、原理与链路：从一句“这里不对”到可训练信号
2.1 四段链路的总览
一条完整的链路包含四段：时刻定位（专家在时间轴或特征轴上圈出异常区间）、依据结构化（把口头理由转成证据引用、规则、反例、置信度）、信号转化（把结构化依据映射为损失项、奖励项或约束）、规模复制（用少量专家信号训练评审模型，再由评审模型放大覆盖）。四段中任何一段失真，后面的放大都会把误差放大。
本文的主线判断是：规模化的上限由第二段的“可形式化比例”决定，而不是由第一段的标注速度决定。很多团队把精力放在做一个好用的标注工具上，却忽略了专家说出的理由有相当比例无法转成机器可用的约束，这部分“不可形式化残差”才是真正的天花板。
2.2 时刻定位：区间而非点
专家说“大概在这几秒”，实际信息量远大于一个时间戳。工程上应记录为带起止的区间，并区分三种粒度：事件级（一段异常）、片段级（异常中的关键子段）、证据级（支撑判断的具体通道或区域）。以工业时序为例，某段振动信号出现异常，专家可能指出“第37到41秒的包络抬升是主因，但真正让我下判断的是第39秒的二次谐波缺失”。这句话同时给出了事件区间、片段区间与证据通道。
定位环节的常见失真有两个：一是事后归因偏差，专家看到结果后再回看录像，容易把因果链补得比当时更完整；二是粒度漂移，不同专家对“一段异常”的边界划定不一致。前者可通过“盲看回放+先写判断后看结果”的流程缓解，后者需要预先定义边界规则并做一致性校准。
2.3 依据结构化：四类可计算对象
把口头理由转成机器可用对象，实践中可归为四类，其可形式化难度依次上升：
| 类型 | 示例 | 可计算形式 | 难度 |
|---|---|---|---|
| 证据引用 | “看第3通道的谐波” | 通道/区域掩码、注意力先验 | 低 |
| 阈值规则 | “超过这个幅度就该报警” | 单调约束、区间约束 | 中低 |
| 反例边界 | “这种形态像但其实是正常磨损” | 对比样本对、负例挖掘 | 中高 |
| 因果链 | “先有A再有B，B是A的结果” | 时序先后约束、干预式检验 | 高 |
本文评述：四类中真正能大规模自动转化的是前两类，反例边界需要专家额外提供对照样本，因果链则往往需要实验设计配合。因此，工程上应优先把采集模板设计成“证据+阈值”为主、“反例”为辅，因果链只在少数高价值案例上做深访。把采集模板设计好，等于在源头提高了可形式化比例。
2.4 信号转化：三类损失与一个奖励
结构化依据进入训练，通常落到三类损失：证据掩码对应注意力/特征选择损失（如对指定通道施加稀疏先验）；阈值规则对应单调性或区间约束损失；反例对应对比损失。此外，专家给出的置信度可作为样本权重，低置信样本降权而非丢弃。
若学生模型是生成式或决策式智能体，还可引入过程奖励：在推理轨迹的每个关键步骤上，用专家标注的证据位置做步骤级打分，形成稠密奖励。这与仅用最终结果做稀疏奖励相比，能显著缓解信用分配问题。需要提醒的是，过程奖励若设计不当，会诱导模型“表演推理”——输出看起来符合专家表述的步骤，但内部计算并未真正依赖这些证据。检验方法是做证据消融：把被引用的通道置零，若模型输出不变，说明证据未被真正使用。
2.5 规模复制：评审模型与主动采样
当专家信号积累到一定量（实践中常见数百到数千条高质量案例即可起步，具体取决于任务复杂度），可训练一个评审模型：输入学生模型的输出与证据，判断其判断依据是否成立。评审模型的作用不是替代专家，而是把专家的复核吞吐放大——专家从“逐条看”变成“看评审模型挑出的分歧样本”。这与主动学习的思路一致，但筛选依据从“模型不确定”变成了“评审与专家不一致”，后者更贴近过程质量。
这一段的工程要点是分歧采样：优先把评审模型高置信、专家低置信（或反之）的样本送回复核。这类样本信息量最大，也最容易暴露评审模型的系统性偏差。
三、工程落地：可复用的标注协议与管线设计
3.1 采集界面：把“说理由”变成“填结构”
让专家自由口述再事后整理，成本极高且信息损失大。更可行的做法是把界面设计成半结构化表单：时间轴上拖选区间，通道列表勾选证据，规则用下拉+数值填空，反例从候选池中挑，最后给一个1到5的置信度。自由文本只保留一个“补充说明”框，用于捕捉模板覆盖不到的情况。
笔者认为，界面设计的核心指标不是“专家用得爽”，而是单条案例的结构化字段完整率。若某字段长期空缺，要么是模板设计不合理，要么是该类依据本身不可形式化，两者都需要在周度复盘中被识别出来。
3.2 数据规范：一条案例的最小字段集
建议的最小字段集包括：案例ID、采集时间、任务上下文（设备/账号/工况）、事件区间、片段区间、证据引用（通道或区域列表）、规则描述与参数、反例ID（可空）、置信度、专家ID、是否盲看。其中“是否盲看”用于后续做归因偏差分析，“专家ID”用于一致性统计。
{
"case_id": "C-2024-0871",
"context": {"asset": "pump-07", "load": 0.62},
"event_span": [37.0, 41.0],
"segment_span": [38.6, 39.4],
"evidence": [{"channel": "vib-3", "type": "harmonic_missing"}],
"rule": {"kind": "threshold", "metric": "envelope", "op": ">", "value": 2.4},
"counterexample_id": "C-2024-0655",
"confidence": 4,
"expert_id": "E-12",
"blind": true
}这套字段的价值在于可校验：区间是否越界、证据通道是否存在、规则参数是否在物理量程内，都能在入库时自动检查。数据质量前置，比事后清洗便宜一个数量级。
3.3 管线：从入库到训练的四道闸
第一道是格式闸，做字段完整性与量程校验；第二道是一致性闸，对同一案例由第二位专家做抽检，计算区间重叠度与规则一致率；第三道是可转化闸，判断该案例能否映射到现有损失项，不能映射的进入“待扩展”队列而非直接丢弃；第四道是泄漏闸，检查证据引用是否意外包含了标签泄漏特征（例如设备编号隐含了故障批次）。
四道闸中，第三道最容易被忽视。很多团队把无法转化的案例当成噪声删掉，结果训练集只剩下容易形式化的那部分，模型在难例上的表现反而下降。正确做法是把“待扩展”队列作为损失函数迭代的输入。
3.4 工具与参考实现
开源侧可参考Label Studio的多模态标注模板与自定义控件机制，适合快速搭出时间轴+表单的采集界面；时序场景可参考TSStudio一类工具的事件区间标注能力。训练侧，若采用对比损失与掩码约束，PyTorch官方教程中的对比学习与特征掩码示例可直接改造。以下链接供拓展阅读（均在新窗口打开）：
四、规模化的真实瓶颈：成本、失真与复核吞吐
4.1 成本结构：贵在表达而非观看
过程蒸馏的单条成本可拆为观看时间、表达时间、复核时间三部分。观看时间随任务时长线性增长，但表达时间往往才是大头——把“我觉得不对”转成结构化字段，熟练专家也需要数分钟。复核时间则取决于一致性水平，一致性越低，复核越重。
本文评述：很多成本估算只算了观看时间，导致预算严重低估。更合理的估法是按“有效结构化案例数”计费，并把返工率计入。若一致性抽检的规则一致率低于某个阈值（实践中常以80%作为经验分界，具体需按任务校准），说明模板或培训有问题，此时继续扩量只会放大噪声。
4.2 失真来源：三类系统性偏差
第一类是事后合理化：专家在知道结果后，把当时的模糊直觉补成清晰规则。缓解手段是盲看与“先记录后揭晓”。第二类是表述惯性：专家习惯用某几个词描述不同现象，导致字段被过度复用。缓解手段是定期做字段语义校准，用具体案例反查字段定义。第三类是专家间差异：不同老师傅的阈值与边界不同，这不是错误而是分布。工程上不应强行统一，而应把专家ID作为条件变量保留，让模型学到“在某类工况下A专家的判据更适用”。
4.3 复核吞吐：规模化的真正闸门
即使采集端能扩量，复核端的人力是刚性的。设专家每小时可复核N条，其中分歧样本占比为p，则有效复核吞吐约为N·p条高价值样本。提升吞吐有两条路：降低p（提高评审模型与专家的一致性）或提高N（改进复核界面，把“看全量”变成“看差异高亮”）。前者靠评审模型迭代，后者靠界面工程。
笔者认为，规模化讨论中最容易被忽略的正是这个乘法关系：采集量翻倍但p不变，复核端立刻成为瓶颈，积压的未复核数据不仅不产生价值，还会因分布漂移而过期。因此，健康的节奏是采集与复核同步扩，而不是先囤数据。
4.4 与纯自动蒸馏的对比
| 维度 | 纯自动蒸馏 | 过程蒸馏（人在回路） |
|---|---|---|
| 信号密度 | 低（仅结果/软标签） | 高（证据+规则+反例） |
| 单位成本 | 极低 | 高 |
| 可扩展性 | 近乎无限 | 受复核吞吐约束 |
| 适用场景 | 结果可定义、过程容错高 | 低频高代价、过程风险大 |
五、评估体系：如何证明“教练”真的教对了
5.1 三层评估：结果、过程、鲁棒
结果层看常规指标（准确率、召回、误报率），但过程蒸馏的价值恰恰体现在结果指标看不出差异的地方。过程层应评估：证据命中率（模型关注区域与专家证据的重合度）、规则一致率（模型在专家规则边界附近的行为是否符合预期）、反例区分度（模型能否把专家给出的反例正确排除）。鲁棒层做证据消融与分布偏移测试，验证模型是否真正依赖被引用的证据。
5.2 证据消融：最便宜也最有效的检验
具体做法：对每个测试样本，按专家证据引用把对应通道或区域置零（或用均值替换），观察模型输出变化。若输出几乎不变，说明模型并未使用该证据，过程蒸馏可能只学到了表面表述。这一检验不需要额外标注，成本极低，建议作为上线前的必做项。
5.3 一致性指标与数据预处理说明
一致性可用区间重叠度（如IoU）与规则一致率两个指标。以某公开时序异常检测数据集为例（如NASA提供的轴承退化数据、或UCR异常档案中的部分序列），若要做过程蒸馏研究，需先做预处理：统一采样率、按工况分段、对缺失段做标记而非插值、把专家标注区间对齐到统一时间基准。需要说明的是，公开数据集通常只有结果标签，过程标注需自行采集，因此本文不引用任何虚构的过程标注数据；文中涉及的比例与阈值均为工程经验区间，标注为经验值而非实验结论。
5.4 上线后的持续监控
上线不是终点。应持续监控评审模型与专家的分歧率、证据命中率的漂移、以及“待扩展”队列的增长速度。分歧率上升通常意味着工况变化或专家判据演化，此时应触发新一轮深访而非盲目扩量。
六、结论与展望：规模化的边界条件
6.1 结论
回到标题的问题：这种模式能规模化吗？答案是有条件地能。条件有三：其一，任务属于低频高价值异常，专家时间花得值；其二，采集模板能把大部分依据转成证据与规则两类可计算对象，可形式化比例足够高；其三，评审模型能把复核吞吐放大到与采集同步。三者缺一，规模化都会在某一环卡住。
本文的主线结论可以概括为一句话：规模化的瓶颈不在“人愿不愿意标”，而在“理由能不能算”。把工程重心放在提高可形式化比例与复核吞吐上，比单纯优化标注界面更有效。
6.2 展望
短期看，多模态大模型有望承担“依据预结构化”的工作：把专家的自由口述自动转成候选字段，专家只需确认与修正，这能显著降低表达成本。中期看，过程奖励与可验证推理的结合，可能让“表演推理”问题得到部分缓解。长期看，若评审模型能在多数场景下与专家达成高一致，人类角色将从“逐条教练”转为“规则维护者与分歧仲裁者”，这才是可持续的规模化形态。
笔者认为，需要警惕一种乐观叙事：把过程蒸馏说成“采集专家知识即可自动放大”。知识中总有不可言传的部分，这部分不会因为工具变好而消失，只会被更清晰地识别出来。承认这个残差的存在，并把它纳入评估与预算，才是工程上诚实的态度。
主要参考文献（节选）
- Hinton G, Vinyals O, Dean J. Distilling the Knowledge in a Neural Network. arXiv:1503.02531, 2015.
- Christiano P F, et al. Deep Reinforcement Learning from Human Preferences. NeurIPS, 2017.
- Ouyang L, et al. Training Language Models to Follow Instructions with Human Feedback. NeurIPS, 2022.
- Lightman H, et al. Let's Verify Step by Step. arXiv:2305.20050, 2023.
- Uesato J, et al. Solving Math Word Problems with Process- and Outcome-based Feedback. arXiv:2211.14275, 2022.
- Settles B. Active Learning Literature Survey. University of Wisconsin-Madison, 2009.
- Ruff L, et al. A Unifying Review of Deep and Shallow Anomaly Detection. Proceedings of the IEEE, 2021.
- Dau H A, et al. The UCR Time Series Classification Archive, 2018（数据使用需按其许可与预处理说明执行）.
- Zhang Y, et al. A Survey on Knowledge Distillation for Large Language Models. arXiv 预印本, 2024.
说明：以上为节选，全文参考与延伸阅读合计60余篇，其中近三年文献占比超过50%；涉及公开数据集的条目已注明需按原始许可与预处理说明使用。
文章声明
本文内容仅为作者学习、思考、经验、笔记的总结，仅供技术交流与参考。文中观点仅代表笔者个人思辨，不构成任何学术建议、商业建议或专业建议。所有数据来源已标注，引用时请以原始文献为准。
内容仅供学习参考。如需引用，请以原始文献为准。 全文约12600字 | 参考文献60余篇（主要9篇）。
贵公网安备 52010302001819号
