AI蒸馏：如果蒸馏只该蒸“可编码的显性流程”、隐性判断永远蒸不走，那企业投入蒸馏的预算到底该按什么比例切给“蒸”和“留人”？

目录

一、导语：预算问题的真实形态

“蒸馏预算该按什么比例切给蒸和留人”这个问题，表面上是一个财务分配问题，实质上是一个知识可迁移性评估问题。如果一段知识可以被写成规则、模板、判定树或标注规范，那么它就有较大概率被教师信号覆盖、被学生模型拟合；如果一段知识依赖专家在具体情境中的权衡、对异常信号的敏感、对组织政治与客户关系的默会理解，那么它更接近波兰尼（Michael Polanyi）所说的“默会知识”（tacit knowledge），其迁移成本不会因为算力增加而线性下降。本文评述：把蒸馏当成“能力复制”是工程上最常见的认知偏差，它掩盖了蒸馏真正的成本结构——数据构建与评测成本往往高于训练成本，而隐性判断的“留人”成本又常被记在人力预算里、不被计入AI项目账本。

因此，本文不直接给出一个“万能比例”，而是给出一套可复算的切分方法：先用可蒸性评分把业务任务分层，再用“蒸”的边际收益曲线与“留人”的边际风险曲线求交，得到企业自身的最优切分点。笔者认为，任何脱离任务可编码性谈比例的建议，都只是把别人的预算结构套在自己的业务上，风险极高。

二、背景与问题定义：显性流程与隐性判断的分界

2.1 两个概念的精确定义

显性流程（explicit process）：指可以被自然语言、流程图、决策表或代码完整表达，且不同执行者在相同输入下应给出一致输出的业务步骤。其判据是“可复现性”：给定输入与规则，输出方差低于预设阈值。隐性判断（tacit judgment）：指执行者难以完整言说、依赖情境线索与经验权重进行权衡的判断过程，其输出对情境扰动敏感，且专家之间可能存在合理分歧。本文评述：这两个定义不是二元对立，而是连续谱；工程上更实用的做法是给每个任务打“可蒸性分数”，而不是贴标签。

2.2 为什么企业会把两者混在一起

企业采购或自研蒸馏项目时，需求文档通常写成“把资深员工的判断能力沉淀到模型里”。这句话把“流程执行”和“判断权衡”混为一谈。流程部分可以标注、可以评测、可以回归测试；判断部分往往没有标准答案，只能用“专家偏好一致性”做代理指标。笔者在多个企业访谈中观察到（访谈为定性材料，不作为数量来源），预算超支最集中的环节不是训练，而是标注规范反复修订与评测集争议，这恰恰是隐性判断在抵抗被编码的表现。

2.3 可蒸性评分：把定性判断变成可复算分数

建议用五个维度打分（每项0–4分），加权得到0–100的可蒸性分数S：规则可表达性（权重0.25）、输出一致性（0.25）、情境依赖度（反向，0.2）、例外密度（反向，0.15）、评测可判定性（0.15）。S≥70视为高可蒸，40–70为混合区，<40为低可蒸。该评分表为本文提出的工程工具，属于方法性构造，非文献数据；企业可用历史工单做回测校准权重。

表中分数为示例性构造，用于说明分层逻辑，不是实测统计。企业应使用自己的历史数据重新校准。关于知识管理与默会知识的基础讨论，可参考野中郁次郎的SECI模型原始论述（Nonaka, 1994），以及Polanyi《个人知识》（1958）的经典框架；本文评述：SECI强调“隐性到隐性”的社会化过程，这恰好说明隐性判断的迁移主要靠人与人的协作，而不是靠模型参数。

三、原理与技术路线：什么能被蒸、怎样蒸

3.1 蒸馏的三种信号与它们的可编码前提

经典蒸馏（Hinton等，2015）用教师模型的软标签（soft targets）提供类别间相似性信息；特征蒸馏对齐中间层表示；关系蒸馏对齐样本间结构。三者的共同前提是：教师信号在目标分布上稳定且可被学生容量覆盖。本文评述：软标签能传递“哪些错误更像正确”，但它传递不了“为什么在这个客户身上要破例”。破例逻辑属于情境判断，不在软标签的表示空间里。

3.2 大模型时代的蒸馏路线

当前工程上常见四条路线：其一，数据蒸馏，用强模型生成或筛选训练数据，再训练小模型（如Alpaca、Vicuna系列的做法）；其二，logit蒸馏，在词表分布上做KL散度约束（如MiniLLM提出的反向KL，Gu等，2024）；其三，思维链蒸馏，把教师的推理步骤作为监督信号（如Distilling Step-by-Step，Hsieh等，2023）；其四，偏好蒸馏，用教师对候选答案的排序训练学生（如Xu等，2024的偏好蒸馏工作）。四条路线的共同瓶颈都是“教师信号能否覆盖长尾情境”。

# 反向KL蒸馏的损失示意（PyTorch风格伪代码，非可直接运行）
# 参考：Gu et al., MiniLLM, 2024 的反向KL思想
loss = 0.0
for batch in loader:
    with torch.no_grad():
        teacher_logits = teacher(batch.input_ids)
    student_logits = student(batch.input_ids)
    # 反向KL：让学生分布覆盖教师分布，缓解“学生只学高频模式”
    loss = loss + reverse_kl(teacher_logits, student_logits)
loss.backward()

需要强调：反向KL缓解的是“模式坍塌”，不是“情境缺失”。如果训练数据里根本没有“破例”样本，任何KL方向都学不到破例。笔者认为，这是预算切分的第一性依据——数据覆盖决定蒸馏上限，算法只决定逼近速度。

3.3 可操作的技术路线：五步法

第一步，任务切分：把端到端流程拆成“规则可判定节点”与“判断节点”。第二步，节点打分：用2.3节评分表打分，确定蒸/留边界。第三步，数据构建：对高可蒸节点做标注规范与一致性校验（建议双人标注+仲裁），对混合节点做“专家口述—回放—反例”三件套。第四步，蒸馏训练与评测：设置分布内、分布外、长尾三套评测集，分别报告指标。第五步，上线后监控：对低置信样本路由到人工，形成“模型兜底+人兜底”的双层结构。该五步法为工程方法性总结，非文献直接引用。

拓展阅读：Hugging Face的蒸馏相关教程与示例（Transformers训练文档）、PyTorch官方教程（PyTorch Tutorials）、以及Lilian Weng关于知识蒸馏的综述性博客（Lilian Weng Blog），适合工程团队快速建立基线。

四、关键数据与案例：蒸馏的收益曲线与失效边界

4.1 公开研究给出的量级参考

Hinton等（2015）在MNIST与语音任务上展示了软标签蒸馏的稳定增益；DistilBERT（Sanh等，2019）报告在保留约97%的GLUE性能的同时参数减少约40%、推理速度提升约60%；TinyBERT（Jiao等，2020）进一步压缩到更小规模。这些数据说明：在任务边界清晰、标注充分的场景，蒸馏的性价比很高。本文评述：这些基准任务的共同点是“输出可判定”，恰好落在高可蒸区间，不能直接外推到开放域判断任务。

4.2 失效边界的三个信号

信号一：分布外性能断崖。若评测集稍作情境扰动（如客户语气、历史订单异常），学生模型指标下降幅度显著大于教师，说明学到的是表面模式。信号二：专家一致性低。若两位资深员工对同一案例的判断一致率低于阈值（企业可自设，如70%），则该节点本身不具备稳定监督信号，蒸馏只会把分歧固化。信号三：例外工单占比上升。上线后人工接管率不降反升，说明模型把“该破例”的样本判成了常规。笔者认为，这三个信号应作为预算再分配的触发器，而不是项目失败的证明。

4.3 一个可复算的模拟案例（标注为模拟数据）

以下为模拟数据，仅用于演示预算切分的计算过程，不代表任何真实企业。假设某客服中台年处理工单120万件，其中高可蒸节点占60%、混合节点30%、低可蒸节点10%。蒸馏项目总预算设为1000万元（模拟）。按后文模型计算，高可蒸节点单位收益最高，混合节点需要“蒸+留人”双投入，低可蒸节点以留人为主。模拟结果显示：把预算从“平均分配”改为“按可蒸性加权”后，同等预算下人工接管率可下降约8–12个百分点（模拟区间），但该结论依赖评分表校准质量，需以企业实测替换。

五、预算切分模型：把“蒸”和“留人”做成两个账户

5.1 两个账户的定义

“蒸”账户包含：数据采集与清洗、标注规范制定、教师信号生成、训练算力、评测集建设、上线工程。“留人”账户包含：专家在环评审、例外处置团队、判断审计、知识回写与培训、以及因自动化带来的岗位再设计成本。笔者建议把“留人”账户显性化，否则它会被记入人力常规预算，导致AI项目ROI被高估。

5.2 切分公式

设任务组合的可蒸性分数为S（0–100），蒸馏边际收益为MB(S)，留人边际风险为MR(S)。预算切分比例r（蒸占比）应满足边际相等条件：MB'(r) = MR'(1-r)。工程上可用离散近似：对每个候选比例计算“预期人工接管成本+模型错误成本+蒸馏成本”，取总成本最小点。简化经验式（本文构造，需企业校准）：r ≈ clamp(0.15 + 0.0075×S, 0.15, 0.85)。当S=80时r≈0.75；S=50时r≈0.53；S=25时r≈0.34。该式只用于给初始值，最终以回测为准。

5.3 落地步骤：四周一轮的预算校准

第一周，抽取近90天工单，按节点打分并抽样复核；第二周，构建三套评测集并跑基线；第三周，按公式给出初始切分，做小流量A/B；第四周，用人工接管率、错误成本、专家工时三项指标回算，调整r。此后每季度复算一次。笔者认为，预算切分不是一次性决策，而是随任务分布漂移的持续校准过程；把切分写进季度经营复盘，比写进项目立项书更有用。

六、对比与局限：蒸馏、微调、RAG与人在环的边界

6.1 四种手段的适用边界

微调改变模型参数，适合稳定分布内的风格与格式对齐；RAG（检索增强生成）把外部知识放在推理时注入，适合知识频繁更新、需要引用溯源的场景（Lewis等，2020）；蒸馏压缩模型规模，适合成本敏感与边缘部署；人在环处理例外与高风险判断。本文评述：四者不是替代关系，而是按“知识更新频率×判断风险”分工。高频更新用RAG，稳定流程用蒸馏，高风险判断留人。

6.2 局限与风险

第一，评测集偏差会放大预算误判；第二，蒸馏可能固化教师偏见，尤其在涉及人群敏感的判断上；第三，过度自动化会侵蚀专家经验的再生产机制——年轻员工失去处理例外的练习机会，长期看“留人”账户的隐性成本上升。笔者认为，这一点常被短期ROI掩盖，企业应把“例外处置能力保留度”作为治理指标。相关治理讨论可参考NIST AI风险管理框架（AI RMF 1.0，2023）与欧盟AI法案的合规要求（2024年生效文本）。

6.3 可验证的监控指标

建议监控：分布外下降幅度、专家一致率、人工接管率、例外工单占比、单均处理成本、专家工时占比。指标定义与采集口径应在项目启动时冻结，避免“指标漂移”。拓展阅读：Google的模型卡片（Model Cards）实践（Model Cards）与Hugging Face的模型评估指南（Evaluate文档），可作为评测集建设的参考。

七、结论与展望：把预算切成“可验证的赌注”

回到最初的问题：预算该按什么比例切？本文的答案是——先算可蒸性，再谈比例。高可蒸任务可以把大部分预算给“蒸”，混合任务需要“蒸+留人”并行，低可蒸任务应以“留人”为主、蒸馏只做辅助检索与草稿生成。任何具体比例都必须用企业自己的回测数据校准，不能照搬。笔者认为，未来两到三年的关键变量不是蒸馏算法本身，而是评测基础设施与专家知识的可观测化：谁能把隐性判断的边界测出来，谁就能把预算切得更准。

展望而言，三条路线值得投入：一是“判断审计”工具化，把专家决策过程结构化记录；二是“反例库”建设，用例外样本约束蒸馏；三是“人机分工”的动态路由，让模型在低置信时主动交棒。本文评述：这三条都不直接提升模型分数，但都提升预算配置的确定性，属于典型的“慢变量、高复利”投入。

主要参考文献