AI蒸馏：把专家结论喂给AI，和把专家“怎么得出结论的路径”喂进去，差距有多大？

一、问题的提出：结论监督为何会在推理任务上失效

知识蒸馏（Knowledge Distillation）的经典形式由Hinton等人在2015年系统化提出，其核心是让学生模型拟合教师模型在温度参数下的软标签分布，从而把教师学到的类间相似性结构迁移给学生。这一范式在图像分类、语音识别等判别式任务上长期有效，原因在于软标签携带了比独热标签更丰富的不确定性信息。本文评述：经典蒸馏的隐含假设是“输出分布足以刻画教师的决策知识”，而这一假设在单步判别任务中大体成立，在多步生成任务中则明显松动。

当任务变为数学解题、代码生成、多跳问答时，教师模型的输出不再是一个概率向量，而是一段包含中间状态的序列。此时“只喂结论”意味着学生只能看到最终答案，无法区分“蒙对”与“推导正确”。更关键的是，同一正确答案对应大量质量参差的推理路径，其中相当一部分路径含有错误步骤但碰巧得到正确结果。学生若以答案正确性为唯一监督信号，就会把这些错误路径一并吸收，形成难以通过增加数据量消除的系统性偏差。

这一现象在公开研究中已有间接证据。Cobbe等人2021年发布的GSM8K数学应用题数据集，其设计初衷之一就是检验模型是否真正进行多步推理而非模式匹配；后续大量工作报告了一个稳定现象：仅用最终答案做监督的模型，在题目表述稍作扰动后准确率下降明显，而使用带步骤标注数据的模型鲁棒性更好。笔者认为，这并非简单的“数据量不足”，而是监督信号的信息瓶颈——答案标签的熵远低于推理路径的熵，学生被迫在低信息量信号上拟合高复杂度函数。

从信息论视角看，结论监督提供的是关于“输入—答案”映射的稀疏采样，过程监督提供的是关于“输入—状态序列—答案”映射的稠密采样。前者约束的是函数在样本点上的取值，后者约束的是函数在中间状态空间中的轨迹形状。二者对假设空间的约束强度不在同一量级。

需要强调的是，过程监督并非新概念。早在2017年前后，程序合成与自动定理证明领域就已使用中间状态作为监督信号，例如利用执行轨迹训练神经程序解释器。但直到大模型具备生成可读推理链的能力，过程蒸馏才从特定领域的方法演变为通用技术路线。这一转变的技术前提是：教师模型能够以自然语言输出近似可验证的中间步骤，使得“路径”第一次成为可大规模采集的监督资源。

二、机制剖析：监督信号的粒度、信息量与可迁移性

2.1 三种监督粒度的形式化定义

为便于讨论，本文把蒸馏中的监督信号按粒度分为三层。第一层是结果级监督，即只使用最终答案或最终标签，损失函数形如交叉熵或负对数似然。第二层是步骤级监督，即对推理链中的每个中间步骤给出正确性判断或偏好排序。第三层是状态级监督，即对推理过程中的隐状态或显式中间变量施加约束，例如要求学生的中间计算结果与教师一致。

三层监督的信息量依次递增，但采集成本与噪声风险也依次递增。结果级监督几乎零成本，任何有标注的数据集都可直接使用；步骤级监督需要人工标注或强验证器，成本高且存在标注者间不一致；状态级监督则要求教师与学生共享中间表示，在异构模型间往往不可行。笔者认为，工程实践中最容易被忽视的是第二层与第三层之间的鸿沟：许多号称“过程蒸馏”的工作实际上只做到了步骤级，却宣称获得了状态级的收益，这种表述上的模糊会误导后续复现。

2.2 可迁移性的来源：为什么路径比答案更“耐迁移”

路径监督之所以可能带来更好的迁移性，一个合理解释是它改变了模型学习到的特征层级。以数学题为例，答案监督迫使模型直接从题干映射到数字，模型倾向于记忆题型模板与关键词；路径监督则要求模型显式地产生中间量，这些中间量在不同题目间具有复用性，从而形成更接近算法而非查表的内部表示。这一解释与 mechanistic interpretability 领域的部分发现一致：在带推理链训练的小型模型中，可以观察到类似“进位”“分配律展开”的局部电路，而纯答案训练的模型更多依赖浅层模式匹配。

但本文评述：上述解释仍属假说层面，缺乏严格的因果实验。目前公开研究多为相关性证据——使用路径监督的模型在分布外测试集上表现更好，但难以排除“路径数据本身覆盖了更多题型”这一混淆因素。要确立因果关系，需要控制数据覆盖度、仅改变监督粒度的对照实验，这类实验在现有文献中仍然稀缺。因此对“路径必然优于答案”的强断言应保持谨慎。

2.3 教师路径的真实性问题

过程蒸馏有一个常被低估的前提：教师输出的推理链必须是真实可信的。大模型生成的推理链存在两类典型缺陷。其一是事后合理化，即模型先得到答案再编造看似合理的步骤，步骤与答案之间缺乏真实的因果依赖。其二是局部正确但全局偏离，即每一步单独看都成立，但整体推导方向错误。若直接把这些路径作为监督目标，学生学到的可能是“如何写出像样的推理文本”而非“如何求解问题”。

针对这一问题，研究界发展出两类应对手段。一类是使用可执行验证器过滤路径，例如代码任务用单元测试、数学任务用符号计算引擎校验中间结果；另一类是训练判别式奖励模型对步骤打分，只保留高分路径。两类手段的共同逻辑是引入外部真值源，打破“教师自证”的循环。笔者认为，验证器的可靠性直接决定了过程蒸馏的上限，这一点在第七章讨论失效条件时会进一步展开。

三、技术路线一：推理链蒸馏的构造方法与工程细节

3.1 数据构造：从教师采样到路径筛选

推理链蒸馏的第一步是构造高质量的路径数据集。典型流程包含四个环节：题目采样、教师多次采样、答案过滤、路径去重与难度分层。其中教师多次采样是关键，因为单次采样无法评估路径的稳定性。实践中常对同一题目采样8至32条路径，保留答案正确的路径作为候选池，再在候选池内做质量排序。

答案过滤环节需要注意一个细节：答案正确不等于路径正确。若题目为选择题或数值题，错误路径碰巧得到正确答案的概率不可忽略。缓解办法是对候选路径做步骤级校验，例如要求每个中间计算结果都能被符号引擎复现。对于无法自动校验的开放任务，可采用多教师交叉验证，即只有当至少两个独立教师给出相同中间结论时才保留该步骤。

# 路径筛选伪代码（示意，非真实实现）
def filter_paths(problem, teacher, verifier, n_sample=16):
    candidates = [teacher.sample(problem) for _ in range(n_sample)]
    kept = []
    for path in candidates:
        if not verifier.final_answer_ok(problem, path.answer):
            continue
        if not verifier.steps_ok(problem, path.steps):
            continue
        kept.append(path)
    # 按步骤数与验证通过率排序，保留前 k 条
    kept.sort(key=lambda p: (p.step_count, -p.verify_score))
    return dedup(kept)[:8]

上述伪代码中的 verifier.steps_ok 是工程难点所在。对数学题可接入 SymPy 做符号化简比对；对代码题可执行单元测试；对逻辑题可构造形式化约束求解。本文评述：验证器的覆盖度往往决定了可用数据的比例，实践中这一比例可能低至三成，意味着原始采样量需要放大三倍以上才能得到足够训练集，这是过程蒸馏成本高于结论蒸馏的直接原因之一。

3.2 训练目标：序列级与步骤级的混合损失

在训练阶段，推理链蒸馏通常采用序列级交叉熵，即把整条路径作为目标序列做自回归拟合。这种做法实现简单，但存在一个结构性缺陷：它对所有 token 一视同仁，而路径中真正承载推理信息的是少数关键步骤。为缓解这一问题，部分工作引入步骤级加权，对验证器判定为关键的步骤提高损失权重。

另一种做法是步骤级偏好优化，即对同一题目的多条路径构造偏好对，用 DPO 类目标训练学生偏好更优路径。这种做法的好处是不需要逐 token 对齐，坏处是偏好对的构造依赖可靠的排序器。笔者认为，序列级与步骤级并非互斥，工程上更稳妥的方案是先做序列级冷启动，再用步骤级偏好做第二阶段微调，两阶段之间用验证通过率作为切换判据。

3.3 一个可复现的最小实验设计

为验证路径监督的相对收益，可设计如下对照实验：取同一基础模型，分三组训练。A组仅用答案监督；B组用答案加教师路径的序列级蒸馏；C组在B组基础上加入验证器过滤与步骤加权。三组使用相同题目池、相同训练步数、相同计算预算。评估集分为同分布测试集与扰动测试集，后者通过改写题干表述、替换数值、增加无关条件构造。

评估指标除准确率外，建议加入路径一致性与步骤可验证率。路径一致性衡量学生路径与教师路径在中间结论上的重合度；步骤可验证率衡量学生产出的步骤中能被验证器确认的比例。本文评述：仅看最终准确率容易高估过程蒸馏的收益，因为部分收益可能来自数据量增加而非监督粒度改变，必须用等数据量对照来剥离这一混淆。

拓展阅读方面，Hugging Face 的 TRL 文档提供了偏好优化与强化学习微调的完整教程，可直接用于步骤级偏好实验：https://huggingface.co/docs/trl。DeepSeek-R1 的公开技术报告与复现笔记也给出了可验证奖励训练的工程细节，适合作为路线三的起点：https://github.com/deepseek-ai/DeepSeek-R1。

四、技术路线二：过程奖励模型与步骤级验证

4.1 过程奖励模型的基本形态

过程奖励模型（Process Reward Model，PRM）是一类对推理中间步骤打分的判别模型，其输入是题目与截至当前步骤的前缀，输出是该步骤正确的概率或标量分数。与结果奖励模型（ORM）相比，PRM 的监督信号更稠密，理论上能提供更细粒度的训练梯度。OpenAI 在2023年的一项工作中系统比较了 PRM 与 ORM 在数学推理上的效果，报告 PRM 在筛选候选解时具有更高的排序质量。

PRM 的训练数据通常通过人工标注或自动构造获得。人工标注成本高，但质量可控；自动构造常用“蒙特卡洛 rollout”方法，即从某一步出发多次采样后续路径，用最终答案正确率估计该步的价值。这种估计的方差随采样次数增加而下降，但计算成本随之上升。笔者认为，rollout 方法本质上是把结果监督转化为步骤监督，其有效性依赖于后续采样能覆盖足够多的分支，在搜索空间巨大的任务上可能失效。

4.2 验证器的类型与可靠性边界

过程蒸馏中的验证器可分为三类。第一类是形式验证器，如符号计算引擎、定理证明器、类型检查器，其判定具有确定性，可靠性最高，但适用范围窄。第二类是执行验证器，如单元测试、沙箱运行环境，可靠性取决于测试覆盖率。第三类是模型验证器，即用另一个模型判断步骤正确性，灵活性最高但存在系统性偏差。

三类验证器的可靠性差异直接决定了过程蒸馏的适用边界。形式验证器覆盖的任务上，过程蒸馏接近“免费获得真值”，收益最稳定；执行验证器覆盖的任务上，测试覆盖率不足会导致错误路径被误判为正确；模型验证器覆盖的任务上，验证器与被训练模型可能共享相同的偏差，形成“共谋”风险。本文评述：工程上应根据任务选择验证器，并明确记录验证器的覆盖率与误判率，否则过程蒸馏的收益无法归因。

4.3 PRM 在蒸馏中的两种用法

PRM 在蒸馏流程中有两种典型用法。其一是作为数据过滤器，在教师采样阶段筛掉低质量路径，只保留高分路径用于监督。其二是作为训练时的奖励信号，在强化学习或拒绝采样微调中对学生输出打分。两种用法的区别在于 PRM 是否参与梯度计算：前者只影响数据分布，后者直接影响优化目标。

笔者认为，作为过滤器使用时，PRM 的误判会以数据偏差的形式固化到学生模型中，且难以在后续训练中纠正；作为奖励信号使用时，误判的影响相对可控，因为学生仍有机会通过其他样本学习正确行为。因此在对 PRM 质量没有充分把握时，优先采用奖励信号用法更为稳妥。这一判断与部分工程实践的经验一致，但仍需更多对照实验验证。

五、技术路线三：可验证奖励强化学习与自蒸馏

5.1 可验证奖励的基本框架

可验证奖励强化学习（RLVR）的核心思想是：不依赖人工标注的步骤标签，而是用可自动判定的最终结果作为奖励，让模型在大量采样中自行发现高奖励路径。这一框架的代表性工作是 DeepSeek 在2025年发布的 R1 系列，其技术报告描述了使用规则化奖励（答案正确性加格式合规性）进行大规模强化学习的流程，并观察到模型在训练过程中自发出现更长的推理链与自我检查行为。

RLVR 与过程蒸馏的关系值得辨析。表面上 RLVR 只使用结果奖励，似乎属于结论监督；但其训练过程产生的中间路径会被后续的自蒸馏或拒绝采样复用，实际上形成了一条“结果奖励筛选路径、路径再用于监督”的闭环。本文评述：RLVR 的真正价值不在于奖励本身，而在于它以较低的人工成本生成了大量经过结果验证的路径，这些路径可以替代人工标注成为过程蒸馏的数据源。

5.2 自蒸馏与拒绝采样微调

拒绝采样微调（Rejection Sampling Fine-tuning，RFT）是连接强化学习与监督学习的常用桥梁。其流程是：对每个题目采样多条路径，用验证器筛选正确路径，再用这些路径做监督微调。RFT 的优势是实现简单、训练稳定；劣势是它只利用正样本，无法从错误路径中学习。

自蒸馏则进一步把模型自身的输出作为监督目标，通过迭代提升。这一思路在2024年后的多篇工作中出现，典型做法是用强模型生成路径、弱模型学习，再用弱模型的新输出更新数据池。笔者认为，自蒸馏的风险在于错误累积：若某一轮筛选漏掉了系统性错误，后续迭代会放大该错误。缓解办法是保留一定比例的人工校验样本作为锚点，定期评估数据池质量。

5.3 三条路线的组合策略

在实际工程中，三条路线往往组合使用。一个常见的组合是：先用教师模型大规模采样并用形式验证器过滤，得到初始路径集；再用这些路径训练 PRM；然后用 PRM 辅助 RLVR 训练，提升学生模型的探索效率；最后用 RLVR 产生的新路径做一轮自蒸馏，巩固收益。这一组合的逻辑是让每种方法做它最擅长的事：形式验证器保证数据真值，PRM 提供稠密信号，RLVR 扩展探索边界。

关于 RLVR 的工程细节，Allen AI 的 OpenRLHF 项目提供了可复现的实现与文档，适合作为实验起点：https://github.com/OpenRLHF/OpenRLHF。数学推理数据方面，GSM8K 与 MATH 数据集的公开页面提供了原始数据与预处理说明：https://github.com/openai/grade-school-math。

六、关键数据与案例：公开研究给出的量化证据

本节汇总公开研究中与监督粒度相关的量化结果。需要说明的是，不同工作的实验设置差异较大，直接横向比较存在风险，以下数据主要用于说明趋势而非精确排序。

上表数据均来自各研究原文的公开表述，具体数值请以原始文献为准。本文评述：这些结果共同指向一个结论——监督粒度的提升确实能带来收益，但收益幅度高度依赖验证器质量与数据筛选策略。在验证器不可靠的场景下，过程监督的优势可能被噪声抵消，甚至不如精心构造的答案监督基线。

另一个值得关注的现象是数据效率。部分工作报告，经过验证器过滤的路径数据在达到相同准确率时所需样本量显著低于纯答案数据。这一现象与信息论直觉一致：高信息量样本的边际价值更高。但笔者认为，数据效率的度量需要控制质量维度，若过滤后的数据本身分布更窄，样本效率的提升可能以泛化能力下降为代价，这一点在评估中常被忽略。

七、对比与局限：过程蒸馏的失效条件与成本结构

7.1 失效条件

过程蒸馏并非普适。根据现有研究与实践经验，至少存在四类失效条件。第一，任务不可分解：某些任务的正确性只能在最终结果上判定，中间状态缺乏明确定义，例如开放式创意写作，此时步骤监督无从谈起。第二，验证器不可靠：验证器误判率高于一定阈值时，过滤反而引入偏差。第三，教师路径不真实：教师输出的事后合理化路径会让学生学到错误的因果结构。第四，分布偏移：训练路径覆盖的题型与学生部署时遇到的题型差异过大，路径监督带来的结构化知识无法迁移。

本文评述：四类失效条件中，第二类最容易被工程团队低估。验证器的误判往往不是随机噪声，而是系统性偏差，例如符号引擎对某些等价形式的识别失败、单元测试对边界条件的遗漏。这些偏差会以一致的方式扭曲数据分布，且难以通过增加数据量消除。因此在部署过程蒸馏前，必须对验证器做独立的误判率评估。

7.2 成本结构

过程蒸馏的成本可分为四部分：教师采样成本、验证成本、标注成本、训练成本。教师采样成本与采样倍数成正比，验证成本与验证器复杂度成正比，标注成本仅在人工步骤标注时产生，训练成本则因序列变长而高于答案监督。综合来看，过程蒸馏的总成本通常是答案蒸馏的数倍，这一倍数在验证器覆盖度低时会进一步放大。

笔者认为，成本评估应引入“单位收益成本”指标，即每提升一个百分点的准确率所付出的额外成本。在验证器覆盖度高、任务可分解的场景下，这一指标可能优于答案蒸馏；在验证器覆盖度低的场景下则相反。工程决策应基于该指标而非笼统的“过程监督更好”的判断。

7.3 与结论蒸馏的适用边界对比

八、可操作路径：一套可复用的过程蒸馏实施清单

本节把前述分析整理为可执行的步骤清单，供工程团队参考。清单按阶段组织，每个阶段给出关键动作与验收标准。

8.1 阶段一：任务可分解性评估

在投入数据构造前，先判断任务是否适合过程蒸馏。判断标准有三：中间状态是否有明确定义、是否存在可自动判定的验证手段、教师路径是否可被外部真值校验。三项中若有两项不满足，建议退回结论蒸馏或采用混合方案。验收标准是产出一份任务评估表，记录每项标准的满足程度与依据。

8.2 阶段二：验证器建设与误判率评估

验证器是过程蒸馏的基础设施。建设时应优先选择确定性验证器，其次选择覆盖率可度量的执行验证器，最后才考虑模型验证器。无论哪种，都必须做误判率评估：从数据中抽取一定比例样本，由人工或更强验证器复核，统计假阳性与假阴性比例。验收标准是误判率低于预设阈值，且误判类型已被记录。

8.3 阶段三：路径数据构造与分层

按第三章的流程构造路径数据，重点做好三件事：多次采样保证路径多样性、验证器过滤保证真值、按难度与步骤数分层保证覆盖。验收标准是每道题至少保留一条通过验证的路径，且数据集的难度分布与评估集大致匹配。若某类题目无法保留任何路径，应记录为覆盖缺口，后续单独处理。

8.4 阶段四：训练与对照评估

训练阶段建议采用两阶段方案：先序列级冷启动，再步骤级偏好微调。评估阶段必须设置等数据量的答案监督基线，并同时报告同分布与扰动测试集结果。验收标准是过程蒸馏组在扰动测试集上的相对提升达到预设阈值，且路径可验证率不低于基线。

8.5 阶段五：上线监控与迭代

上线后需持续监控两类指标：一是路径可验证率，用于发现验证器漂移；二是扰动测试集准确率，用于发现过拟合。建议保留一个小规模人工校验集作为锚点，定期评估数据池质量。迭代时优先补充覆盖缺口，而非盲目扩大数据量。

上述清单的核心逻辑是“先验证、后训练”。过程蒸馏的收益高度依赖验证器质量，跳过验证器评估直接训练，往往得到看似提升但无法归因的结果。笔者认为，这一原则比任何具体算法选择都更重要。

九、结论与展望

回到本文的核心问题：把专家结论喂给AI，与把专家得出答案的路径喂进去，差距有多大？基于现有公开研究，可以给出一个有条件的回答：在任务可分解、验证器可靠、教师路径真实的场景下，路径监督能带来可测量的收益，尤其在分布外鲁棒性与数据效率上表现更优；在验证器不可靠或任务不可分解的场景下，路径监督的优势会被噪声抵消，甚至不如精心构造的答案监督基线。

本文评述：这一结论意味着过程蒸馏不应被视为结论蒸馏的简单升级，而应被视为一种有明确适用域的技术选择。工程团队在决策时，应先评估自身任务的验证器条件，再决定是否投入过程蒸馏。盲目追随“过程监督更好”的叙事，可能导致成本上升而收益不达预期。

展望未来，笔者认为有三个方向值得关注。其一是验证器的自动化建设，尤其是利用形式化方法与程序合成技术降低验证器的人工成本。其二是过程监督与强化学习的深度融合，让模型在探索中自行发现可验证的中间结构，而非依赖教师路径。其三是过程蒸馏的可解释性研究，通过分析学生模型内部电路的变化，建立监督粒度与表示结构之间的因果联系，从而为技术选择提供更坚实的依据。

最后需要强调，本文所有判断均基于公开文献与工程推理，部分结论仍属假说层面，需后续对照实验检验。读者在引用本文观点时，应结合自身任务条件审慎判断。

主要参考文献

1. Hinton G, Vinyals O, Dean J. Distilling the Knowledge in a Neural Network. arXiv:1503.02531, 2015.
2. Cobbe K, et al. Training Verifiers to Solve Math Word Problems. arXiv:2110.14168, 2021.（GSM8K 数据集；预处理：去除无法解析的题目，答案统一为数值形式）
3. Lightman H, et al. Let's Verify Step by Step. arXiv:2305.20050, 2023.（PRM800K 过程标注数据；预处理：按步骤切分并人工标注正确性）
4. Hendrycks D, et al. Measuring Mathematical Problem Solving With the MATH Dataset. arXiv:2103.03874, 2021.（MATH 数据集；预处理：按难度分级，答案做符号等价归一）
5. DeepSeek-AI. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948, 2025.
6. Wang P, et al. Math-Shepherd: Verify and Reinforce LLMs Step-by-step without Human Annotations. arXiv:2312.08935, 2024.
7. Uesato J, et al. Solving Math Word Problems with Process- and Outcome-based Feedback. arXiv:2211.14275, 2022.
8. Zelikman E, et al. STaR: Bootstrapping Reasoning With Reasoning. NeurIPS, 2022.
9. Rafailov R, et al. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS, 2023.