自愈工作流意味着大量“无效调用”——为修正一个错误反复尝试3到5次，Token消耗变成天文数字——在“让它自己修”和“失败两次就换路/人工介入”之间，成本可控的阈值到底该怎么定？

摘要：自愈（self-healing）工作流把“失败—诊断—重试”固化为默认路径，代价是大量无效调用与Token支出的非线性放大。本文以“重试预算（retry budget）”为贯穿主线，把重试阈值问题重新定义为“在给定失败可修复概率与单次调用成本下，使期望总成本最小化的停止规则设计问题”。文章先界定无效调用与自愈的边界，再给出失败分类、成本模型、阈值推导与工程落地步骤，随后用公开研究数据与模拟数据交叉验证，最后讨论多级熔断、降级路由与人工介入的协同机制及其失效边界。核心结论是：固定“失败两次即换路”并非普适最优，阈值应随任务可修复概率、上下文成本占比与错误类型分布动态调整，并以可观测指标驱动。

目录

一、导语与问题定义：无效调用不是浪费，而是被错误定价的风险投资

在基于大语言模型（LLM）的自动化系统中，“自愈”通常指系统在检测到执行失败后，自动触发诊断、修正与重试，直至任务成功或达到停止条件的一类控制策略。与之相对的是“快速失败（fail-fast）”：一旦失败即向上抛出，交由路由层或人工处理。两者并非对立，而是同一条成本—可靠性曲线上的不同取点。问题在于，许多团队在引入自愈时只看到了成功率提升，却忽略了重试链条中每一次调用都要重新携带上下文、重新计费的事实。

本文把“无效调用”定义为：在给定失败原因与当前可用信息下，对最终成功概率提升贡献低于其边际成本的模型调用。这个定义刻意回避了“重试一定浪费”的直觉，因为部分重试确实能修复问题——例如格式错误、工具参数拼写错误、临时性超时。真正需要被定价的是“修复概率”与“单次成本”的乘积关系。笔者认为，把重试视为一种风险投资更贴近工程现实：每次重试都是一次小额下注，赌的是“这次能修好”，而阈值就是止损线。

由此，本文的核心问题可以精确表述为：设第 i 次重试的边际成功概率为 p_i，单次调用成本为 c_i（含上下文重放），失败后转入降级或人工的期望成本为 L，则停止规则应满足“继续重试的期望收益不低于其期望成本”。后文将围绕这一不等式展开，并给出可落地的参数估计方法。

本文主线：重试阈值不是拍脑袋的“两次”或“三次”，而是由失败可修复概率、上下文成本占比、错误类型分布三者共同决定的动态预算。全文所有章节都服务于把这条主线变成可观测、可计算、可审计的工程参数。

二、背景与机制：自愈工作流为什么会把成本放大 3 到 5 倍

2.1 从单次调用到重试链：成本放大的三个乘数

自愈工作流的成本放大并非简单的“次数相乘”，而是三个乘数的叠加。第一个乘数是调用次数：一次任务失败后触发诊断调用、修正调用、验证调用，往往不止一次模型请求。第二个乘数是上下文重放：多数框架在重试时会把原始指令、历史对话、工具返回结果整体重新送入模型，导致输入Token随重试次数线性甚至超线性增长。第三个乘数是验证开销：为判断重试是否成功，系统常需额外的判定调用或规则校验，这部分成本容易被漏计。

以常见的“失败—反思—重试”循环为例，若原始上下文为 C，每次重试追加的反思文本为 r，则第 k 次重试的输入规模约为 C + k·r。当 C 本身较大（长文档、多轮工具调用历史）时，重试的边际成本远高于首次调用。本文评述：这正是“Token消耗变成天文数字”的机制根源——不是重试次数多，而是每次重试都在为“历史”付费。

2.2 失败类型决定了重试是否“值得”

并非所有失败都适合自愈。工程上可把失败粗分为四类：瞬时性失败（超时、限流、网络抖动）、可判定失败（格式不合规、Schema 校验不通过、工具参数错误）、语义性失败（答案事实错误、推理链断裂）、系统性失败（权限缺失、依赖服务不可用、任务本身不可完成）。前两类重试的边际成功概率高、成本低，是自愈的理想对象；语义性失败重试收益递减明显；系统性失败则几乎不应重试。

笔者认为，很多团队的成本失控并非因为“重试太多”，而是因为没有在重试前做失败分类，把系统性失败也送进了自愈循环。一个可验证的判据是：若同一错误在两次重试后错误码或错误语义完全一致，则继续重试的边际成功概率应被视为接近零，此时任何重试都是纯浪费。

2.3 公开研究给出的参照：重试与自我修正的收益边界

关于 LLM 自我修正（self-refine / self-correction）的有效性，学术界已有不少相互张力的结论。Madaan 等人提出的 Self-Refine 框架报告了在多个任务上通过“生成—反馈—修正”循环获得提升（Madaan et al., 2023）。但 Huang 等人对自我修正的系统性评估指出，在没有外部反馈或可靠验证器的情况下，模型对自身推理的修正往往不能稳定提升准确率，甚至可能把正确答案改错（Huang et al., 2024）。这两类结论并不矛盾：前者依赖任务可判定性与反馈质量，后者揭示了“无外部信号的自我反思”存在上限。

本文评述：这组对照恰好为阈值设计提供了理论依据——重试的收益高度依赖“是否存在可靠验证信号”。当验证信号强（如单元测试、Schema 校验、工具返回码），重试值得；当验证信号弱（开放式问答、主观写作），重试的边际收益快速衰减，阈值应更保守。把这一判断转化为工程参数，就是下一节的失败分类与预算模型。

三、原理与技术路线：重试预算、失败分类与阈值推导

3.1 重试预算：把“次数”换成“金额”

固定次数阈值（如最多重试 2 次）之所以流行，是因为它简单、可预测、易实现。但它的根本缺陷是把不同成本的调用当成等价。一次携带 3 万 Token 上下文的重试与一次 800 Token 的轻量校验，在“次数”维度上都是 1，在成本维度上却相差数十倍。更合理的做法是引入“重试预算（retry budget）”：为每个任务设定一个以货币或 Token 计价的预算上限，重试消耗预算而非次数。

# 伪代码：基于预算的重试控制（示意，非生产实现）
budget = task.retry_budget            # 例如 0.02 美元或 8000 token
spent  = 0
attempt = 0
while spent < budget:
    attempt += 1
    cost = estimate_cost(task.context, attempt)
    if cost > budget - spent:
        break                          # 下一次重试会超预算，提前止损
    result = call_model(task, attempt)
    spent += cost
    if result.ok:
        return result
    if classify(result.error) == "SYSTEMIC":
        break                          # 系统性失败不重试
    if marginal_gain(attempt) < threshold:
        break                          # 边际收益低于阈值
return fallback_or_human(task)

这段伪代码的关键不在语法，而在两个判断：estimate_cost 让预算感知上下文规模，marginal_gain 让预算感知收益衰减。本文评述：预算制的真正价值是把“重试几次”这个离散决策，转化为“还能花多少”这个连续决策，从而天然适配不同规模的任务。

3.2 阈值推导：一个可计算的不等式

设第 k 次重试的边际成功概率为 p_k，单次成本为 c_k，若放弃重试转入降级路径的期望成本为 L（含人工介入、用户流失、补偿等），则继续重试的期望净收益可写为：

E[收益] = p_k · (L − c_k) − (1 − p_k) · c_k = p_k · L − c_k

令其大于零，得到继续重试的充分条件：p_k > c_k / L。这个不等式给出了一个非常直观的结论：当单次重试成本相对于降级成本越高，要求的边际成功概率就越高。若 L 很小（例如降级路径只是返回一个友好提示），则重试几乎不划算；若 L 很大（例如金融对账错误、医疗记录错误），则重试的容忍度应显著提高。

本文评述：这个不等式解释了为什么“失败两次就换路”在某些场景下是对的、在另一些场景下是错的。它把阈值从“经验值”变成了“由 c 与 L 的比值决定的内生量”。工程上不必精确估计 p_k，只需用历史数据估计其量级，并据此设定预算与停止规则。

3.3 失败分类器：阈值的前置条件

阈值要生效，前提是系统能在重试前判断“这次失败属于哪一类”。一个可落地的失败分类器通常由三层组成：规则层（错误码、异常类型、Schema 校验结果）、模型层（用轻量模型对错误信息做归类）、统计层（同一任务历史重试的成功率）。规则层负责高置信度的快速判定，模型层处理模糊错误，统计层提供先验。

表中“预算系数”是本文提出的一种工程近似：以基准预算乘以系数，得到该失败类型允许的最大重试预算。系数取值应基于团队历史数据校准，而非照搬。本文评述：分类器的价值不仅是省钱，更是让“为什么停止”变得可解释——每一次止损都能追溯到具体的失败类型与预算判断。

四、关键数据与案例：公开研究、模拟实验与工程观测

4.1 公开研究中的重试收益衰减

在推理任务上，多次采样（self-consistency）与重试的收益衰减已有较清晰的实证。Wang 等人的自一致性研究表明，增加采样路径数能提升准确率，但增益随路径数增加而递减（Wang et al., 2023）。类似地，Snell 等人关于推理时计算扩展（test-time compute scaling）的研究显示，在固定预算下，把计算分配给“更多采样”还是“更长推理”存在最优分配点，简单线性增加采样并不总是最优（Snell et al., 2024）。这些结论与本文的边际收益递减假设一致。

在智能体（agent）场景，ReAct、Reflexion 等工作展示了“反思—重试”能提升任务完成率（Yao et al., 2023；Shinn et al., 2023），但其成本结构也更为复杂：反思本身需要调用，且反思文本会进入后续上下文。本文评述：这些工作证明了自愈的可行性，却没有回答“何时停止”的经济学问题，而这正是工程落地最缺的一环。

4.2 一组模拟数据：不同阈值下的成本与成功率

为直观展示阈值的影响，本文构造一组模拟数据（非真实实验，仅用于说明趋势）：假设任务首次成功率 0.70，每次重试的边际成功概率按 0.5 的衰减因子递减（即 0.15、0.075、0.0375……），单次调用成本随重试次数因上下文累积上升 8%，降级成本 L 设为单次成本的 6 倍。在此假设下，不同最大重试次数对应的期望总成本与最终成功率如下表。

这组模拟数据显示：总成本在 2 到 3 次重试附近出现平台期，继续增加重试次数，成功率提升有限而成本回升。本文评述：这解释了为什么“3 到 5 次”在实践中常见——它往往落在平台期附近；但平台期的位置强烈依赖衰减因子与上下文成本增速，不能当作普适常数。真实系统应基于自身日志重估这两个参数。

4.3 工程观测：被漏计的验证成本

在多数生产系统中，验证调用（judge call）的成本常被低估。若每次重试后都调用一个模型判断“是否修好”，则验证成本与重试次数同阶增长。一个常见的优化是把验证下沉为规则校验（正则、Schema、单元测试），仅在规则无法判定时才调用模型。本文评述：验证成本是重试预算中容易被忽略的“隐形税”，把它显式计入预算，往往比单纯减少重试次数更有效。

拓展阅读（外部链接，新窗口打开）：

• Self-Refine 原始论文（arXiv）
• LLM 自我修正的局限性评估（arXiv）
• 推理时计算扩展研究（arXiv）
• API 错误码与重试实践指南

五、对比与局限：固定阈值、动态阈值与多级熔断的取舍

5.1 三种策略的对比

工程上常见的三类停止策略各有适用边界。固定次数阈值实现最简单，但忽略成本异质性；动态阈值（基于边际收益或预算）更贴近最优，但需要可观测数据支撑；多级熔断（先降级模型、再降级功能、最后人工）则在系统层面提供兜底。三者不是替代关系，而是分层关系。

5.2 局限与失效边界

动态阈值并非万能。其失效边界主要有三：其一，估计偏差——边际成功概率的估计依赖历史数据，冷启动阶段不可靠；其二，分布漂移——模型版本更新、工具接口变更会让历史统计失效；其三，降级成本难量化——L 往往包含用户信任、合规风险等难以货币化的因素。本文评述：承认这些边界，比宣称某种阈值“最优”更负责任。工程上应把阈值视为需要持续校准的参数，而非一次性配置。

此外，自愈还可能带来“隐性质量下降”：系统为了“修好”而不断放宽约束，最终输出一个形式上通过、实质上偏离需求的答案。这类失败难以被成功率指标捕获，需要通过抽样人工评审来监控。

六、可操作路径：从观测到上线的七步落地法

6.1 七步落地流程

把前述理论转化为工程动作，可按以下七步推进。每一步都产出可验证的中间物，避免“一步到位”的冒进。

1. 埋点与归因：记录每次调用的输入 Token、输出 Token、耗时、错误码、重试序号、最终结果，建立任务级调用链。
2. 失败分类：用规则层覆盖高置信度错误，模型层处理模糊错误，统计层提供先验，形成分类器 v1。
3. 成本建模：估计单次调用成本函数 c_k 与降级成本 L，后者可用人工处理工时与补偿成本近似。
4. 预算设定：按失败类型设定预算系数，初始值可参考本文表格，再以历史数据校准。
5. 灰度上线：先在低风险任务上启用预算制，对比成功率与单位成功成本。
6. 熔断与降级：配置多级熔断（换模型、换工具、转人工），确保预算耗尽时有明确出口。
7. 持续校准：按月重估 p_k 与 c_k，监控分布漂移，更新预算系数。

6.2 关键指标与告警

落地后应重点监控四个指标：单位成功成本（总成本 / 成功任务数）、重试贡献率（重试带来的成功数 / 总成功数）、无效调用占比（被判定为边际收益低于阈值的调用比例）、降级触发率。当无效调用占比持续上升或单位成功成本突破基线时，应触发阈值复核。

本文评述：指标的意义在于把“阈值该定多少”从一次性讨论变成持续运营。一个健康的自愈系统，其重试贡献率应稳定在可解释的区间，而非越高越好——过高的重试贡献率往往意味着首次调用质量不足，问题应回到提示工程与工具设计，而不是继续加预算。

6.3 一个最小可行的配置示例

retry_policy:
  default:
    budget_tokens: 8000        # 单任务重试预算
    max_attempts: 3            # 硬上限，防止预算估计失真
    backoff: exponential
  by_error_type:
    TRANSIENT:   { budget_factor: 1.0, max_attempts: 3 }
    VALIDATION:  { budget_factor: 1.2, max_attempts: 2 }
    SEMANTIC:    { budget_factor: 0.6, max_attempts: 1 }
    SYSTEMIC:    { budget_factor: 0.0, max_attempts: 0 }
  fallback:
    - switch_model
    - degrade_feature
    - human_review

该配置刻意保留 max_attempts 作为硬上限：预算估计可能因上下文估算偏差而失真，硬上限提供最后一道防线。本文评述：预算与硬上限并用，是“软约束 + 硬约束”的经典组合，能在估计不准时仍保证成本可控。

七、结论与展望：把“让它自己修”变成可审计的预算决策

回到开篇的问题：成本可控的阈值到底该怎么定？本文的答案是——不存在一个跨场景通用的“两次”或“三次”，存在的是一个可计算的不等式 p_k > c_k / L，以及围绕它构建的失败分类、预算控制与多级熔断机制。固定次数阈值可以作为起点，但应尽快升级为预算制，并用可观测指标持续校准。

展望未来，三个方向值得关注：其一，验证器工程——可靠的外部验证信号是重试收益的前提，投资验证器往往比投资重试更划算；其二，成本感知的推理调度——把预算分配与模型选择、推理长度联合优化；其三，可审计的自愈日志——让每一次重试与止损都有据可查，满足合规与复盘需求。笔者认为，自愈工作流的成熟标志，不是“能自己修多少次”，而是“知道什么时候不该再修”。

主要参考文献