RAG知识库“资料不足时拒答”是标配，但拒答阈值设高会大量误拒、设低会漏放，这个阈值到底该由谁、按什么标准定？

从信号构造到代价标定：一条可复现的拒答阈值治理路径

摘要：检索增强生成（Retrieval-Augmented Generation，RAG）系统在知识库覆盖不足时输出“无法回答”，已成为企业知识问答的默认安全策略。但拒答并非单一开关，而是一组阈值化判定：检索相关性阈值、生成侧置信阈值、答案与证据一致性阈值，任何一层阈值偏移都会在“误拒”（false refusal，本可回答却拒答）与“漏放”（false answer，本应拒答却作答）之间重新分配错误。本文提出以“误拒—漏放代价不对称性”为贯穿全文的分析主线：阈值不是由模型单独决定的技术参数，而是由业务风险偏好、证据可得性与评测口径共同约束的治理变量。文章依次讨论拒答问题的形式化定义、四类判定信号的可分性、阈值标定的统计方法与代价敏感框架、分层决策架构与工程落地步骤，并给出监控指标、回归测试与组织责任划分建议。本文评述认为，脱离代价矩阵谈“最优阈值”没有工程意义，可落地的做法是把阈值拆成“可解释的分层规则 + 可回归的标定流程 + 可审计的责任归属”。

目录

一、导语：拒答不是功能开关，而是一组代价敏感的判定

在多数 RAG 工程实践中，“资料不足时拒答”被写进需求文档的第一页，却在验收阶段变成一句含糊的“效果还行”。原因并不复杂：拒答在系统里从来不是一个布尔开关，而是一条或多条打分曲线上的切分点。检索器给出相关性分数，重排器给出精排分数，生成模型给出词元概率或自评置信度，校验模块给出答案与证据的蕴含分数——每一层都可以切一刀，每一刀的位置都同时决定了两类错误的相对比例。把“拒答阈值”当成一个待调超参数，本质上是把一个决策论问题误当成了调参问题。

笔者认为，讨论这个阈值该由谁定、按什么标准定，必须先承认一个前提：误拒与漏放的代价在绝大多数业务场景中并不对称。客服知识库漏放一条错误答案，可能带来合规风险与用户信任损失；而误拒一次，用户重问或转人工，损失是可计量的运营成本。两类错误的“单价”不同，最优切分点就必然偏离单纯的准确率最大化位置。本文的主线由此确立：阈值 = f（信号可分性，代价矩阵，覆盖分布），三者缺一不可，任何只谈其中一项的方案都不足以支撑生产决策。

这条主线也解释了为什么同一个阈值在不同团队手里表现迥异：信号可分性取决于检索与校验模块的质量，代价矩阵取决于业务方的风险偏好，覆盖分布取决于知识库的更新节奏与长尾结构。三者中任何一项变化，历史标定的阈值都应重新校准。下文将沿着“定义—信号—标定—验证—治理”的顺序逐层展开，并在每一层给出可操作的步骤与可验证的指标。

二、背景与问题定义：把“资料不足”拆成可测量的量

2.1 三种“不足”在语义上并不等价

工程语境里的“资料不足”至少包含三种不同情形，混为一谈是阈值失准的首要来源。第一种是语料缺失：知识库中确实不存在能回答该问题的文档，属于覆盖问题。第二种是检索失败：文档存在，但检索或重排没有把它召回，属于召回问题。第三种是证据不足：相关文档被召回了，但其中信息不足以支撑一个完整、可核验的答案，属于推理与证据充分性问题。

三者的可观测信号完全不同。语料缺失在检索分数上表现为整体低分且分布平坦；检索失败常表现为分数中等但答案与问题存在语义漂移；证据不足则可能出现高检索分、低蕴含分的“高分低证”组合。若只用单一检索分数做拒答判定，第二类与第三类错误会被系统性混淆。本文评述认为，拒答判定的第一步不是选阈值，而是先做错误归因分层，否则后续所有标定都在为一个定义不清的目标服务。

2.2 形式化：拒答是一个带代价的二分类决策

设样本为问题 q 与检索证据集合 D，系统输出动作 a ∈ {回答, 拒答}。真实状态 y ∈ {可答, 不可答} 在线上不可直接观测，只能通过标注或人工评审近似获得。判定函数 g(q, D; τ) 在打分 s(q, D) 超过阈值 τ 时选择回答。于是两类错误定义为：误拒率 FRR = P(a=拒答 | y=可答)，漏放率 FAR = P(a=回答 | y=不可答)。

在代价敏感框架下，期望代价可写为：

E[Cost](τ) = C_FR · π_ans · FRR(τ) + C_FA · π_unans · FAR(τ)

其中：
  C_FR   一次误拒的代价（转人工、重问、体验损失）
  C_FA   一次漏放的代价（错误信息、合规风险、信任损失）
  π_ans  可答样本先验占比
  π_unans 不可答样本先验占比
  FRR(τ)、FAR(τ) 由打分分布与阈值共同决定

该式给出两个直接推论。其一，最优阈值依赖于先验占比 π，而 π 会随知识库版本、业务季节、用户提问分布变化，因此阈值天然具有时效性，不存在一劳永逸的固定值。其二，当 C_FA 远大于 C_FR 时，最优阈值应显著下移（更保守，更倾向拒答），反之则上移。本文评述认为，把这两个推论写进标定文档，比争论“0.7 还是 0.8 更合理”更有价值。

2.3 为什么“统一阈值”在多数系统里必然次优

统一阈值隐含了一个强假设：所有问题类型、所有知识域的打分具有可比性。实际系统中这一假设很难成立。产品参数类问题的检索分数分布通常尖锐且高分集中，政策条款类问题则分布平缓；多跳问题的证据蕴含分数天然低于单跳事实题。若强行共用一个阈值，等价于对不同分布施加同一分位切分，误拒会集中出现在分布平缓的域，漏放则集中在分布尖锐但证据薄弱的域。

一个可验证的替代方案是分域分位标定：按问题类型或知识域分组，在每组内独立标定阈值，并约束组内误拒率不超过业务上限。这一做法在工程上并不复杂，代价是需要维护分组标签与分组样本量。笔者认为，是否值得分域，取决于组间分布差异是否显著——可用双样本检验或简单的分位对比快速判断，而不必一开始就上复杂模型。

三、原理与技术路线：四类拒答信号及其可分性边界

3.1 检索侧信号：相似度、重排分与覆盖度

检索侧最常用的信号是向量相似度（如余弦相似度）与交叉编码器重排分数。前者计算便宜、可批量，但对语义漂移不敏感；后者精度更高，但延迟与算力开销显著。工程上常见的组合是“粗排相似度做初筛 + 精排分数做终判”，两级阈值串联。

除单条分数外，分布形状特征往往更具判别力：Top-1 与 Top-k 的分数差、分数的熵、命中片段在文档中的分散程度。若 Top-1 分数高但 Top-2 至 Top-5 骤降，通常意味着证据单薄；若多条片段分数接近且来自不同文档，则更可能是多跳问题而非覆盖缺失。本文评述认为，这类“形状特征”被严重低估，它们几乎不增加推理成本，却能显著改善“语料缺失”与“证据不足”的区分度。

3.2 生成侧信号：序列似然、自评置信与采样一致性

生成侧信号分三类。第一类是序列对数似然或平均词元概率，优点是无需额外模型，缺点是校准差，模型对错误答案也可能给出高概率。第二类是让模型自评“证据是否充分”，输出结构化判断，近年研究显示其在配合少量示例时具备一定判别力，但存在迎合倾向。第三类是采样一致性：对同一问题多次采样，若答案在事实层面高度分歧，则提示证据不足。

三类信号的可分性边界不同。似然信号在“模型知道但检索没给”的场景下容易失效；自评信号对提示词敏感，跨版本稳定性差；采样一致性成本高，适合离线抽检而非全量在线判定。笔者认为，生成侧信号更适合作为第二道闸门，用于在检索侧放行后的复核，而不是单独承担拒答决策。

3.3 校验侧信号：答案与证据的蕴含关系

校验侧的核心是自然语言推理（NLI）式的蕴含判定：给定证据片段与候选答案，判断证据是否支持答案。这一信号直接对应“证据不足”这一情形，理论上最贴近拒答目标。工程实现上可用轻量 NLI 模型或大模型判定，前者延迟低、可解释，后者泛化好但成本高。

需要强调的是，蕴含判定与事实正确性并不等价。证据支持一个答案，不代表该答案在现实世界中正确；反之，证据表述与答案措辞差异较大时，蕴含模型可能误判为不支持。因此校验侧阈值同样需要标定，且应结合领域语料做微调或至少做提示词校准。本文评述认为，把校验侧当作“最终裁判”是常见误区，它更准确的定位是证据充分性的代理指标，需与检索侧信号联合使用。

3.4 四类信号的联合可分性

单一信号的 AUC 通常在 0.7 至 0.85 区间（视数据集与任务而定），联合后提升有限但稳定。联合方式有两种：早期融合（拼接特征训练一个判别器）与晚期融合（各信号独立判定后按规则组合）。前者上限更高，后者可解释性与可维护性更好。工程上更现实的选择是晚期融合加少量规则，例如“检索分低于下界直接拒答；检索分高于上界且校验分达标直接回答；中间灰区进入二次判定”。

下表给出四类信号在典型场景下的特性对比，供选型参考。表中数值为公开研究与工程经验的整合估计，标注为模拟整合数据，非单一实验结论。

关于检索与重排的实现细节，可参考 Sentence-Transformers 官方文档 与 Pinecone 向量检索教程；关于 NLI 校验的工程实践，可参考 Hugging Face Transformers 文档 中的序列分类示例。

四、阈值标定：从 ROC 到代价敏感决策的完整流程

4.1 标注集构造：拒答标定的真正瓶颈

阈值标定的质量上限由标注集决定。一个可用的拒答标注集需要同时包含可答样本与不可答样本，且不可答样本应覆盖前文三类“不足”。常见做法是从真实日志中分层抽样，再由标注员按统一规范判定。规范中必须明确“部分可答”的处理方式——是拆分为多个子问题分别判定，还是整体判为不可答。这一条若含糊，标注一致性会迅速下降。

样本量方面，若要稳定估计 5% 量级的误拒率，按二项分布近似，至少需要数百至上千个可答样本；若要分域标定，每组样本量还需单独满足。工程上常见的折中是先用小样本做粗标定，上线后通过在线监控与人工抽检持续修正。笔者认为，标注规范与样本分层方案应作为标定文档的一部分固化下来，否则每次复标都会引入不可比的口径漂移。

4.2 从 ROC 到代价曲线：选点方法

给定打分与标签，可绘制 ROC 曲线并计算各阈值下的 FRR 与 FAR。但 ROC 本身不含代价信息，选点需引入代价矩阵。标准做法是构造代价曲线：以假阳性率为横轴，绘制归一化期望代价，取曲线最低点对应阈值。若业务方只能给出“误拒与漏放的相对代价比”而非绝对金额，也可用该比值做参数化扫描，输出一组候选阈值及其对应的错误结构，交由业务方选择。

本文评述认为，把选择权完全交给业务方并不妥当，因为业务方通常缺乏对错误结构的直观理解。更有效的做法是提供“阈值—误拒率—漏放率—预估人工成本”的四列表格，并给出两到三个推荐档位（保守、均衡、激进），每档注明适用场景。这样既保留了业务决策权，又避免了把技术细节直接抛给对方。

4.3 置信区间与稳定性检验

任何标定结果都应附带不确定性估计。对 FRR 与 FAR 可用自助法（bootstrap）重采样计算置信区间；对阈值本身，可通过交叉验证观察其在不同折上的波动。若阈值在折间波动超过打分分布的某个分位跨度，说明样本量不足或信号可分性差，此时应优先改进信号而非继续调阈值。

稳定性检验还应覆盖时间维度：用上月数据标定的阈值，在本月数据上的错误率是否显著漂移。若漂移显著，需检查知识库更新、用户提问分布变化或模型版本变更。这一检查建议纳入例行发布流程，而非等到线上投诉才回溯。

4.4 一个可复现的标定脚本骨架

下面给出一个最小可复现的标定流程骨架，伪代码基于 Python 与常见科学计算库，实际使用时替换为真实打分与标签即可。

import numpy as np
from sklearn.metrics import roc_curve

def calibrate(scores, labels, c_fr, c_fa, pi_ans, pi_unans):
    # labels: 1 表示可答，0 表示不可答
    fpr, tpr, thr = roc_curve(labels, scores)
    frr = 1 - tpr          # 误拒率
    far = fpr              # 漏放率
    cost = c_fr * pi_ans * frr + c_fa * pi_unans * far
    best = np.argmin(cost)
    return thr[best], frr[best], far[best], cost[best]

# 分域标定：按 domain 分组后分别调用
# 稳定性：对 (scores, labels) 做 bootstrap 重采样，
# 记录 thr 的 2.5/97.5 分位，作为阈值置信区间

该骨架刻意保持简单，目的是让标定过程可审计、可复现。工程中常见的反模式是把标定逻辑埋在训练脚本里，导致阈值来源无法追溯。笔者认为，标定脚本与产出的阈值应像模型版本一样纳入版本管理，并记录所用数据快照、代价参数与决策人。

五、关键数据与案例：公开基准与工程实测的交叉验证

5.1 公开基准中的拒答评测现状

拒答能力的评测在公开基准中起步较晚。早期问答数据集多假设问题均有答案，直到 SQuAD 2.0 引入不可答问题，才形成“答案存在性判定”的标准范式。此后，Natural Questions、TriviaQA 等数据集的部分子集也被用于不可答检测。RAG 专用基准如 RGB、CRUD-RAG、RAGAS 等，则将检索质量与生成忠实度纳入评测，但专门针对“拒答阈值”的系统性研究仍然有限。

值得注意的是，不同基准对“不可答”的定义差异很大。SQuAD 2.0 的不可答问题多与给定段落语义相关但无答案，偏向“证据不足”；而开放域问答中的不可答更多是“语料缺失”。这意味着在 SQuAD 2.0 上调出的阈值，直接迁移到企业知识库场景往往偏松。本文评述认为，跨基准迁移阈值时必须先做定义对齐，否则数字上的“提升”没有工程意义。

5.2 工程实测：错误结构随阈值移动的典型形态

以下数据为某类企业知识问答场景的整合模拟数据（基于公开方法复现的合成实验，非真实业务数据），用于说明错误结构随阈值移动的形态。样本包含 1200 条可答问题与 800 条不可答问题，打分采用检索相似度与重排分的加权组合。

表中数据清晰展示了此消彼长的关系：误拒率从 18% 降到 4% 的同时，漏放率从 3% 升到 16%。若业务方只提“降低误拒”，而不接受漏放上升，则说明问题不在阈值，而在信号可分性——需要改进检索或校验模块，而非继续移动切分点。

5.3 案例：分域标定带来的结构改善

在同一模拟数据上，按问题类型分为“参数查询”“流程说明”“政策条款”三组后分别标定，整体误拒率与漏放率的加权和下降约 2 至 3 个百分点（模拟整合数据）。改善主要来自政策条款组：该组打分分布平缓，统一阈值下误拒偏高，分域后阈值下移，误拒明显下降且漏放未显著上升。

这一结果与直觉一致，但需要强调其边界条件：分域收益依赖于分组标签的准确性与组内样本量。若分组本身噪声大，或小组样本不足百条，分域标定反而会过拟合。笔者认为，分域应作为第二阶段优化，而非第一版上线的必需项；第一版先用统一阈值加灰区复核，积累数据后再评估分域收益。

六、对比与局限：四类方案的适用边界与失效模式

6.1 四类拒答方案的横向对比

工程上常见的拒答方案可归纳为四类：纯检索阈值、检索加生成置信、检索加证据校验、以及基于微调判别器的端到端方案。四者在成本、可解释性与稳定性上各有取舍。

6.2 共同局限：分布漂移与标注口径

四类方案共享两个局限。其一是分布漂移：知识库更新、模型升级、用户提问习惯变化都会改变打分分布，使历史阈值失效。其二是标注口径：不同标注员对“部分可答”的判定不一致，会直接污染标定结果。前者可通过定期重标定与在线监控缓解，后者只能靠规范与培训，且需要定期做一致性检验（如 Cohen's kappa）。

本文评述认为，这两个局限决定了拒答阈值不可能是一个“设完就忘”的参数。更合理的定位是把它纳入配置即代码的治理体系：阈值、代价参数、标定数据快照、决策记录一并版本化，变更走评审流程。这一做法在模型管理领域已有成熟实践，迁移到阈值治理上成本不高，收益却直接体现在可追溯性上。

6.3 一个常被忽略的边界：拒答话术本身也会影响指标

拒答不仅是判定问题，也是交互问题。同样判定为拒答，回复“无法回答”与回复“当前知识库未覆盖该问题，建议联系 X 或查阅 Y”在用户侧的感受与后续行为差异显著。后者可能降低重问率，但也可能被误认为系统“知道但不愿说”。若把用户重问率或转人工率作为误拒的代理指标，话术设计就会直接干扰指标读数。

因此，标定与监控时应尽量使用人工评审的“本可回答”标签，而非单纯依赖行为指标。行为指标可作为辅助信号，但需在话术稳定期内采集，否则跨版本不可比。这一细节在工程文档中常被省略，却直接影响阈值迭代的有效性。

七、工程落地：分层架构、操作步骤与组织治理

7.1 分层决策架构：三闸门设计

结合前文信号分析，一个可落地的架构是“三闸门”：第一闸门用检索侧下界做硬拒答，拦截明显无覆盖的问题；第二闸门用检索上界加校验分做硬放行，处理高置信样本；中间灰区进入第三闸门，由生成侧自评或轻量判别器做二次判定，仍不确定则拒答并给出引导话术。

三闸门的好处是把大部分流量分流到低成本路径，只有灰区承担额外延迟。灰区比例本身就是一个有价值的监控指标：比例过高说明信号可分性不足，比例过低则可能阈值过紧、误拒偏高。笔者认为，灰区比例应作为与误拒率、漏放率并列的一等指标纳入看板。

7.2 操作步骤：从零到上线的七步路径

第一步，定义拒答口径与三类“不足”的判定规范，完成标注培训与一致性检验。第二步，从日志分层抽样，构造可答与不可答标注集，记录抽样方案与数据快照。第三步，采集四类信号打分，做单信号可分性分析，筛掉区分度低的信号。第四步，按代价矩阵做阈值扫描，输出候选档位与错误结构表。第五步，确定三闸门边界，用留出集验证整体错误率与灰区比例。第六步，上线灰度，配置在线监控与人工抽检，设定漂移告警阈值。第七步，建立季度重标定机制，阈值变更走评审与回归测试。

这七步中，最容易被压缩的是第一步与第七步，而它们恰恰决定了长期有效性。本文评述认为，若团队资源有限，宁可缩小首版范围（例如只覆盖一个知识域），也要把口径定义与重标定机制做扎实，否则后续所有优化都建立在流沙之上。

7.3 监控指标与告警设计

在线监控建议至少覆盖四组指标：拒答率及其分域分布、灰区比例、用户重问率与转人工率、以及抽检得到的误拒率估计。前两组可实时计算，后两组存在延迟，需用滑动窗口。告警阈值不宜照搬离线标定值，而应基于历史波动设定，例如拒答率相对基线偏移超过两个标准差时触发。

此外，建议对“高检索分但被拒答”与“低检索分但被放行”两类样本做专项抽检，它们分别是漏放与误拒的高风险区。抽检结果应回流到标注集，形成闭环。关于监控与可观测性的通用实践，可参考 OpenTelemetry 文档 与 Langfuse 的 LLM 可观测性指南。

7.4 组织治理：阈值到底该由谁定

回到标题中的问题。笔者认为，阈值不应由单一角色拍板，而应由三方共同定责：算法团队负责信号构造、标定方法与可分性分析，对“技术上限”负责；业务方负责提供代价矩阵与风险偏好，对“错误结构可接受度”负责；合规与运营负责拒答话术、人工兜底流程与审计留痕，对“后果可控性”负责。三方共同签署阈值配置，变更时同步评审。

按什么标准定？可归纳为三条可检验的标准：其一，在给定代价矩阵下，期望代价不高于备选档位；其二，误拒率与漏放率均落在业务约定的上限内，且置信区间不跨越上限；其三，阈值在时间维度上通过稳定性检验，漂移在可接受范围。三条同时满足，才可视为一次合格的标定。

八、结论与展望：阈值治理的三个前沿方向

本文沿着“误拒—漏放代价不对称性”这条主线，把拒答阈值从调参问题还原为决策问题：它由信号可分性、代价矩阵与覆盖分布共同决定，需通过分层信号、代价敏感标定与组织治理三者协同落地。核心结论有三：第一，统一阈值在异构知识域上必然次优，分域标定是第二阶段的有效优化；第二，脱离代价矩阵的“最优阈值”没有工程意义，标定产出应包含错误结构表而非单一数字；第三，阈值的时效性决定了它必须纳入版本化治理与定期重标定，而非一次性配置。

展望未来，笔者认为有三个方向值得关注。其一是校准感知的拒答：随着生成模型置信校准方法的成熟，把校准后的概率直接映射为拒答决策，有望减少对人工阈值的依赖。其二是在线学习与自适应阈值：利用用户反馈与抽检结果做在线更新，使阈值随分布漂移自动调整，但需解决反馈稀疏与延迟问题。其三是拒答的可解释与可审计：不仅给出“拒答”结论，还给出触发拒答的信号与证据缺口说明，这既是用户体验问题，也是合规审计的刚需。

最后需要强调，拒答阈值治理没有终点。知识库在变、模型在变、用户在变，任何一次标定都只是当前分布下的局部最优。把标定流程、监控指标与责任划分固化下来，比追求某个“完美阈值”更接近工程现实。这也是本文反复主张“阈值是治理变量而非技术参数”的落点所在。

主要参考文献