让AI学会说“我不确定”被谷歌称为治幻觉新解，但判别力不足时拒答52%正确问题，这个“实用性税”怎么算？

从不确定性量化到选择性预测：拒答机制的收益、代价与工程阈值

摘要与阅读导引

大模型幻觉治理的主流叙事，正在从“把答案改对”转向“让模型知道自己不知道”。谷歌相关研究把“表达不确定性”作为抑制幻觉的一条新路径，其核心并非让模型更聪明，而是让模型在低置信区间主动弃权。问题在于，弃权不是免费的：当模型的判别力（discrimination）不足时，拒答阈值一旦收紧，被误伤的正确问题比例会迅速上升。业界流传的“拒答52%正确问题”并非某个单一官方数字，而是对选择性预测中“覆盖率—准确率”权衡的一种典型量级刻画。本文以“判别力—拒答率—实用性税”为贯穿主线，拆解这条路径的机制、数据与工程边界。

核心判断：不确定性表达的价值，不取决于模型“敢不敢说不知道”，而取决于置信度分数能否把“会答对的”和“会答错的”分开。判别力不足时，拒答是一把钝刀——它切掉了幻觉，也切掉了大量正确答案，形成可量化的“实用性税”。

目录

一、背景与问题定义：幻觉治理的第二条曲线

1.1 幻觉不是“错误”，而是“高置信度的错误”

在技术语境中，幻觉（hallucination）通常指模型生成了与事实、输入上下文或自身知识不一致，却以流畅、确定语气呈现的内容。它与普通错误的区别在于“置信度错配”：模型在错误答案上给出的概率分布往往并不低。Ji 等人在《Survey of Hallucination in Natural Language Generation》中把幻觉分为内在幻觉与外在幻觉，前者与给定源冲突，后者引入源中不存在的信息。本文评述：这个分类对评测有用，但对工程治理的指导有限，因为线上系统真正关心的是“能否在输出前识别出高风险样本”，而不是事后归类。

传统治理走的是“第一条曲线”：用检索增强生成（RAG）补知识、用验证器做事实核查、用偏好对齐压低胡编倾向。这条曲线的边际收益在下降——检索能补“不知道的知识”，却补不了“模型自认为知道但其实错了”的情形。于是第二条曲线出现：不追求把每个答案改对，而是让模型在不确定时明确表达不确定，甚至拒答。谷歌相关研究把这一思路概括为“让模型学会说我不确定”，其本质是选择性预测（selective prediction）在生成式任务上的迁移。

1.2 问题定义：拒答是一个带代价的分类决策

把拒答形式化：给定问题 x，模型输出答案 ŷ 与置信度分数 s(x)∈[0,1]。设定阈值 τ，当 s(x)<τ 时拒答，否则作答。评价指标不是单一准确率，而是“覆盖率—准确率”曲线：覆盖率 cov(τ) 为作答样本占比，作答准确率 acc(τ) 为作答样本中正确的比例。理想情况下，提高 τ 会同时提高 acc 并降低 cov；但若 s(x) 与“是否答对”相关性弱，则提高 τ 只会牺牲 cov，acc 提升有限。本文评述：所谓“实用性税”，就是为降低幻觉率而支付的覆盖率损失，以及被误拒的正确问题所代表的用户价值损失。

二、原理与技术路线：不确定性从哪里来

2.1 三类不确定性：数据、模型与语言

不确定性量化（UQ）在机器学习中通常区分偶然不确定性（aleatoric）与认知不确定性（epistemic）。在生成式大模型中，还需要加上“语言层面的不确定性”：同一语义可有多种表述，模型对措辞的分布熵很高，但这不代表事实层面不确定。Kuhn 等人 2023 年的工作《Semantic Uncertainty: Do LLMs Know When They Don't Know?》提出语义熵（semantic entropy），把多个采样答案按语义聚类后再算熵，避免把“换个说法”误判为不确定。本文评述：这是判别力工程的关键一步——如果置信度分数把“表述多样性”当成“知识不确定性”，拒答就会大量误伤正确但措辞多样的答案。

另一条路线是 token 级概率聚合：用序列对数概率、最小 token 概率或 perplexity 作为置信度代理。这类方法实现简单，但在长答案、开放式问题上判别力偏弱，因为流畅的错误答案同样可以有高似然。笔者在实践中观察到，token 概率类分数对“事实性错误”的区分度明显低于对“语法崩坏”的区分度，这决定了它更适合做兜底过滤而非精细拒答。

2.2 采样一致性：SelfCheckGPT 与多采样投票

SelfCheckGPT（Manakul 等，EMNLP 2023）的思路是：对同一问题多次采样，若答案彼此一致，则更可能正确；若互相矛盾，则提示幻觉风险。它不需要外部知识库，属于“黑盒”方法。工程上常用 BERTScore、NLI 或问答一致性作为一致性度量。本文评述：这类方法的隐含假设是“模型的知识是稳定的，错误是随机的”，但真实情况是系统性错误会在多次采样中稳定复现——模型可能一致地错。因此一致性分数在“系统性幻觉”上判别力有限，需要与外部证据结合。

与之互补的是“多模型交叉验证”：用不同厂商或不同规模的模型对同一问题作答，分歧大则提示高风险。代价是推理成本成倍上升，且模型间可能存在共同的训练数据偏差，导致“一致地错”。笔者认为，多采样与多模型的组合应视为“风险信号源”，而非“真值判定器”，其输出必须进入统一的校准层。

2.3 校准：让分数“说真话”

置信度分数若未校准，阈值就没有可解释性。校准的目标是让“分数为 0.8 的样本中约 80% 正确”。常用方法包括温度缩放（temperature scaling）、等渗回归（isotonic regression）、直方图分箱（histogram binning）。Guo 等 2017 年的经典工作指出，现代深度网络普遍存在过度自信（overconfidence），大模型同样继承这一倾向。本文评述：校准不改变排序，因此不提升判别力（AUROC 不变），但它让阈值选择变得可操作——工程团队可以按“可接受幻觉率”反推阈值，而不是靠拍脑袋。

# 温度缩放的最小实现（示意，非生产代码）
import torch, torch.nn.functional as F

def fit_temperature(logits, labels, lr=0.01, steps=500):
    T = torch.nn.Parameter(torch.ones(1))
    opt = torch.optim.LBFGS([T], lr=lr, max_iter=steps)
    def closure():
        opt.zero_grad()
        loss = F.cross_entropy(logits / T, labels)
        loss.backward()
        return loss
    opt.step(closure)
    return T.item()

需要强调：温度缩放只对“分类头输出”有效，对生成式模型的序列级置信度，需要先定义一个可校准的标量（如答案正确性的预测概率），再用逻辑回归或等渗回归做后处理。本文评述：很多团队把“模型自报置信度”直接当阈值输入，这是校准缺失的典型表现，也是误拒率高的常见根因。

2.4 训练侧：让模型“学会弃权”

除推理侧后处理外，还有训练侧路线：在指令微调数据中加入“我不知道”“无法确定”类样本，或在 RLHF 中给“正确弃权”正奖励、给“自信错误”负奖励。OpenAI 的 GPT-4 技术报告与后续系统卡都提到，减少幻觉需要奖励“表达不确定性”。本文评述：训练侧弃权能力的风险在于“过度弃权”——模型可能学会用“我不确定”来规避难题，导致覆盖率下降而准确率提升有限，这与判别力不足的推理侧拒答是同一枚硬币的两面。

三、关键数据与案例：52%这个数字意味着什么

3.1 选择性预测的经典曲线

选择性预测在分类任务上有成熟理论：Geifman 与 El-Yaniv 2017 年的《Selective Classification for Deep Neural Networks》给出了风险—覆盖率权衡框架。其核心结论是：当置信度分数判别力强时，小幅降低覆盖率可换来大幅降低风险；判别力弱时，曲线平坦，降风险必须付出巨大覆盖率代价。本文评述：把这条曲线套到生成式问答上，“拒答52%正确问题”就对应曲线上的一个点——为了把幻觉率压到某个可接受水平，覆盖率降到 48% 左右，即约一半正确问题被误拒。这个数字是量级示意，具体数值随模型、数据集、阈值而变，不应被当作某个官方基准的精确读数。

上表为整合示意数据（模拟数据，用于说明权衡关系，非某篇论文的原始结果）。可以看到：判别力从 0.85 降到 0.55，覆盖率从 80% 掉到 48%，而准确率只从 92% 升到 78%——这就是“实用性税”的直观形态。本文评述：工程上真正要优化的是曲线形状，而不是单点阈值；把 AUROC 从 0.55 提到 0.70，带来的覆盖率收益远大于在低判别力区间反复调 τ。

3.2 国内外评测的旁证

在事实性评测上，TruthfulQA（Lin 等，ACL 2022）显示模型在“模仿人类错误观念”类问题上表现脆弱；HaluEval（Li 等，EMNLP 2023）构建了大规模幻觉评测样本；FActScore（Min 等，EMNLP 2023）用原子事实分解衡量长文本事实精度。国内方面，中文幻觉评测基准如 C-Eval 衍生的事实性评测、以及多家机构发布的中文幻觉评测集，普遍观察到“模型自评置信度与事实正确性弱相关”。本文评述：这些评测的共同信号是——模型“说不知道”的能力与其“知道”的能力并不同步，弃权训练可以改变表达风格，但难以凭空创造判别力。

在不确定性量化方向，Semantic Entropy、SelfCheckGPT、以及 2024 年前后大量关于“LLM 置信度校准”的工作，普遍报告语义级不确定性在问答任务上的 AUROC 高于 token 概率基线，但仍显著低于“有外部证据”的验证器路线。笔者认为，这提示了一条务实路径：把不确定性分数当作“路由信号”，而不是“终审判决”——低置信样本转人工、转检索、转更强模型，而不是简单拒答。

3.3 一个可复现的评测脚本思路

要算清“实用性税”，需要在自己的业务分布上跑一遍风险—覆盖率曲线。步骤如下：第一步，构造带标注的评测集，标注粒度到“答案是否正确”，并记录问题类型；第二步，对每个样本采集至少一种置信度分数（语义熵、自洽性、token 概率、模型自报置信度）；第三步，做校准并计算 AUROC；第四步，扫描阈值，画出覆盖率—准确率曲线，标出业务可接受的幻觉率对应的覆盖率；第五步，按问题类型分层，看误拒集中在哪些类别。本文评述：分层分析往往比总体曲线更有行动价值——如果误拒集中在“长尾事实题”，说明判别力缺口在知识覆盖而非置信度建模。

# 风险—覆盖率曲线（示意）
def risk_coverage(scores, correct, taus):
    out = []
    for t in taus:
        mask = scores >= t
        cov = mask.mean()
        acc = correct[mask].mean() if mask.any() else float('nan')
        out.append((t, cov, acc))
    return out
# 关键：先校准 scores，再扫 tau；否则阈值不可解释

四、工程落地路径：把“拒答”做成可调旋钮

4.1 分层路由：拒答不是二选一

生产系统里，最差的设计是“低于阈值就回一句我不确定”。更好的设计是分层路由：高置信直接答；中置信走检索增强或工具调用后重答；低置信转人工或给出“需核实”的带证据回答。本文评述：分层路由把“拒答”从二元决策变成多级动作，等价于在风险—覆盖率曲线上增加了中间工作点，从而降低“实用性税”的绝对量。代价是系统复杂度与延迟上升，需要按业务场景做成本核算。

4.2 阈值调优：按业务损失函数反推

阈值不应由算法团队单独拍板，而应由业务损失函数决定。设“错误答案”的单位损失为 C_err，“误拒正确答案”的单位损失为 C_rej，则最优阈值应使边际损失相等。医疗、金融等高风险场景 C_err 远大于 C_rej，阈值应偏保守；客服、创意辅助等场景 C_rej 更贵，阈值应偏宽松。本文评述：把“52%误拒”当作统一红线是误读——同一个拒答率，在不同损失结构下可能是理性选择，也可能是过度保守。

4.3 监控与回归：把误拒率纳入 SLO

拒答机制上线后，必须持续监控三个指标：覆盖率、作答准确率、误拒率（被拒样本中事后判定为正确问题的比例）。误拒率的估计需要抽样人工复核或借助更强模型做离线判定。本文评述：很多团队只监控“幻觉率下降”，忽略了“误拒率上升”，导致用户体验在不知不觉中恶化。把误拒率纳入 SLO，并设置告警阈值，是把“实用性税”显性化的必要动作。

4.4 数据预处理与评测集构建细节

涉及数据集时需说明预处理：以 TruthfulQA 为例，通常按官方划分取验证集，去除多参考答案中语义重复项，用 NLI 或人工判定答案正确性；HaluEval 需按任务子集（问答、对话、摘要）分别统计，避免混合分布掩盖差异；中文自建集需做去重、去除含个人隐私样本、统一标点与全半角，并对“多正确答案”问题单独标注。本文评述：预处理不一致是跨研究数字不可比的常见原因，报告结果时应同时给出数据版本、判定规则与置信区间。

五、对比与局限：与检索增强、验证器路线的取舍

5.1 三条路线的成本—收益对比

RAG 的收益来自外部证据，成本是检索延迟与索引维护；验证器（verifier/reward model）的收益来自对答案的二次判别，成本是额外推理与标注；不确定性拒答的收益来自“少说少错”，成本是覆盖率损失。本文评述：三者不是替代关系，而是串联关系——不确定性分数可以作为路由信号，决定是否触发 RAG 或验证器，从而把昂贵动作留给高风险样本。

5.2 局限：判别力的天花板在哪里

第一，系统性幻觉难以被自省信号捕捉——模型对训练数据中的流行错误会稳定地“自信地错”。第二，语义熵等方法需要多次采样，推理成本高，且对采样温度敏感。第三，校准依赖分布内数据，分布漂移会让阈值失效。第四，拒答表达本身可能被用户误读为“系统故障”，影响信任。本文评述：这些局限决定了不确定性拒答应定位为“风险控制层”，而非“事实正确性保证层”。

边界条件：当业务对“答对率”的要求高于“覆盖率”，且模型判别力 AUROC 低于约 0.65 时，单纯收紧拒答阈值的性价比通常低于引入外部证据或人工复核。这个阈值是经验量级，需按业务损失函数重新标定。

六、结论与展望：把实用性税算清楚

让 AI 说“我不确定”是一条有价值但被高估的路径。它的价值在于把“隐性幻觉”转化为“显性弃权”，让风险可见、可管理；它的被高估之处在于，很多人误以为“表达不确定”能替代“提升判别力”。本文的核心结论是：拒答的收益由判别力决定，拒答的成本由覆盖率度量，二者共同构成“实用性税”。不先把 AUROC 和校准做上去，就急着调阈值，只会把税负转嫁给用户。

面向未来，笔者认为有三个方向值得投入：其一，语义级不确定性度量的工程化，把多次采样的成本压到可接受区间；其二，把不确定性分数接入路由与工具调用，形成“风险分级—动作分级”的闭环；其三，建立跨机构可比的误拒率报告规范，让“52%”这类数字有明确的评测口径，而不是沦为传播符号。把税算清楚，比争论该不该收税更重要。

参考文献与拓展资源

本文参考与延伸阅读覆盖不确定性量化、选择性预测、幻觉评测与校准四个方向，累计参考条目 60 余篇，其中近三年（2022—2024）文献占比超过 50%。以下列出 9 篇主要参考文献，完整清单可按关键词检索原始文献。

拓展资源（新窗口打开）：Semantic Uncertainty 论文、SelfCheckGPT 论文、Hugging Face 技术博客、选择性预测与校准视频教程。