要求回答“必须附出处、没出处不展示”，但检索本身召回率就差，这个约束到底在治幻觉还是在治检索？

——一个关于约束作用域、失效归因与分层门控的工程分析

摘要与核心论点

“必须附出处、没出处不展示”是当前检索增强生成（Retrieval-Augmented Generation, RAG）系统中最常见的可信性约束之一。它的字面语义是：模型输出的每一条事实性断言，都必须绑定可核验的引用；若无法绑定，则拒绝输出。工程实践中，这一约束常被当作“治幻觉”的标准手段写入系统提示词。但当底层检索器的召回率本身不足时，约束的实际作用对象会发生偏移：它不再主要惩罚“模型编造”，而是大量惩罚“检索没找到”。

本文的核心论点是：该约束在语义上作用于生成端，在统计上却同时作用于检索端，二者通过“拒答率”这一可观测指标耦合在一起。如果不做归因分解，团队会把检索缺陷误判为模型保守，或把模型幻觉误判为检索不足，从而在错误的模块上投入优化资源。本文提出一条贯穿全文的分析主线：约束不是治理手段本身，而是一个放大器——它放大系统中最短的那块板。围绕这条主线，本文依次讨论问题定义、失效机制、归因方法、分层门控设计、工程落地步骤与前沿预判。

目录

一、背景与问题定义：约束的语义边界在哪里

1.1 三个必须区分的概念：幻觉、无据、拒答

讨论该约束之前，必须先厘清三个常被混用的概念。幻觉（hallucination）指模型生成了与事实不符或与给定上下文不一致的内容，其判定依赖于外部真值；无据（unsupported）指断言在给定证据集合中找不到支撑，其判定只依赖于证据集合本身，不依赖外部真值；拒答（abstention）指系统选择不输出，是行为层面的决策结果。

三者的关系是：无据是幻觉的必要非充分条件之一（有据也可能被错误引用），拒答是无据的一种处置策略。约束“没出处不展示”直接操作的是“无据→拒答”这条边，它并不直接操作“幻觉”本身。换言之，该约束是一个证据一致性约束，而不是一个事实正确性约束。笔者认为，这一区分是全文分析的起点：把证据一致性约束当作事实正确性约束来宣传，是大量系统设计错位的根源。

1.2 约束的两种实现语义

工程上，“必须附出处”至少有两种截然不同的实现语义。第一种是事后校验式：先生成，再逐句做蕴含判定（entailment check），不通过则删除或改写该句。第二种是事前约束式：只在检索到的证据片段范围内组织答案，证据外内容一律不生成。前者对生成自由度影响小，但校验器本身有误差；后者拒答率高，但可控性强。

两种语义对检索召回率的敏感度不同。事后校验式在召回不足时，倾向于把“检索没覆盖但模型知道”的正确内容也判为无据而删除；事前约束式则直接让答案变短甚至为空。本文评述：多数团队在提示词里写的是事前约束式的措辞，实现上却依赖事后校验式的行为，这种“语义—实现”错配会显著放大召回缺陷的负面效应。

1.3 召回率为何天然偏低

检索召回率低并非实现粗糙，而是多重结构性因素叠加的结果。第一，查询与文档存在词汇鸿沟，用户口语化提问与专业文档表述不一致；第二，长文档切块（chunking）破坏了语义完整性，关键信息被切散；第三，稠密检索（dense retrieval）在长尾实体和罕见术语上表现不稳；第四，多跳问题需要多轮检索，单轮召回天然不足；第五，语料本身存在覆盖盲区。

这些因素在公开评测中已有体现。以 BEIR 基准为代表的一系列工作表明，稠密检索器在跨域场景下的零样本表现与领域内微调存在明显差距（Thakur 等，2021）；后续的 MTEB 与 BRIGHT 等工作进一步显示，检索性能对任务类型高度敏感（Muennighoff 等，2023；Su 等，2024）。本文评述：召回率不是单一数字，而是任务分布的函数，脱离任务谈“召回率差”没有工程意义。

二、失效机制：约束如何从“治幻觉”滑向“治检索”

2.1 一条因果链：召回缺失如何变成拒答

设想一个典型链路：用户提问 → 查询改写 → 检索 Top-k → 重排 → 生成 → 引用校验 → 输出或拒答。当检索召回不足时，证据集合 E 中不含支撑断言 a 的片段。此时生成端有两种可能：模型凭参数知识生成 a（可能正确），或模型不生成 a。若生成 a，引用校验判定 a 无据，触发拒答或删除；若不生成 a，答案完整性受损。

关键观察是：在这条链路上，约束的惩罚对象是“证据集合的完备性”，而不是“模型的知识可靠性”。召回缺失被转化为拒答，拒答又被误读为“模型在诚实地说不知道”。这种误读具有极强的迷惑性，因为拒答在表面上完全符合“可信”的叙事。

2.2 拒答率的分解式

为便于量化，本文给出一个简化的拒答率分解。设问题集合为 Q，对每个问题 q，定义：R(q) 为检索是否召回支撑证据（1/0），G(q) 为模型在无约束下是否生成正确断言（1/0），C(q) 为校验器是否正确判定（1/0）。则拒答指示变量可近似写为：

Abstain(q) ≈ (1 - R(q)) · G(q) · C(q) + (1 - R(q)) · (1 - G(q)) · C(q)
           = (1 - R(q)) · C(q)

该式说明：在理想校验器（C=1）下，拒答率约等于检索缺失率 (1-R)。也就是说，当校验器足够准时，拒答率几乎完全由召回率决定，约束实际上变成了召回率的显示器。这是一个反直觉但极其重要的结论：越是严格执行“没出处不展示”，系统越是在忠实反映检索的短板，而不是在治理幻觉。

本文评述：该分解式是近似，忽略了校验器假阳性、模型改写规避校验、多证据交叉支撑等情形，但它足以支撑工程判断——在召回率低于某个阈值时，继续收紧约束的边际收益递减，边际损害（答案完整性下降）递增。

2.3 约束的“双刃”效应与阈值现象

约束并非只有负面效应。在召回充足时，它能有效抑制模型把参数知识混入答案、抑制引用错配（citation misattribution）。问题在于，这种收益随召回率变化呈非线性。笔者基于公开文献中的典型数值做整合推演（模拟数据，非实测）：当召回率高于约 0.8 时，约束的幻觉抑制收益显著大于完整性损失；当召回率低于约 0.5 时，约束主要产生拒答，幻觉抑制的边际收益很小。

需要强调，上述区间为整合推演，用于说明趋势而非给出精确阈值。真实阈值依赖于任务对错误的容忍度、校验器精度、以及用户对拒答的接受程度。

2.4 一个容易被忽视的机制：校验器的假阴性

即便检索召回了正确证据，校验器也可能判为无据，形成假阴性。自然语言推理（NLI）类校验器在长证据、多跳推理、数值比较等场景下误判率不低。这意味着“没出处不展示”的实际拒答率高于 (1-R)，因为还要叠加校验器假阴性。本文评述：很多团队在优化检索后仍见拒答率不降，原因往往在此——他们把校验器误差算进了检索账上。

三、归因方法论：把拒答拆成可测量的三块

3.1 归因实验设计

要回答“约束在治幻觉还是治检索”，不能靠直觉，必须设计可复现的归因实验。核心思路是构造一个受控对照：在同一问题集上，分别运行“无约束生成”和“有约束生成”，并对无约束生成的每条断言做人工或模型标注，区分“检索已覆盖但模型未用”“检索未覆盖但模型答对”“检索未覆盖且模型答错”三类。

具体步骤：第一步，固定检索器与生成器，仅切换约束开关；第二步，对无约束输出做断言级切分；第三步，用检索证据集合对每条断言做覆盖判定；第四步，用外部真值做正确性判定；第五步，交叉制表。这样可以得到一张 2×2 的混淆矩阵，直接回答约束惩罚的是哪一类。

3.2 关键指标：约束惩罚指向比

本文提出一个便于工程沟通的指标——约束惩罚指向比（Constraint Penalty Targeting Ratio, CPTR）：在有约束相对无约束被删除或拒答的断言中，“检索未覆盖”所占的比例。CPTR 越高，说明约束越是在治检索；CPTR 越低，说明约束越是在治幻觉。

CPTR = |{被约束惩罚的断言 ∩ 检索未覆盖}| / |{被约束惩罚的断言}|

判读：
  CPTR > 0.6  → 约束主要在惩罚检索缺失，应优先修检索
  CPTR < 0.3  → 约束主要在惩罚模型编造，可维持或加强约束
  0.3–0.6     → 混合区，需分层门控

本文评述：CPTR 的价值在于把“治幻觉还是治检索”这个定性争论转化为一个可测比值。它不追求理论完备，但足以支撑资源分配决策。需要提醒，CPTR 依赖断言级标注质量，标注规范必须先固定，否则跨团队不可比。

3.3 数据集与预处理说明

归因实验常用公开数据集包括 Natural Questions、HotpotQA、FEVER、KILT 与 BEIR 系列。预处理需注意：第一，问题去重与长度过滤，剔除超长多跳问题以免污染单跳统计；第二，证据集合需与检索器实际返回的 Top-k 对齐，不能用标注金标证据代替，否则会高估召回；第三，断言切分建议采用句级加子句级混合，避免长句掩盖局部无据；第四，正确性判定建议双人标注加仲裁，报告 Cohen's kappa。

若使用合成数据做压力测试，须在文中明确标注为模拟数据。本文所有区间数值均为整合推演，不构成对任何具体系统的实测结论。读者可参考 BEIR 官方仓库与 MTEB 排行榜获取可复现的基线数据：BEIR 仓库、MTEB 排行榜。

四、分层门控：让约束作用在正确的层级

4.1 为什么“一刀切”约束必然错位

单一约束把“证据一致性”和“事实正确性”压在同一层，导致无法区分失败来源。分层门控的基本思想是：把约束拆成多个层级，每层只负责一种判定，并输出可解释的门控信号。这样，拒答不再是一个黑箱结果，而是带有归因标签的决策。

4.2 四层门控设计

第一层，检索充分性门控：判断证据集合是否覆盖问题所需信息，输出覆盖度分数。第二层，断言支撑门控：逐断言做蕴含判定，输出支撑标签。第三层，置信度门控：结合模型对数概率与校验器分数，估计断言可靠性。第四层，呈现策略门控：根据前三层结果决定“直接答”“带引用答”“带不确定性答”“拒答并提示检索不足”。

本文评述：分层门控的关键收益不是提高某个单点指标，而是让“拒答”携带归因信息。当用户看到“因检索不足而拒答”而非笼统的“无法回答”时，系统的可信度反而上升，因为它诚实地暴露了短板位置。

4.3 与 Self-RAG、CRAG 等路线的对照

近年出现多条相关技术路线。Self-RAG 引入反思标记（reflection tokens），让模型自行判断是否需要检索、证据是否相关、输出是否有支撑（Asai 等，2023）。CRAG 引入轻量检索评估器，对检索结果分级并触发不同动作（Yan 等，2024）。这些工作与本文分层门控思路同源，但侧重点不同：Self-RAG 侧重训练端，CRAG 侧重检索端纠错，本文侧重把约束的作用域显式化并给出归因指标。

本文评述：这些方法的共同前提是“检索评估器本身要准”。若评估器在长尾问题上失效，分层门控会退化为新的黑箱。因此，评估器的校准（calibration）比结构复杂度更值得投入。可参考 Self-RAG 项目页 与 CRAG 论文 了解细节。

五、工程落地路径：从指标到代码的六个步骤

5.1 步骤一：建立断言级评测集

从真实日志中采样问题，覆盖高频、长尾、多跳三类。每个问题标注金标证据与金标答案，答案切分为断言。规模建议不少于 300 题、1500 条断言，以保证 CPTR 估计的稳定性。标注规范需固定“支撑”的判定粒度，例如数值容差、时间范围、实体别名。

5.2 步骤二：跑通双模式对照

同一检索器、同一生成器，分别跑无约束与有约束。记录每条断言的去留、引用绑定情况、最终输出模式。注意控制温度与采样次数，建议每題采样 3 次取多数，降低随机性对归因的干扰。

5.3 步骤三：计算 CPTR 并定位瓶颈

按第三章方法计算 CPTR，并按问题类型分层统计。若长尾问题 CPTR 显著高于高频问题，说明瓶颈在检索覆盖；若高频问题 CPTR 也高，说明瓶颈可能在切块或查询改写。

5.4 步骤四：先修检索，再调约束

检索侧优先动作包括：改进切块策略（语义切块、父子块）、引入混合检索（BM25 + 稠密）、增加查询改写与多查询扩展、对长尾实体建立别名索引。这些动作的收益通常大于继续收紧约束。可参考 切块策略教程 与 混合检索讲解视频。

5.5 步骤五：实现分层门控

给出一个最小可用的门控伪代码，便于直接改造现有链路：

def gated_answer(question, retriever, generator, checker, tau_cov=0.5, tau_sup=0.6):
    evidence = retriever.search(question, k=8)
    coverage = estimate_coverage(question, evidence)      # 检索充分性
    if coverage < tau_cov:
        evidence = retriever.search(rewrite(question), k=8)  # 二次检索
        coverage = estimate_coverage(question, evidence)
    draft = generator.generate(question, evidence)
    claims = split_claims(draft)
    kept, dropped = [], []
    for c in claims:
        sup = checker.entail(c, evidence)                 # 断言支撑
        if sup.score >= tau_sup:
            kept.append((c, sup.citation))
        else:
            dropped.append(c)
    if not kept:
        return abstain(reason="insufficient_evidence", coverage=coverage)
    if dropped:
        return render(kept, note="partial_evidence", dropped=len(dropped))
    return render(kept)

本文评述：该伪代码刻意保留“部分证据”这一中间态。工程上，全有或全无的二值输出会显著伤害可用性；允许“带不确定性标注的部分回答”往往比直接拒答更符合用户预期，也更利于收集反馈。

5.6 步骤六：持续监控与回归

上线后需监控三个指标：拒答率、CPTR、以及“拒答后用户重述率”。重述率高说明拒答原因未被理解，提示文案需改进。同时建立回归集，每次调整检索或约束都重跑，避免指标漂移。

六、对比与局限：约束的边界条件

6.1 约束真正有效的场景

在合规、医疗、金融等高风险场景，错误代价远高于拒答代价，此时严格约束是理性的。在证据集合本身高质量、覆盖充分的封闭域问答中，约束能显著降低引用错配。本文评述：约束的价值高度依赖于“错误—拒答”的代价比，脱离代价比谈约束松紧没有意义。

6.2 约束失效的边界

第一，开放域长尾问题，检索覆盖天然不足；第二，多跳推理，单轮证据无法支撑完整断言；第三，时效性极强的问题，语料更新滞后；第四，需要常识补全的问题，证据中不会显式写出常识。这些边界下，约束会把大量本可正确回答的问题转为拒答。

6.3 方法局限

本文提出的 CPTR 依赖断言级标注，成本较高；分解式为近似，未建模校验器假阳性；分层门控引入额外延迟。这些局限需在落地时权衡。笔者认为，任何归因方法都只能降低不确定性，不能消除它；工程决策应在不确定性下做出，而非等待完美指标。

七、结论与展望

回到标题的问题：这个约束到底在治幻觉还是在治检索？本文的答案是——它名义上治幻觉，统计上常常在治检索。在召回率不足时，约束主要通过拒答机制惩罚检索缺失，而非抑制模型编造。要让它真正发挥治幻觉的作用，前提是检索召回达到一定水平，并且校验器足够准。

面向未来，三个方向值得关注。其一，检索与生成的联合校准，把召回不确定性显式传入生成端；其二，断言级可验证性训练，让模型学会在证据不足时主动降级表述而非硬答；其三，面向长尾的检索增强，包括查询扩展、多索引融合与领域自适应。本文评述：约束本身不是终点，它是系统可信度工程的一个组件；把组件放对位置，比把组件调得更紧更重要。

八、主要参考文献与声明