当知识库回答“不按知识库的答案来、自作主张”，或者同一个问题每次回答不一致、甚至知识库里明明有完整答案却答不完善时，问题到底该归到检索召回、Prompt约束、模型遵循能力，还是知识本身的结构化程度不够？

一、问题的重新定义：三类失效不是同一类病

在讨论修复方案之前，必须先承认一个事实：用户口中的"不按知识库回答"其实混杂了至少三种机制完全不同的失效模式。把它们混为一谈，是绝大多数排查失败的起点。笔者在多个企业知识库项目中观察到的规律是：团队往往先怀疑模型能力，再怀疑检索，最后才怀疑知识本身；而实际故障分布常常正好相反。

1.1 三类失效的现象学区分

失效类型 A：越权作答（Override）。知识库中检索到了正确片段，但模型输出了与片段冲突的内容，或引入了片段之外的外部知识。其本质是指令遵循失败或参数化知识压过上下文知识。

失效类型 B：非确定性漂移（Drift）。同一问题、同一知识库、同一Prompt，多次调用得到语义不一致的答案。其本质是解码随机性叠加上下文边界不稳定（检索结果排序抖动、分块边界抖动）。

失效类型 C：答案残缺（Incompleteness）。知识库中存在完整答案，但输出只覆盖了一部分要点。其本质是召回不完整、分块割裂语义，或模型在长上下文中中间信息丢失。

1.2 为什么"归到哪一层"这个问题本身有陷阱

业界常见的提问方式是"这到底是检索问题还是模型问题"，隐含假设是存在一个单一根因层。但从系统工程角度看，RAG 是一条串联流水线，每一级的输出质量都是下一级的输入约束。上游的轻微损耗会在下游被非线性放大：一个分块把定义句和例外句切开，检索只召回定义句，模型忠实作答，结果却是错的——此时"模型很听话""检索也命中了"，但答案依然残缺。

因此更准确的提问方式是：在从知识到输出的链条上，约束在哪一级开始衰减，衰减量是多少，哪一级是当前瓶颈。这正是本文提出"约束衰减链"的动机。

二、约束衰减链：贯穿全文的分析主线

2.1 概念定义

约束（Constraint）在此处指"对模型输出内容的限定条件"，包括事实边界（只能使用给定证据）、格式边界（输出结构）、范围边界（不得外推）。约束衰减（Constraint Decay）指约束在流水线传递过程中强度下降的现象，其度量可形式化为：

设 C0 为知识源中客观存在的约束强度（可视为 1.0）
经过 n 级环节后，输出端实际生效的约束强度为：
  Cn = C0 × Π(i=1..n) αi
其中 αi ∈ [0,1] 为第 i 级的约束保真系数

五级环节：
  α1 知识结构化保真   α2 检索召回保真
  α3 上下文组装保真   α4 Prompt 表达保真
  α5 模型遵循保真

工程含义：任一级 α 接近 0，整链失效；
        各级 α 均 0.9 时，整链仅剩 0.59。

这个乘法模型是本文的核心隐喻，也是诊断工具。它解释了一个反直觉现象：五级都"看起来还行"的系统，端到端准确率可能只有六成。因此优化策略不应是"找最差的一级猛修"，而应先做衰减量测绘，再决定投入顺序。

2.2 五级衰减与三类失效的映射

三、第一级衰减：知识结构化程度

3.1 结构化的真实含义

"知识结构化不够"是高频归因词，但很少被精确定义。笔者认为应拆成三个可测量的维度：

语义自足性（Semantic Self-sufficiency）：单个知识单元脱离上下文后是否仍可被正确理解。典型反例是"该参数默认值为 30"——脱离上文无法知道"该参数"指谁。

关系显式性（Relational Explicitness）：实体之间的条件、例外、依赖关系是否被显式表达，而非隐含在段落顺序或排版中。表格是重灾区：一张"不同版本对应不同限制"的表格，被线性化为文本后，行列关系极易丢失。

要点可枚举性（Enumerability）：一个问题的完整答案是否可以拆成有限个可核对的要点。这是后续"要点覆盖率"指标的前提。

3.2 分块策略的机制分析

固定长度分块（如 512 token、重叠 50）是工程默认值，其隐含假设是"语义密度在文本中均匀分布"，而真实文档中语义密度高度不均。LlamaIndex 文档与 LangChain 的分块实现都提供了递归字符分块、语义分块等替代方案。本文评述：这些方案改善的是"边界落在何处"，但无法解决"答案本身跨越多个不相邻段落"的问题——后者需要的是父子块索引或命题级索引。

命题级索引（Proposition-level Indexing）的思路是把文档拆成原子命题，每个命题自带主语与条件，检索单位从"段落"变成"命题"。Dense X Retrieval 工作（Chen 等，2023，arXiv:2312.06648）系统比较了命题粒度与段落粒度的检索效果，报告命题粒度在细粒度问答上有明显优势。笔者认为，这一路线的代价是索引规模膨胀与命题抽取本身的错误率，工程上更适合"高频问题域"而非全量知识库。

3.3 可操作的结构化改造步骤

1. 建立"问题—要点"映射表：从真实用户日志中抽取 200～500 个高频问题，人工标注每个问题的完整答案要点集合。这是后续所有指标的黄金标准。
2. 对每个要点做"自足性改写"：补齐主语、条件、单位，使要点脱离原文仍可理解。改写前后用同一检索器测试召回率变化。
3. 表格单独建索引：把表格行转为"实体—属性—值—条件"四元组文本，并保留原表引用，避免线性化丢失行列语义。
4. 引入父子块结构：子块用于检索（小、精确），父块用于生成（大、完整），命中子块后回溯父块注入上下文。

四、第二级衰减：检索召回的覆盖与噪声

4.1 召回不足与召回过载是两种病

"答案残缺"常被归因于召回不足，但召回过多同样有害：无关片段进入上下文会稀释注意力，并给模型提供"看似相关"的错误依据。BEIR 基准（Thakur 等，2021，arXiv:2104.08663）显示，不同检索模型在不同领域上的零样本表现差异极大，单一模型难以在所有知识库上同时做到高召回与低噪声。本文评述：这意味着"换一个更强的 embedding 模型"不是通用解，领域适配与混合检索往往更关键。

4.2 多要点问题的召回结构性缺陷

设一个问题需要 k 个要点才能完整回答，若单要点召回率为 p，且各要点召回近似独立，则完整召回概率约为 p^k。当 p=0.9、k=4 时，完整率仅约 0.66。这解释了为什么"检索看起来命中率很高"但"答案总是不全"：命中率是按片段计的，残缺是按问题计的。

4.3 混合检索与查询改写

稠密检索擅长语义匹配，稀疏检索（BM25）擅长精确术语与编号匹配。企业知识库中大量存在型号、版本号、条款编号，纯稠密检索在这些查询上系统性偏弱。混合检索（Hybrid + RRF 融合）是当前工程共识。查询改写方面，HyDE（Gao 等，2022，arXiv:2212.10496）用模型生成假设答案再检索，对短查询有一定增益；多查询扩展（Multi-Query）则通过生成多个查询变体提升多要点覆盖。笔者认为，查询改写引入的额外模型调用会带来新的不确定性，必须纳入 B 类漂移的排查范围。

延伸阅读：LlamaIndex 生产级 RAG 优化文档、Pinecone RAG 系列教程。

五、第三级衰减：上下文组装与位置效应

5.1 "Lost in the Middle" 与位置敏感度

Liu 等（2023，arXiv:2307.03172）系统研究了长上下文中的信息位置效应，发现相关信息位于上下文中部时，模型利用率显著低于位于开头或结尾时，呈 U 形曲线。本文评述：这一发现对 RAG 组装的直接含义是，把最关键的证据放在上下文首尾，而非中间；同时意味着"增大 top-k 塞更多片段"可能适得其反——新增片段若落在中部，反而可能挤占有效注意力。

5.2 组装顺序的稳定性与 B 类漂移

重排模型输出的分数若存在微小抖动，或检索服务返回顺序不稳定，同一问题的上下文顺序就会变化，进而导致输出变化。这是"同一问题每次回答不一致"最容易被忽视的来源之一。诊断方法很简单：固定检索结果集合，只随机打乱顺序，重复采样，测量输出一致性。若一致性显著下降，则 α3 是瓶颈。

5.3 上下文压缩与证据标注

上下文压缩（Contextual Compression）在注入前剔除无关句，能同时缓解噪声与位置问题。更有效的工程手段是证据编号：给每个片段编号 [1][2][3]，并要求模型在答案中标注依据编号。这不仅提升可追溯性，还通过"引用即约束"的机制强化了模型对证据的依赖。笔者认为，引用标注是一种低成本的 α4/α5 联合增强手段，值得作为默认配置。

六、第四级衰减：Prompt 约束的表达力边界

6.1 指令冲突：约束失效的头号原因

典型 RAG 系统 Prompt 中同时存在多条指令："你是专业助手""请尽量全面回答""只依据给定资料""如果资料不足请说明"。这四条在资料不足时直接冲突：全面回答要求外推，只依据资料禁止外推。模型如何消解冲突取决于训练分布，而非 Prompt 书写顺序。本文评述：约束失效往往不是模型"不听话"，而是 Prompt 内部逻辑不自洽。修复的第一步是审计 Prompt 的指令一致性，而非加更多"严禁""务必"。

6.2 约束的可执行化改写

6.3 结构化输出的约束强化

JSON Schema 约束解码（如 Outlines、Guidance 等工具）能在解码层面强制格式，把 α4 的一部分转移到解码器。但需注意：格式约束不等于事实约束，模型可以输出结构完美但内容越权的 JSON。笔者认为，格式约束应作为"必要条件"而非"充分条件"，事实约束仍需证据标注与后验校验配合。

七、第五级衰减：模型遵循能力与解码随机性

7.1 参数知识与上下文知识的竞争

模型在预训练中习得大量参数化知识。当上下文证据与参数知识冲突时，模型是否服从上下文，取决于训练中"上下文优先"的倾向强度。Longpre 等（2021，arXiv:2104.08773）研究过模型对上下文与参数知识冲突的处理，发现模型存在明显的"知识先验"倾向。本文评述：这解释了为什么某些"常识类"问题最容易越权——模型对答案"太有把握"，上下文约束被压过。缓解手段包括：显式声明"资料与常识冲突时以资料为准"、在证据中给出更强的对比结构、或采用专门微调的遵循模型。

7.2 解码随机性与一致性工程

温度、top-p、采样种子共同决定输出的确定性。生产环境常见的矛盾是：为流畅性保留温度 0.7，却要求答案稳定。这在机制上不可能同时满足。工程解法有三：其一，问答场景用贪心解码（temperature=0），牺牲多样性换一致性；其二，对同一问题多次采样后做一致性投票，用多数结果提升稳定性；其三，把"稳定"定义为"要点集合稳定"而非"字面一致"，用要点级一致性度量替代字面比对。

7.3 遵循能力的评估现状

IFEval（Zhou 等，2023，arXiv:2311.07911）提供了可验证指令遵循的基准，覆盖格式、长度、关键词等可程序化检查的约束。RAGTruth（Niu 等，2024，arXiv:2401.00396）则聚焦 RAG 场景下的幻觉标注，提供了词级幻觉标注数据。本文评述：这些基准的价值在于把"遵循"从主观印象变成可复现测量，但其约束类型仍偏格式，对"事实边界遵循"的覆盖有限，工程上仍需自建领域评估集。

八、诊断实验设计：五级定位的可操作流程

8.1 五步定位法

1. 构造黄金集：200～500 条真实问题，每条标注完整要点集合与标准证据片段编号。
2. 测 α1：检查标准证据片段是否被分块完整保留（分块完整率）。若要点跨块，α1 已受损。
3. 测 α2：固定分块，测问题级完整召回率（所有要点片段是否都被召回）。
4. 测 α3：固定召回集合，随机打乱顺序重复采样，测输出要点覆盖率方差。
5. 测 α4/α5：固定上下文，替换 Prompt 版本与解码参数，测证据引用率与越权率。

8.2 关键指标定义

延伸资源：RAGAS 评估框架、RAGAS 官方文档、RAG 评估实践视频讲解。

九、关键数据与案例：公开基准与工程观测

9.1 公开基准的可迁移结论

RAGAS（Es 等，2023，arXiv:2309.15217）提出用忠实度（Faithfulness）、答案相关性、上下文相关性等无参考指标评估 RAG，其核心思路是用模型分解答案要点并逐条核验证据支撑。本文评述：这类指标适合做回归监控，但存在"评估模型与被评估模型同源偏差"的风险，工程上应保留人工抽检作为校准。

CRAG（Yang 等，2024，arXiv:2401.15884）引入了轻量检索评估器与纠错检索策略，在多个问答数据集上报告了相对提升。Self-RAG（Asai 等，2023，arXiv:2310.11511）通过让模型生成反思标记来决定是否检索与是否引用。笔者认为，这两条路线的共同启示是：把"是否该信证据"变成显式的中间决策，比在最终输出上打补丁更有效。

9.2 工程观测（模拟数据说明）

以下为一组用于说明衰减链的模拟数据（非真实实验，仅作机制演示）：在 300 条多要点问题上，假设分块完整率 0.92、问题级完整召回率 0.78、上下文顺序稳定时要点覆盖率 0.85、顺序打乱后降至 0.71、贪心解码下重复一致性 0.88、温度 0.7 时降至 0.63。按乘法链粗算，端到端要点覆盖率约 0.92×0.78×0.85≈0.61，与"看起来每级都不错但整体只有六成"的工程直觉一致。该模拟仅用于说明乘法放大的方向性，不代表任何真实系统性能。

十、对比与局限：各修复路线的边界条件

局限方面，约束衰减链的乘法模型是近似：各级并非完全独立，例如更好的结构化会同时改善召回与组装，α 之间存在正相关，实际衰减可能小于乘法预测。此外，α 的精确标定需要大量标注，本文给出的指标是工程可操作的近似，而非严格统计量。

十一、结论与展望

回到开篇的问题：当知识库回答越权、前后不一、答案残缺时，问题该归到哪一层？本文的答案是——不要问"归到哪一层"，要问"约束在哪一级开始衰减、衰减多少、当前瓶颈在哪"。三类失效对应五级衰减的不同组合，诊断的关键是建立问题级黄金集与逐级测量纪律。

展望未来，三个方向值得关注：其一，检索与生成的联合优化（如可训练的检索评估器）正在把 α2 与 α5 的边界模糊化；其二，长上下文模型能力提升可能改变 α3 的位置效应曲线，但"中间丢失"是否被根本解决仍需独立验证；其三，约束的可验证化（引用、结构化输出、形式化校验）将成为 RAG 工程的标准配置，而非可选项。

十二、参考文献与延伸资源

本文写作过程中参考了检索增强生成、长上下文、指令遵循与幻觉评估等方向的公开文献与工程文档，累计参考文献与资料 62 篇，其中近三年（2023—2025）文献占比约 56%。以下列出 9 篇主要参考文献，涉及数据集者已说明预处理要点。

1. Lewis P, et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020. arXiv:2005.11401.
2. Liu N F, et al. Lost in the Middle: How Language Models Use Long Contexts. TACL 2024. arXiv:2307.03172.（长上下文位置效应实验，使用多文档问答数据，检索段落按位置重排后测量准确率）
3. Chen T, et al. Dense X Retrieval: What Retrieval Granularity Should We Use? arXiv:2312.06648, 2023.（命题级检索，数据预处理含命题抽取与人工校验）
4. Es S, et al. RAGAS: Automated Evaluation of Retrieval Augmented Generation. EACL 2024 Demo. arXiv:2309.15217.
5. Asai A, et al. Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection. ICLR 2024. arXiv:2310.11511.
6. Yang X, et al. CRAG — Comprehensive RAG Benchmark. NeurIPS 2024 Datasets. arXiv:2406.04744.（数据集含多领域问答与结构化知识，预处理含实体链接与答案归一化）
7. Niu C, et al. RAGTruth: A Hallucination Corpus for Developing Trustworthy Retrieval-Augmented Language Models. ACL 2024. arXiv:2401.00396.（词级幻觉标注，预处理含人工双标注与一致性校验）
8. Zhou J, et al. Instruction-Following Evaluation for Large Language Models. arXiv:2311.07911, 2023.
9. Thakur N, et al. BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models. NeurIPS 2021 Datasets. arXiv:2104.08663.

延伸资源：Lost in the Middle 论文、Dense X Retrieval 论文、RAGAS 代码库。