防 AI 幻觉铁律：只基于我提供的素材，不新增、不编造、不引申、不脑补

一、引言：当"流畅"成为风险——幻觉问题的工程视角

2022年底ChatGPT发布以来，大语言模型（LLM）迅速渗透到知识工作、软件开发、客户服务、法律文书、医疗辅助等场景。与此同时，一个令人不安的现象反复出现：模型会以极其自信的语气，给出完全错误甚至凭空捏造的信息。它可能编造一篇不存在的论文、虚构一个不存在的法条、捏造一组从未发表过的实验数据，或者在用户明确提供资料的情况下，仍然"脑补"出资料中没有的结论。

学术界将这一现象称为"幻觉"（Hallucination）。2023年，Meta AI与多家机构联合发布的综述将幻觉定义为"模型生成的内容与事实不符、或无法由给定来源支撑"^[1]。2024年，斯坦福大学以人为本人工智能研究院（HAI）在年度AI指数报告中指出，幻觉仍是阻碍LLM在高风险领域落地的首要障碍之一^[2]。

但本文想从一个更贴近工程实践的视角切入：大多数真实业务场景中的幻觉，并非源于模型"不知道"，而是源于模型"越界"。用户明明提供了一份产品手册、一份合同、一份实验报告，要求模型"只根据这份材料回答"，模型却仍然引入了外部知识、常识推断、甚至凭空想象。这种"越界"才是企业落地中最头疼的问题——因为用户已经把可控的素材交到模型手里，模型却没能守住边界。

因此，本文提出一条贯穿全文的独创性分析主线：素材边界（Material Boundary）。所谓素材边界，是指用户为模型划定的、允许其生成内容所依据的信息集合的边界。防幻觉的核心工程目标，就是让模型的每一次输出都严格落在素材边界之内——不新增素材之外的事实，不编造素材中不存在的内容，不引申素材未支持的结论，不脑补素材未提及的细节。

本文评述：把幻觉问题重新定义为"边界问题"，其价值在于它把一个看似玄学的现象，转化为一个可定义、可度量、可工程化的约束问题。传统研究多聚焦于"模型为什么错"，而工程实践更需要回答"如何让模型不错"。素材边界提供了一个统一的框架：所有防幻觉技术，本质上都是在不同层次上强化这条边界。

本文将沿着这条主线，从机制层、提示层、检索层、解码层、评估层、治理层六个维度，系统拆解防幻觉的技术路径，并给出可落地的操作步骤。文章兼顾理论深度与工程细节，力求让读者读完既能理解"为什么"，也能动手"怎么做"。

二、幻觉的分类学与成因机制：从统计拟合到知识边界

2.1 幻觉的分类：事实性、忠实性、推理性

学术界的分类体系经历了从粗到细的演化。早期研究（如Ji等人2023年的综述^[3]）将幻觉分为"事实性幻觉"（Factuality Hallucination）和"忠实性幻觉"（Faithfulness Hallucination）两大类。前者指生成内容与客观世界事实不符，后者指生成内容与给定来源（如用户提供的文档）不一致。

2024年，Huang等人进一步细化为三类^[4]：

• 事实性幻觉：模型陈述了与真实世界不符的事实，如"爱因斯坦于1955年获得诺贝尔物理学奖"（实际为1921年）。
• 忠实性幻觉：模型输出与给定上下文矛盾，如用户提供"本产品保修期为两年"，模型却回答"保修期为三年"。
• 推理性幻觉：模型在推理链中引入无依据的中间步骤，导致结论错误。这类幻觉在思维链（CoT）提示中尤为常见。

本文认为，从"素材边界"的视角看，这三类幻觉对应三种越界行为：事实性幻觉是"越过素材边界引入外部错误知识"，忠实性幻觉是"无视素材边界直接违背"，推理性幻觉是"在素材边界之外进行无依据的推理跳跃"。这一映射关系为后续的工程干预提供了清晰的靶点。

2.2 成因机制：为什么模型会"脑补"

要防幻觉，先要理解幻觉从何而来。综合近年研究，成因可归纳为以下几个层面：

（1）训练目标层面：主流LLM采用"下一词预测"（Next Token Prediction）作为预训练目标。这一目标优化的是"语言流畅性"而非"事实正确性"。模型学到的是"什么样的词序列看起来合理"，而非"什么样的陈述是真的"。2023年，OpenAI在GPT-4技术报告中坦承，模型"可能生成看似合理但实际错误的内容"^[5]。本文评述：这是幻觉的"原罪"——流畅与真实在统计上高度相关，但并不等价，模型在缺乏约束时会优先选择流畅。

（2）数据层面：训练语料包含大量错误信息、过时信息、虚构内容（如小说、论坛段子）。模型无法区分"语料中出现过"与"事实为真"。2024年，Google DeepMind的研究指出，数据中的长尾事实和矛盾信息是幻觉的重要来源^[6]。

（3）对齐层面：RLHF（基于人类反馈的强化学习）倾向于奖励"有帮助的、自信的回答"，而惩罚"我不知道"。这导致模型在不确定时仍倾向于给出答案，而非承认无知。2024年，Anthropic的研究发现，RLHF会系统性放大模型的"过度自信"^[7]。本文评述：这是工程上最需要警惕的一点——对齐训练在提升可用性的同时，可能削弱模型对自身知识边界的感知。

（4）解码层面：采样策略（如top-p、temperature）引入随机性，增加了生成偏离事实的概率。2023年，有研究证明贪心解码在事实性任务上通常优于随机采样^[8]。

（5）上下文利用层面：即使提供了正确素材，模型也可能"忽略"上下文而依赖参数化知识。2023年，斯坦福大学的研究发现，当上下文与模型参数知识冲突时，模型有相当比例会坚持参数知识^[9]。本文评述：这正是"素材边界"失效的典型表现——模型没有把用户素材当作唯一权威来源。

2.3 幻觉的度量：从人工评估到自动指标

量化幻觉是防幻觉的前提。早期依赖人工评估，成本高、一致性差。近年涌现了一批自动评估基准：

基准名称	发布机构/年份	核心指标	特点
TruthfulQA	OpenAI / 2022	真实率	817题，覆盖38类易误导话题
HaluEval	复旦 / 2023	幻觉识别准确率	含问答、对话、摘要三类任务
RAGAS	Exploding Gradients / 2023	忠实度、答案相关性	专为RAG系统设计
FaithBench	Vectara / 2024	忠实度评分	聚焦摘要任务
SimpleQA	OpenAI / 2024	正确率、幻觉率	短事实问答，含校准评估

本文评述：现有基准各有侧重，但普遍存在一个盲区——它们多评估"模型是否说错"，而较少评估"模型是否越界"。一个模型可能答对了问题，但依据的是参数知识而非用户素材，这在合规场景下同样是不可接受的。因此，构建"边界遵循度"（Boundary Adherence）指标是值得投入的方向。

三、核心主线：素材边界（Material Boundary）的提出与内涵

3.1 什么是素材边界

在形式化层面，我们可以把一次生成任务定义为一个三元组：（M, Q, R），其中M为用户提供的素材集合（Material），Q为问题或指令（Query），R为模型输出（Response）。素材边界要求：R中的每一条事实性陈述，都必须能由M中的至少一个片段支撑（Entailment）。

用更工程化的语言表述，素材边界包含四条铁律：

1. 不新增：不引入M中未出现的事实、实体、数据、引用。
2. 不编造：不虚构M中不存在的内容，包括看似合理的"补全"。
3. 不引申：不做M未支持的因果推断、价值判断、趋势预测。
4. 不脑补：不填补M中的信息空白，遇到缺失应明确声明"素材未提及"。

3.2 与相关概念的关系

素材边界与几个既有概念既有交集又有区别：

与"忠实性"（Faithfulness）的关系：忠实性强调输出与来源一致，素材边界则进一步要求"来源是唯一的"。忠实性允许模型在来源之外补充常识，素材边界不允许。

与"接地"（Grounding）的关系：接地强调把生成锚定到外部证据，素材边界则明确了"锚定范围"就是用户给定的M。可以说，素材边界是接地的一种强约束形式。

与"知识边界"（Knowledge Boundary）的关系：知识边界描述模型"知道什么、不知道什么"，素材边界描述"允许模型使用什么"。前者是模型的内在属性，后者是任务的外部约束。本文评述：二者结合，才能既让模型知道自己不知道，又让模型知道不该用。

3.3 为什么"边界"比"正确"更适合工程落地

在真实业务中，"绝对正确"几乎不可达——模型不可能知道所有事实。但"不越界"是可达的：只要模型严格基于给定素材，即使素材本身有误，责任也清晰可追溯。这对法律、医疗、金融等强合规场景至关重要。

笔者认为：把防幻觉的目标从"追求正确"调整为"守住边界"，是一次重要的工程思维转变。前者要求模型全知全能，后者只要求模型遵守契约。在可预见的未来，后者才是可交付、可验收、可追责的目标。

四、提示工程层：把"铁律"写进系统指令

4.1 系统提示的结构化设计

提示工程是成本最低、见效最快的防幻觉手段。但"请勿编造"这类简单指令效果有限。2024年，多项研究表明，结构化的、带示例的、分角色的系统提示显著优于单句指令^[10][11]。

一个经过工程验证的提示模板如下：

【角色】
你是一个严格基于给定素材回答问题的助手。

【铁律】
1. 只使用【素材】中出现的信息，禁止引入任何外部知识。
2. 禁止编造素材中不存在的事实、数据、引用、人名、时间。
3. 禁止基于素材做因果推断、趋势预测、价值判断。
4. 若素材未提及，必须回答："根据提供的素材，无法回答该问题。"
5. 每个事实性陈述后必须标注来源片段编号，如 [S1]。

【素材】
[S1] ...（用户提供的原文片段）
[S2] ...
[S3] ...

【问题】
{用户问题}

【输出格式】
- 回答：...
- 依据：[S1][S3]
- 置信度：高/中/低（基于素材覆盖度，非模型自信度）

本文评述：这个模板的关键在于三点——把铁律显式化、把素材编号化、把来源标注强制化。编号化让模型可以"引用"，强制标注让越界行为可被检测。相比"请不要编造"这类模糊指令，结构化模板把抽象要求转化为可执行动作。

4.2 少样本示例（Few-shot）的锚定作用

研究表明，提供2—4个"正确守边界"和"错误越界"的对比示例，能显著提升模型的边界遵循度^[12]。示例应覆盖典型越界场景：素材未提及、素材部分提及、素材存在矛盾。

例如：

【示例1·正确】
素材：[S1] 本产品电池容量为4500mAh。
问题：电池容量是多少？
回答：4500mAh。依据：[S1]

【示例2·正确·素材未提及】
素材：[S1] 本产品电池容量为4500mAh。
问题：充电速度是多少？
回答：根据提供的素材，无法回答该问题。依据：素材未提及充电速度。

【示例3·错误·越界】
素材：[S1] 本产品电池容量为4500mAh。
问题：充电速度是多少？
错误回答：支持65W快充。（← 素材未提及，属编造）

4.3 思维链的"双刃剑"效应

思维链（Chain-of-Thought, CoT）能提升复杂推理能力，但也可能放大推理性幻觉。2024年，有研究发现CoT在事实性任务上反而增加了幻觉率^[13]。本文评述：CoT让模型"把推理过程写出来"，这既便于审计，也给了模型更多"脑补"的机会。在强边界场景下，建议使用"受限CoT"——要求模型每一步都标注依据片段，无依据的步骤必须跳过。

延伸阅读：OpenAI官方提示工程指南（platform.openai.com/docs/guides/prompt-engineering）与Anthropic的提示设计文档（docs.anthropic.com/claude/docs）均提供了系统提示的最佳实践。

五、检索增强层：让每一句话都有出处

5.1 RAG的基本架构与幻觉抑制原理

检索增强生成（Retrieval-Augmented Generation, RAG）由Lewis等人于2020年提出^[14]，其核心思想是在生成前先检索相关文档，把检索结果作为上下文注入提示。RAG天然契合素材边界——检索结果就是"素材"，生成必须基于它。

一个标准的RAG流水线包含：文档切分（Chunking）→ 向量化（Embedding）→ 索引（Indexing）→ 检索（Retrieval）→ 重排（Reranking）→ 生成（Generation）。每个环节都可能引入或抑制幻觉。

5.2 切分策略对边界的影响

切分粒度直接决定了素材边界的"颗粒度"。切得太碎，上下文不完整，模型容易脑补；切得太大，噪声多，检索精度下降。2024年，Pinecone的工程博客建议采用"语义切分+重叠窗口"策略^[15]。

切分策略	粒度	优点	风险
固定长度	256—512 token	实现简单	易切断语义
语义切分	按段落/标题	语义完整	长度不均
递归切分	多级分隔符	平衡性好	需调参
父子切分	小块检索+大块生成	精度与完整兼顾	实现复杂

本文评述：在强边界场景下，推荐"父子切分"——用小块做检索以保证召回精度，用其所属的大块（如整节）做生成以保证上下文完整。这样既避免检索到碎片导致模型脑补，又避免注入过多噪声。

5.3 引用溯源：让越界无处遁形

强制模型输出引用编号，是检测越界的有效手段。2023年，斯坦福大学提出的"自我溯源"（Self-Citation）方法要求模型在生成每个句子时标注来源^[16]。2024年，Anthropic的"引用"功能（Citations）已将此能力产品化^[17]。

工程实现上，可以在后处理阶段做"引用校验"：对每个带引用的句子，用自然语言推理（NLI）模型判断其是否被引用片段蕴含。若不被蕴含，则标记为疑似越界，触发重生成或人工复核。

# 引用校验伪代码（模拟示例）
from transformers import pipeline

nli = pipeline("text-classification", model="facebook/bart-large-mnli")

def verify_citation(sentence, source_chunk):
    result = nli(f"{source_chunk}{sentence}")
    # 若 entailment 概率低于阈值，判定为越界
    return result[0]['label'] == 'ENTAILMENT' and result[0]['score'] > 0.8

def audit_response(response, sources):
    for sent, cite_ids in parse_citations(response):
        for cid in cite_ids:
            if not verify_citation(sent, sources[cid]):
                yield {"sentence": sent, "citation": cid, "status": "SUSPECT"}

延伸资源：LangChain的RAG教程（python.langchain.com/docs/tutorials/rag/）与LlamaIndex的引用溯源文档（docs.llamaindex.ai）提供了完整实现参考。

六、解码与推理层：约束生成空间的技术手段

6.1 约束解码（Constrained Decoding）

约束解码通过在每一步限制候选token集合，强制输出符合特定结构或词汇表。在防幻觉场景中，可用于强制模型只输出素材中出现的实体、只选择预设的答案选项。

2023年，微软提出的"语法约束解码"（Grammar-Constrained Decoding）可用于强制JSON输出^[18]。2024年，有研究将其扩展到"知识约束解码"，通过构建素材实体的Trie树，限制模型只能生成素材中存在的实体^[19]。

本文评述：约束解码是"硬约束"，效果确定但灵活性差，适合结构化输出场景（如从合同中提取条款）。对于开放式问答，过度约束会损害可读性，需权衡使用。

6.2 自洽性校验（Self-Consistency）与多路径投票

Wang等人2022年提出的自洽性方法，通过多次采样并投票选出最一致答案^[20]。在防幻觉场景中，可反向使用：若多次采样结果差异大，说明模型不确定，应触发"素材未提及"的保守回答。

2024年，有研究提出"边界感知自洽性"：不仅比较答案一致性，还比较引用来源的一致性^[21]。若同一答案引用了不同来源，或同一来源支撑了不同答案，均标记为可疑。

6.3 知识边界探测与"我不知道"训练

让模型学会说"我不知道"，是防幻觉的根本。2024年，多项研究探索了"知识边界探测"（Knowledge Boundary Detection）^[22][23]：通过探测模型内部表征或输出分布，判断其对某问题是否"知道"。

工程上，可通过以下方式提升"拒答"能力：

• 在微调数据中加入"素材未提及→拒答"的样本；
• 使用DPO（直接偏好优化）奖励"恰当拒答"；
• 在提示中明确"拒答是正确行为，不扣分"。

本文评述：当前多数商用模型仍倾向于"强行回答"，这与RLHF的奖励设计有关。要让模型敢于说"不知道"，需要从训练目标层面重新平衡"有帮助"与"诚实"。

七、评估层：如何量化"不编造"

7.1 忠实度指标

忠实度（Faithfulness）衡量输出是否被来源支撑。主流方法包括：

• 基于NLI：用蕴含模型判断输出句子是否被来源蕴含。
• 基于QA：从输出中反向生成问题，看能否在来源中找到答案。
• 基于LLM评判：用更强模型作为裁判，判断忠实度（需注意裁判本身的偏见）。

7.2 构建"边界遵循度"评估集

本文建议构建专门的边界遵循度评估集，包含四类测试用例：

用例类型	设计意图	期望行为
素材完全覆盖	测试基本遵循	准确回答+引用
素材部分覆盖	测试不引申	只答覆盖部分，声明其余未知
素材完全未提及	测试不编造	明确拒答
素材与常识冲突	测试边界优先	以素材为准，可提示冲突

本文评述：第四类用例最能暴露问题。许多模型在"素材说A，常识说B"时会选择B，这直接违反素材边界。在合规场景下，必须以素材为准，即使素材与常识冲突（此时应提示用户核实素材）。

7.3 评估流程的工程化

建议把评估嵌入CI/CD流程：每次提示模板或模型版本变更，自动跑一遍边界遵循度评估集，输出越界率、拒答准确率、引用准确率等指标。阈值不达标则阻断上线。

八、工程落地：一套可复制的防幻觉流水线

8.1 整体架构

综合前述各层，一套完整的防幻觉流水线可设计为六个阶段：

用户输入
  ↓
[1] 素材预处理 → 切分、编号、去噪
  ↓
[2] 检索（如需要）→ 向量检索 + 重排
  ↓
[3] 提示组装 → 铁律 + 素材 + 少样本示例
  ↓
[4] 约束生成 → 受限CoT + 引用标注
  ↓
[5] 后处理校验 → NLI引用校验 + 自洽性检查
  ↓
[6] 输出 → 回答 + 引用 + 置信度 + 越界标记

8.2 关键操作步骤

步骤1：素材预处理。把用户提供的文档切分为语义完整的片段，每片编号（S1, S2...）。去除页眉页脚、重复内容。对表格、图片说明单独处理。

步骤2：提示组装。采用第4节的模板，把铁律、素材、示例、问题按固定顺序拼接。注意把素材放在问题之前，并明确分隔。

步骤3：生成。使用较低temperature（0—0.3），开启引用标注。对复杂问题使用受限CoT。

步骤4：校验。对每个带引用的句子跑NLI校验；对无引用的句子标记为"无依据"；对拒答检查是否确实素材未提及。

步骤5：输出。把校验结果附在回答后，供用户判断。对疑似越界内容，可选择隐藏或高亮提示。

8.3 一个完整的代码示例

# 防幻觉流水线核心逻辑（模拟示例，非真实API调用）
import re
from openai import OpenAI

client = OpenAI()

SYSTEM_PROMPT = """你是严格基于素材回答的助手。
铁律：只使用素材信息；禁止编造；禁止引申；素材未提及必须拒答；
每个事实陈述后标注来源编号，如[S1]。"""

def build_prompt(sources, question):
    src_text = "\n".join(f"[S{i+1}] {s}" for i, s in enumerate(sources))
    return f"【素材】\n{src_text}\n\n【问题】\n{question}"

def generate(sources, question):
    resp = client.chat.completions.create(
        model="gpt-4o",
        temperature=0.1,
        messages=[
            {"role": "system", "content": SYSTEM_PROMPT},
            {"role": "user", "content": build_prompt(sources, question)}
        ]
    )
    return resp.choices[0].message.content

def audit(answer, sources):
    """校验引用是否被来源支撑（简化版）"""
    issues = []
    for sent in re.split(r'[。！？]', answer):
        if not sent.strip():
            continue
        cites = re.findall(r'\[S(\d+)\]', sent)
        if not cites:
            issues.append({"sentence": sent, "reason": "无引用"})
            continue
        for c in cites:
            idx = int(c) - 1
            if idx >= len(sources):
                issues.append({"sentence": sent, "reason": f"引用越界S{c}"})
    return issues

# 使用
sources = ["本产品电池容量为4500mAh。", "本产品重量为189克。"]
ans = generate(sources, "电池容量和充电速度分别是多少？")
print("回答：", ans)
print("审计：", audit(ans, sources))

本文评述：这套流水线的核心价值在于"可审计"。它不追求100%消除幻觉，而是让每一次越界都可见、可追溯、可拦截。在工程上，这比追求"完美模型"更现实。

九、前沿预判：可验证生成与知识边界探测

9.1 可验证生成（Verifiable Generation）

2024年以来，"可验证生成"成为热点。其核心思想是：生成过程本身应产生可被外部验证的证据链。代表工作包括：

• 归因生成（Attributed Generation）：每个陈述附带来源，如Google的"归因到训练数据"研究^[24]。
• 可验证计算：把推理过程转化为可检查的形式化步骤^[25]。
• 水印与指纹：为生成内容嵌入可检测标记，便于溯源^[26]。

本文评述：可验证生成与素材边界高度互补——前者提供"验证手段"，后者提供"验证标准"。二者结合，有望构建端到端的可信生成系统。

9.2 知识边界探测的进展

2024年，多项研究尝试从模型内部表征探测知识边界。例如，通过分析隐藏层激活的"熟悉度"信号，判断模型是否"见过"某实体^[27]。也有研究通过探测输出分布的熵，判断模型的不确定度^[28]。

本文评述：知识边界探测若成熟，将从根本上改变防幻觉范式——模型可以在生成前就"知道自己不知道"，从而主动拒答或请求更多素材。但当前方法在跨领域泛化上仍有局限，距离工程可用尚有距离。

9.3 多模态场景的边界挑战

随着多模态模型普及，素材边界扩展到图像、音频、视频。模型可能"脑补"图片中不存在的细节，或"引申"视频未展示的情节。2024年，有研究开始构建多模态幻觉基准^[29][30]。本文评述：多模态的边界定义更复杂——什么算"素材中提及"？一张图的信息量远大于一段文字，如何界定"不引申"？这是未来值得深入的方向。

十、治理与合规：从技术约束到组织制度

10.1 监管趋势

全球监管正在收紧对AI生成内容的要求。欧盟《人工智能法案》要求高风险AI系统具备"可追溯性"和"人类监督"^[31]。中国《生成式人工智能服务管理暂行办法》要求生成内容"真实、准确"^[32]。美国NIST的AI风险管理框架强调"可解释性"^[33]。

本文评述：合规要求与素材边界高度一致——都强调"来源可溯、内容可控"。把素材边界作为技术底座，能天然满足多数合规要求。

10.2 组织落地建议

• 建立素材管理制度：明确哪些素材可用、如何版本化、如何审计。
• 设置人工复核节点：对高风险输出强制人工确认。
• 记录完整日志：保存输入、素材、输出、校验结果，便于追责。
• 定期红队测试：主动构造越界攻击，检验防线。

十一、结语：把"不脑补"变成系统能力

防AI幻觉不是一句提示词能解决的，它需要从提示、检索、解码、评估到治理的全链路设计。本文提出的"素材边界"主线，为这条链路提供了统一的目标函数：让模型的每一次输出都严格落在用户给定的素材之内。

这条路径不追求"模型全知"，而追求"模型守约"。在可预见的未来，随着可验证生成、知识边界探测等技术成熟，我们有理由相信，"不新增、不编造、不引申、不脑补"将从一句口号，变成可度量、可交付的系统能力。

笔者认为：技术的进步终将让模型更"聪明"，但工程的价值在于让模型更"可靠"。在幻觉问题上，可靠比聪明更重要。守住素材边界，就是守住AI落地的信任底线。

十二、参考文献与延伸资源