AI 编数字的真实翻车：增长率写成 18.7% 实际 12.3%、行业报告引用根本不存在

一、翻车现场：两个真实感极强的幻觉样本

1.1 样本A：被“微调”的增长率

假设某分析师让模型总结一份公开的季度行业数据，原始材料明确写着“同比增长12.3%”。模型输出的却是：“该行业本季度同比增长18.7%，增速较上季度明显加快。”这句话语法通顺、逻辑自洽，甚至比原文更有“故事性”。问题在于：18.7%这个数字在任何原始材料中都不存在。

这类错误之所以危险，是因为它不表现为“胡说八道”，而表现为“合理漂移”。读者很难凭直觉发现12.3%被改成了18.7%，因为两个数字都落在“正常增长区间”内。本文评述：数值幻觉的本质不是随机噪声，而是一种受语义先验引导的系统性偏移——模型倾向于生成“更符合叙事期待”的数字。

1.2 样本B：不存在的行业报告

更隐蔽的一类是引用幻觉。模型会输出类似“根据《2024全球智能制造白皮书》第37页的数据……”的句子，报告名称、发布机构、页码一应俱全，但这份报告根本不存在。它可能是多个真实报告名称的“语义拼接体”，也可能是模型对“行业报告”这一文体的概率模仿。

笔者认为，引用幻觉比数值幻觉更难防，因为它披着“可溯源”的外衣。读者看到“白皮书+页码”，默认这是可查证的，反而降低了警惕。这正是可验证性衰减的典型表现：形式上的可验证性越强，实质上的不可验证性越危险。

1.3 两类翻车的共同结构

这张对照表是后文所有分析的骨架。两类幻觉共享同一个底层机制：模型优化的是“下一个token的似然”，而不是“事实的真值”。

二、幻觉分类学：从事实性幻觉到引用性幻觉

2.1 学界的主流分类

围绕大模型幻觉，学界已形成若干分类框架。Huang等人在其综述中（arXiv:2311.05232，2023）将幻觉划分为事实性幻觉（factuality hallucination）与忠实性幻觉（faithfulness hallucination）两大类，前者指输出与客观事实不符，后者指输出与用户指令或上下文不一致。Ji等人更早的工作（ACM Computing Surveys, 2023）则从自然语言生成视角区分了内在幻觉与外在幻觉。

本文评述：这些分类对理解幻觉很有价值，但对“数据引用”这一具体场景的指导性不足。因为在引用场景中，模型往往同时触发事实性与忠实性两类错误——数字既不符合外部事实，也不忠实于给定的上下文。

2.2 面向数据引用的四象限分类

笔者提出一个更贴合工程实践的二维分类：横轴是“来源是否存在”，纵轴是“数值/表述是否忠实”。由此得到四个象限：

• 象限I（来源真·数值真）：理想状态，可完全溯源。
• 象限II（来源真·数值假）：引用了真实报告，但数字被改——最典型的“18.7%”案例。
• 象限III（来源假·数值假）：报告和数字都是编的。
• 象限IV（来源假·数值真）：数字碰巧对，但挂在一个不存在的来源上——最隐蔽。

象限IV尤其值得警惕：因为数字可被独立验证为真，读者容易连带相信那个虚构的来源。笔者认为，这是引用幻觉中最具欺骗性的形态，也是现有检测工具的盲区。

2.3 分类的工程价值

分类不是为了学术美观，而是为了对症下药。象限II需要数值校验层，象限III需要来源检索核验，象限IV需要“来源-数值绑定校验”。后文的治理路径正是按象限展开的。

三、主线：可验证性衰减模型

3.1 什么是可验证性衰减

可验证性衰减（Verifiability Decay）是本文提出的分析主线，定义为：在从原始事实到最终输出的生成链条中，事实的可核验程度随每一级语义变换而单调下降的现象。它不是指事实一定变错，而是指“能被独立验证的抓手”越来越少。

这个模型借鉴了信息论中“信道噪声累积”的直觉，也借鉴了软件工程中“可追溯性（traceability）”的概念。本文评述：把幻觉问题重新表述为“可验证性衰减”，最大的好处是把治理目标从“消除错误”转变为“保留抓手”——后者在工程上更可操作。

3.2 衰减的四个环节

原始事实 ──①检索──▶ 上下文片段 ──②压缩──▶ 内部表征 ──③采样──▶ token序列 ──④后处理──▶ 最终输出
   │              │              │              │              │
 可验证性=1.0   0.9            0.7            0.5            0.4（示意）

上图为示意性模型（模拟数据，用于说明衰减趋势，非实测值）。四个环节分别是：检索环节的召回偏差、上下文压缩时的信息损失、解码采样时的概率漂移、后处理时的格式改写。每一环都可能让数字“漂移”一点。

3.3 为什么这条主线能贯穿全文

数值幻觉对应环节③（采样漂移），引用幻觉对应环节①（检索缺失）与②（压缩伪造）。检测方法对应“如何测量衰减”，治理路径对应“如何减缓衰减”。整篇文章因此有了统一的逻辑骨架，而不是零散技巧的堆砌。

四、数值幻觉的机理：为什么是18.7%而不是12.3%

4.1 概率解码的本质

自回归语言模型在每个位置输出的是词表上的概率分布，解码器按某种策略（贪心、束搜索、top-p采样）选出一个token。数字在词表中被切分成多个token，例如“18.7”可能被切成“18”“.”“7”。这意味着数字的生成是逐token概率决策的连乘结果，任何一步的微小概率优势都可能改变最终数字。

Holtzman等人提出的核采样（nucleus sampling，ICLR 2020）在提升文本多样性的同时，也引入了不确定性。本文评述：对创意写作这是优点，对数据引用这是灾难。

4.2 数值先验与“合理区间”偏好

模型在预训练中见过海量数字，形成了隐式的数值先验。当上下文提到“增长”“加快”等词时，模型倾向于生成落在某个“常见区间”的数字。12.3%和18.7%都常见，但后者更契合“明显加快”的语义期待。

Wallace等人关于“语言模型中的隐式数值推理”的研究（arXiv:1906.03731，2019）表明，模型对数字的处理带有明显的分布偏好。笔者认为，这正是数值幻觉“看起来合理”的根源：它不是随机错，而是朝着叙事更顺畅的方向错。

4.3 上下文压缩中的数字丢失

当原始材料很长、需要被压缩进有限上下文时，数字是最容易被“模糊化”的信息之一。模型可能记住了“增长约十几个百分点”，却丢失了精确值。到生成阶段，它用先验补全了那个“十几个百分点”。

这解释了为什么长文档摘要场景下数值幻觉尤其高发。本文评述：数字是低冗余、高精度信息，而语言模型的表征是分布式、有损的，二者天然不匹配。

4.4 一个可复现的观察

上表为基于公开评测现象的归纳（模拟整理，非单一实验数据），说明修饰语与结构化程度显著影响数值保真度。

五、引用幻觉的机理：不存在的报告如何被“造”出来

5.1 文体模仿：模型学会了“报告的壳”

模型在预训练中见过大量报告、论文、白皮书的标题与引用格式。它学会了“《XX白皮书》+发布机构+年份+页码”这一文体模板，却未必记得任何一份具体报告。当被要求“给出出处”时，它用模板+语义相关词拼出一个名字。

这与Bender等人在《On the Dangers of Stochastic Parrots》（FAccT 2021）中提出的“随机鹦鹉”隐喻高度呼应。本文评述：引用幻觉是“形式正确、指称失败”的典型——模型掌握了引用的语法，却没有掌握引用的语义（指向真实对象）。

5.2 长尾记忆的缺失

真实报告属于长尾知识。模型对高频、常见知识记忆较好，对具体某份报告的第37页数据几乎不可能精确记忆。当被追问细节时，它用“合理猜测”填补空白。

Kandpal等人关于“大模型知道哪些事实”的研究（arXiv:2305.13712，2023）发现，模型对事实的“知晓”与“能正确输出”之间存在显著差距。笔者认为，这个差距正是引用幻觉的温床。

5.3 检索缺失时的“补全冲动”

在未接入检索的场景下，模型面对“请给出数据来源”的指令，只有两个选择：承认不知道，或编一个。由于训练目标奖励“有用、完整”的回答，模型倾向于后者。这解释了为什么引用幻觉在“被要求给来源”时反而更严重。

5.4 引用幻觉的三种亚型

• 拼接型：把两个真实报告名各取一半拼成新的。
• 漂移型：报告名真实，但年份、页码、机构被改。
• 纯造型：完全虚构，但格式完美。

三种亚型的检测难度递增，纯造型最难，因为它没有任何可对照的锚点。

六、检测方法：从自一致性到外部核验

6.1 自一致性检测

对同一问题多次采样，若数字在不同采样间波动，则提示数值不稳定。Wang等人提出的自一致性（self-consistency，ICLR 2023）原本用于提升推理准确率，反向使用即可作为幻觉信号。

本文评述：自一致性只能发现“不稳定”，无法发现“稳定地错”。若模型每次都稳定输出18.7%，该方法失效。

6.2 外部核验与检索比对

把输出中的数字与来源文档做字符串/数值比对，是最直接的方法。难点在于来源文档的获取与对齐。工程上可用向量检索召回候选段落，再做数值抽取比对。

6.3 引用可解析性检测

对引用做“可解析性”检查：报告名能否在权威库中检索到？DOI/URL是否可访问？机构是否存在？这一步可用规则+检索实现。

6.4 检测方法对比

七、工程治理路径（一）：RAG与引用锚定

7.1 RAG不是万能药

检索增强生成（RAG）由Lewis等人提出（NeurIPS 2020），核心思想是让模型基于检索到的文档生成。它能显著降低引用幻觉，但前提是检索质量足够高。若检索召回的是无关文档，模型仍可能“基于错误上下文编造”。

本文评述：RAG把问题从“模型记不记得”转移到“检索准不准”，这是进步，但不是终点。

7.2 引用锚定（Citation Anchoring）

引用锚定要求模型在生成每个事实性陈述时，显式绑定一个来源片段ID。工程实现上，可在prompt中要求模型输出结构化格式：

{
  "statement": "该行业同比增长12.3%",
  "source_id": "doc_2024_q3_report",
  "span": [1024, 1058]
}

这样，每个数字都能回溯到具体片段。若模型无法给出source_id，则该陈述应被标记为“未溯源”。

7.3 检索-生成-校验三段式流水线

用户问题
   │
   ▼
[检索层] 向量检索 + BM25 混合召回 → 候选片段
   │
   ▼
[生成层] 约束解码（禁止无源数字）→ 带引用的草稿
   │
   ▼
[校验层] 数值比对 + 引用可解析性检查 → 通过/打回
   │
   ▼
最终输出（附来源清单）

这条流水线是可落地的核心路径。校验层不通过时，可触发重生成或降级为“未找到可靠来源”。

7.4 实操建议

• 检索层用混合召回（稠密+稀疏），避免单一向量检索漏掉精确数字。
• 片段切分时保留表格结构，数字不要被切断。
• prompt中明确“无来源不给数字”，并给出结构化输出schema。
• 校验层对数字做归一化（百分号、千分位、单位）后再比对。

八、工程治理路径（二）：数值约束解码与校验层

8.1 约束解码的基本思路

约束解码（constrained decoding）在解码时对token概率施加约束。对数值场景，可构建一个“允许数字集合”，只允许生成来源中出现的数字。这需要把来源数字预先抽取成集合，并在解码时做掩码。

相关工具如Outlines、Guidance等已支持正则/语法约束解码。本文评述：约束解码能硬性杜绝“18.7%”，但实现复杂度较高，且可能影响生成流畅度，适合高精度场景。

8.2 后置校验层设计

对多数团队，后置校验比约束解码更易落地。校验层做三件事：

1. 抽取输出中的所有数字及其上下文。
2. 在来源集合中查找匹配（允许单位换算）。
3. 未匹配的数字标记为“待核验”，阻断直接发布。

8.3 数字归一化细节

归一化是数值校验的基础，否则“12.3%”和“0.123”会被误判为不一致。

8.4 双通道校验

双通道指：通道A做数值比对，通道B做语义蕴含判断（用NLI模型判断来源片段是否支持该陈述）。两通道都通过才放行。这能同时覆盖数值幻觉与引用幻觉。

九、评估体系与数据集预处理

9.1 评估指标

• 数值保真率（NFR）：输出数字与来源一致的比例。
• 引用可解析率（CRR）：引用能在权威库中检索到的比例。
• 溯源覆盖率（TCR）：带来源ID的陈述占比。
• 幻觉率（HR）：被判定为幻觉的陈述占比。

9.2 数据集与预处理

公开评测中，HaluEval（arXiv:2305.11747，2023）、TruthfulQA（ACL 2022）、FActScore（EMNLP 2023）等被广泛使用。涉及数字引用的评测可自建数据集，预处理细节如下：

1. 从公开报告PDF抽取文本，保留表格结构（用pdfplumber等工具）。
2. 抽取所有数字及其上下文窗口（前后各100字符）。
3. 人工标注数字与来源的对应关系，形成金标准。
4. 对数字做归一化，统一单位与格式。
5. 划分训练/验证/测试，避免同一报告跨集泄漏。

本文评述：数字引用评测的难点在于标注成本高、领域差异大。建议先在小领域（如某行业年报）做深，再横向扩展。

9.3 评估流程

测试问题集 → 模型输出 → 数字抽取 → 归一化 → 与金标准比对
                              │
                              ▼
                        引用抽取 → 检索核验 → 可解析性判定
                              │
                              ▼
                        汇总指标（NFR/CRR/TCR/HR）

十、前沿预判与治理清单

10.1 前沿方向

• 可验证生成（Verifiable Generation）：把“可验证性”作为生成目标之一，而非事后补救。
• 工具增强的事实核查：让模型调用计算器、数据库、搜索引擎做交叉验证。
• 不确定性量化：让模型对数字输出置信度，低置信度触发人工复核。
• 溯源原生模型：在预训练阶段就绑定来源，而非推理时外挂。

笔者认为，未来两年“可验证性”会成为大模型落地数据场景的核心竞争力，其重要性不亚于当前的推理能力。

10.2 治理清单（可直接落地）

10.3 拓展学习资源

• Hugging Face 幻觉相关模型与数据集：huggingface.co/models?search=hallucination
• LangChain 检索增强教程：python.langchain.com/docs/tutorials/rag
• Outlines 约束解码文档：dottxt-ai.github.io/outlines
• FActScore 项目主页：github.com/shmsw25/FActScore
• RAGAS 评估框架：docs.ragas.io

十一、结论

“增长率写成18.7%、实际12.3%”与“行业报告根本不存在”，看似两个孤立的翻车，实则是同一机制的两副面孔。本文以可验证性衰减为主线，把幻觉问题从“模型错在哪”重构为“事实在哪一步失去了可核验的抓手”。

治理的核心结论有三：第一，检索与引用锚定是基础，没有来源就没有可验证性；第二，数值校验必须工程化，靠人眼盯不住12.3%和18.7%的差异；第三，评估要常态化，把NFR、CRR等指标纳入日常监控。

对抗数字幻觉，不是追求一个永不犯错的模型，而是构建一套“错了能被发现、发现了能追溯”的工程体系。这，才是数据场景下大模型真正可用的前提。