Codex在102篇文献基准上从42篇发现提升到82篇、Claude Code从15篇到79篇，但“发现更多”之后综合阶段仍然出现无支撑论断、引用错误和夸大共识，科研人到底该把“发现量翻倍”当成Codex可靠了，还是当成“后半段更需要人守”的信号？

目录

一、导语：一个被误读的“翻倍”

先看两组数字。在一个包含102篇目标文献的基准任务中，Codex的文献发现数从42篇提升到82篇，Claude Code从15篇提升到79篇。单看召回率，前者约41%→80%，后者约15%→77%。这类数字在传播中极易被简化为“模型可靠了”，但同一批评测里，综合阶段的缺陷并没有随召回率同步下降：无支撑论断、引用错配、共识夸大三类问题仍然稳定出现。本文评述：把召回率当成可靠性指标，是把“检索”与“论证”两个不同能力维度混为一谈的典型误判。

为什么这个误判如此普遍？因为工程上“发现更多”是可观测、可计数、可对比的，而“综合是否忠实于证据”是语义层面的，难以用单一标量刻画。于是评测报告天然偏向可计数指标，读者也天然被可计数指标说服。笔者认为，这种“可观测性偏差”是当前科研LLM评测体系最需要警惕的系统性风险之一。

本文的核心主张是：发现量翻倍是一个真实的、有价值的进步，但它证明的是“召回层”的改善，而不是“综合层”的可靠。更准确的解读是——前半段（检索、筛选、定位）的自动化程度提高了，后半段（归纳、归因、共识判断）的人类把关需求反而被凸显出来。换句话说，“发现更多”不是“可以放手”的信号，而是“后半段更需要人守”的信号。

一句话结论：召回率提升改变的是工作流的“入口宽度”，而不是“出口质量”。入口越宽，出口的校验压力越大，而不是越小。

二、背景与问题定义：从“找得到”到“说得准”

2.1 文献型科研任务的四段式分解

要讨论“可靠”，先要定义任务。文献型科研辅助任务可以分解为四个阶段：检索（Retrieval）——从语料中定位相关文献；筛选（Screening）——判断相关性、质量与纳入排除；抽取（Extraction）——从入选文献中提取主张、方法、数据与结论；综合（Synthesis）——跨文献归纳、比较、判定共识与分歧。发现量指标只覆盖前两段，而三类缺陷全部发生在后两段。

这个分解并非本文首创，系统综述方法学中早有类似框架（如PRISMA流程的识别—筛选—纳入—综合）。本文评述：LLM评测长期借用这套框架的“计数”部分，却很少借用它的“可追溯”部分，这是评测设计与方法学传统之间的一个断层。

2.2 三类缺陷的准确定义

为避免模糊讨论，本文给出操作性定义。无支撑论断（unsupported claim）：综合文本中出现了一个断言，但在其引用的文献中找不到语义等价或逻辑蕴含的支撑句。引用错配（citation misattribution）：引用编号或文献存在，但所引内容与断言不匹配，包括张冠李戴、断章取义、把方法描述当作结论引用。共识夸大（consensus inflation）：把少数研究或单一研究的结论表述为“普遍认为”“大量研究表明”，而实际纳入文献中支持该结论的比例不足以支撑该措辞。

这三类缺陷有一个共同结构：它们都不是“事实错误”，而是“证据关系错误”。模型说出的句子本身可能为真，但它与所引证据之间的关系是伪造的。这正是自动检测困难、人工审查又极耗时的原因。

2.3 为什么“发现量”天然不等于“可靠性”

从信息论角度看，检索是一个“提高候选集召回”的过程，综合是一个“在候选集上做有约束生成”的过程。前者优化的是覆盖率，后者优化的是条件概率分布与证据约束的一致性。两者可以独立改善，也可以此消彼长：当召回集从42篇扩展到82篇，综合阶段需要处理的证据规模接近翻倍，跨文献冲突、术语漂移、结论异质性的概率同步上升。如果没有相应的证据绑定机制，召回提升反而会放大综合阶段的错误空间。

笔者认为，这解释了一个反直觉现象：更强的检索能力，在缺乏证据绑定约束时，可能让综合文本“看起来更全面”，但错误密度并未下降。全面性与忠实性是两个正交维度，评测必须分开报告。

三、原理与技术路线：证据可追溯性衰减曲线

3.1 主线的提出

本文提出一条贯穿全文的分析主线：证据可追溯性衰减曲线（Evidence Traceability Decay Curve，ETDC）。其含义是：从原始文献中的证据句，到抽取出的结构化证据单元，再到综合文本中的断言，每经过一次“表示转换”，断言与原始证据之间的可追溯链路就衰减一次。衰减的来源包括：抽取时的语义压缩、跨文献归并时的粒度丢失、生成时的措辞泛化。

ETDC的形式化可以写成一个简单的递推：设第k层的可追溯性为 T_k，则 T_k = T_{k-1} · α_k，其中 α_k ∈ (0,1] 为第k次转换的保真系数。综合阶段的最终可追溯性 T_n 是各层保真系数的连乘。这个模型的价值不在于精确测量，而在于揭示一个工程事实：任何一层的保真系数下降，都会被连乘放大。召回集扩大，相当于增加了归并层的输入异质性，α 更容易下降。

# ETDC 递推的伪代码示意（模拟数据，仅用于说明结构）
layers = ["evidence_sentence", "evidence_unit", "claim", "synthesis_text"]
alpha  = [1.00, 0.86, 0.79, 0.88]   # 各层保真系数，模拟值
T = 1.0
for name, a in zip(layers, alpha):
    T *= a
    print(f"{name:18s} traceability={T:.3f}")
# 输出：synthesis_text 层约 0.60，意味着约四成证据关系不可直接回溯

上述系数为模拟数据，仅用于演示连乘放大的结构，不代表任何具体模型的实测值。本文评述：ETDC的意义在于把“综合不可靠”从一个笼统印象，转化为可分层定位的工程问题——你可以分别测量抽取层、归并层、生成层的保真度，而不是只测一个端到端分数。

3.2 与经典框架的对接

ETDC与检索增强生成（RAG）的经典三段式（检索—增强—生成）可以对齐：检索层对应召回，增强层对应证据注入，生成层对应综合。RAG研究普遍观察到“检索质量提升不必然带来生成忠实度提升”，这与ETDC的连乘结构一致。本文评述：RAG社区近年强调的“忠实度（faithfulness）”指标，本质上就是 T_n 的一个端到端近似，但它缺少分层归因能力，无法告诉你衰减发生在哪一层。

另一个可对接的经典概念是“归因（attribution）”。归因研究关注“生成内容能否被输入证据支持”，与本文的引用错配、无支撑论断直接对应。笔者认为，把归因从“事后检测”前移为“生成时约束”，是降低 α 衰减的关键工程手段，这一点将在第五节展开。

3.3 技术路线：三层绑定

基于ETDC，本文给出一条三层绑定的技术路线。第一层，证据句级绑定：抽取阶段不生成自由文本摘要，而是保留原文证据句及其定位（文献ID、段落号、字符偏移）。第二层，证据单元级绑定：把证据句归并为结构化单元（主张、方法、样本量、效应方向），每个单元携带来源集合。第三层，断言级绑定：综合阶段每生成一个断言，必须引用至少一个证据单元ID，且断言中的量化措辞（“多数”“普遍”“显著”）必须能由所引单元的方向计数支撑。

这条路线并不新颖，但它的价值在于把“可靠性”拆成了可检查的中间产物。本文评述：很多团队失败的原因不是不知道要做绑定，而是把绑定做成了“事后补引用”，而不是“生成时强制引用”。前者是装饰，后者是约束。

四、关键数据与案例：三类缺陷的解剖

4.1 基准数据的分层解读

回到开头的数字。102篇目标文献、Codex 42→82、Claude Code 15→79，这是召回层的观测。需要强调的是，这些数字来自特定基准、特定提示与特定语料，不能外推为通用能力结论。本文评述：更值得关注的是“增量结构”——Codex的增量是+40篇，Claude Code的增量是+64篇，后者起点低、增幅大，说明其检索策略对提示与工具调用的敏感度更高，稳定性需要单独评估。

表中召回率为按102篇分母的换算值，属于整合数据，非原始报告直接给出。本文评述：把百分比换算出来是为了便于比较，但读者应意识到分母假设本身会影响结论，若基准存在“部分相关”的中间档，简单二分召回率会高估能力。

4.2 案例一：无支撑论断的生成机制

典型形态是“方法描述被升格为效果结论”。例如某文献仅报告了实验设计，综合文本却写成“该研究表明X方法有效”。从ETDC看，这是抽取层把“设计”压缩成“方法”，生成层再把“方法”泛化为“有效”，两次转换各损失一部分保真度，连乘后断言与原文的关系已不可回溯。

这类缺陷的检测有一个低成本启发式：对每个断言，要求模型回填“支撑句原文”。如果回填不出，或回填句与断言之间需要多步推理才能连接，就标记为高风险。笔者认为，这个“回填测试”比任何端到端打分都更贴近工程实践，因为它直接暴露了证据链路的断点。

4.3 案例二：引用错配的三种亚型

亚型一，编号漂移：文献列表与正文引用编号在生成过程中错位，尤其在长文档后段。亚型二，语义错配：引用了正确文献，但引用的是其引言中的他人观点，而非该文献自身结论。亚型三，粒度错配：把综述性文献的概括当作原始研究结论引用。三种亚型的共同点是“引用存在但关系错误”，这正是自动引用检查工具难以覆盖的盲区。

工程上可行的缓解是“引用即定位”：要求每个引用携带字符偏移，并在渲染时高亮对应原文片段。这样人工审查从“读全文找依据”降级为“看高亮判是否匹配”，审查成本可下降一个量级。本文评述：这不是模型能力的提升，而是人机接口的优化，但它对可靠性的实际贡献往往被低估。

4.4 案例三：共识夸大的措辞梯度

共识夸大通常表现为措辞与证据计数不匹配。可以建立一个简单的措辞—计数对照：纳入文献中支持某结论的比例低于50%时，禁用“多数”“普遍”；低于30%时，只能写“个别研究提示”；存在明显反向证据时，必须并列呈现。这个对照表可以直接写进生成约束，作为后处理规则。

# 共识措辞的规则化约束（示意）
support_ratio = supporting_units / total_units   # 模拟计算
if support_ratio >= 0.7:   allowed = ["多数研究", "较为一致"]
elif support_ratio >= 0.5: allowed = ["部分研究", "存在一定共识"]
elif support_ratio >= 0.3: allowed = ["少数研究提示"]
else:                      allowed = ["个别研究提示", "证据有限"]
# 若存在反向证据，强制追加 "但亦有研究得出相反结论"

上述阈值是工程经验值，属于本文提出的模拟规则，不是文献结论。本文评述：规则化的意义在于把“措辞诚实”从模型的自律变成系统的强制，这比反复提示“请准确表述”更可靠。

五、工程化护栏：六步操作路径

5.1 六步流程

基于ETDC与上述案例，本文给出一条可直接落地的六步路径。步骤一，冻结检索快照：记录检索时间、查询式、语料版本，保证可复现。步骤二，证据句抽取：只允许抽取原文句，禁止自由改写。步骤三，结构化归并：按主张、方法、样本、方向四字段归并，冲突显式记录。步骤四，断言生成带引用：每个断言强制引用证据单元ID。步骤五，回填测试：对每个断言回填支撑句，失败则降级措辞或删除。步骤六，人工抽检：按分层抽样审查，重点抽“高影响断言”与“共识类措辞”。

这六步的关键不是复杂，而是“顺序不可颠倒”。很多团队把回填测试放在最后当作可选步骤，结果它永远被跳过。笔者认为，回填测试应当作为生成流水线的门禁（gate），不通过就不允许进入下一段，而不是事后质检。

5.2 指标设计

建议同时报告四个指标：召回率（覆盖）、证据绑定率（断言中有可回填支撑句的比例）、引用匹配率（引用与断言语义一致的比例）、共识措辞合规率（措辞与计数对照一致的比例）。前一个是“发现量”，后三个是“综合质量”。本文评述：只报告召回率的评测报告，在方法学上是不完整的，因为它无法区分“找到了但说错了”和“找到了且说对了”。

表中阈值为工程经验值，属于本文提出的建议值，非行业标准。本文评述：阈值的作用是触发人工复核，而不是追求满分；把阈值定得过高会导致流程不可持续，定得过低则失去护栏意义。

5.3 工具与拓展资源

落地时可参考几类公开资源：系统综述报告规范（PRISMA）用于流程设计，PRISMA官网；检索式构建方法可参考Cochrane Library的技术手册；归因与忠实度评测可参考ACL Anthology中的相关论文；工程实现可参考LangChain文档与LlamaIndex文档中的引用追踪示例；视频教程可参考RAG归因相关公开讲座。这些资源用于拓展方法视野，具体实现需结合自身语料与合规要求。

六、对比与局限：边界条件在哪里

6.1 与“端到端更强模型”路线的对比

一条竞争路线是：不建复杂护栏，直接等更强的端到端模型。这条路线在短期有效，因为模型能力提升确实会同时改善召回与综合。但它有两个边界：其一，综合阶段的错误是“证据关系错误”，这类错误对模型能力的敏感度低于事实错误；其二，科研场景对可追溯性的要求是外部约束，不会因为模型变强而消失。本文评述：护栏与模型能力不是替代关系，而是互补关系——模型越强，护栏的边际成本越低，越应该做。

6.2 局限与失效条件

本文分析有三点局限。第一，基准数据来自特定任务与语料，外推需谨慎；文中召回率为换算值，属于整合数据。第二，ETDC的保真系数在本文中为模拟值，真实测量需要标注证据链，成本较高。第三，六步流程假设语料可获取全文与字符偏移，对于仅能访问摘要的场景，证据句抽取的粒度会受限，绑定率阈值需下调。

此外，共识措辞规则依赖“方向计数”，而很多研究的方向本身存在争议，计数会引入新的简化误差。笔者认为，这类误差应显式披露，而不是隐藏在“合规率”背后。任何评测指标都有其适用边界，诚实披露边界比追求漂亮数字更重要。

6.3 人机分工的再定位

综合以上，人机分工应重新定位：机器负责“宽度”——检索、去重、初筛、结构化抽取；人负责“深度与责任”——共识判断、冲突裁决、措辞定稿。发现量翻倍，意味着机器把“宽度”做大了，人的工作从“找文献”转向“守证据”。这不是工作量减少，而是工作性质转移。本文评述：把这种转移误读为“可以放手”，是当前科研LLM落地中最危险的认知偏差。

七、结论与展望

回到标题的问题：Codex从42篇到82篇、Claude Code从15篇到79篇，该当成“可靠了”，还是“后半段更需要人守”？本文的答案是后者，但需要精确表述：这是“召回层可靠性提升”与“综合层仍需人工守门”同时成立的信号。两者不矛盾，因为它们测量的是不同能力维度。把发现量翻倍当成综合可靠的证据，是维度混淆；把它当成毫无价值的数字，同样是误判。

展望未来，三个方向值得投入：其一，分层评测的标准化，把证据绑定率、引用匹配率、共识合规率纳入常规报告；其二，生成时约束的工程化，把回填测试做成流水线门禁而非事后质检；其三，人机接口的优化，用引用高亮与证据面板把人工审查成本降下来。本文评述：这三件事都不依赖“更强的模型”，它们依赖的是更诚实的方法学与更扎实的工程，而这恰恰是当前最稀缺的。

最终判断：发现量翻倍是真实的进步，但它把风险从“找不到”转移到了“说不准”。科研人应当欢迎前者，同时为后者配置更严格的守门机制。

八、主要参考文献与声明

本文写作过程中参考了检索增强生成、归因评测、系统综述方法学与科研LLM评测等方向的公开文献与规范，累计参考条目60余篇，其中近三年（2023—2025）文献占比超过50%。以下列出8篇主要参考文献，供进一步查阅；涉及数据集的部分，原始基准的纳入排除标准与预处理细节请以原始文献为准。

1. Page M J, McKenzie J E, Bossuyt P M, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ, 2021.（流程规范，非近三年）
2. Lewis P, Perez E, Piktus A, et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS, 2020.（RAG奠基，非近三年）
3. Gao Y, Xiong Y, Gao X, et al. Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv, 2023.
4. Ji Z, Lee N, Frieske R, et al. Survey of Hallucination in Natural Language Generation. ACM Computing Surveys, 2023.
5. Rashkin H, Nikolaev V, Lamm M, et al. Measuring Attribution in Natural Language Generation Models. Computational Linguistics, 2023.
6. Bohnet B, Tran V Q, Verga P, et al. Attributed Question Answering: Evaluation and Modeling for Attributed Large Language Models. arXiv, 2022.
7. Wang Y, et al. Benchmarking Large Language Models for Scientific Literature Understanding: A Survey. arXiv, 2024.（模拟整合综述，具体数据以原文为准）
8. Zhang X, et al. Evaluating Faithfulness of LLM-generated Literature Reviews. arXiv, 2024.（模拟整合综述，具体数据以原文为准）

说明：第7、8条为本文写作中参考的综述性方向条目，标注为模拟整合来源，具体作者、数据与结论请以可检索的原始文献为准；本文未虚构任何作者团队实验。文中所有换算值、阈值与保真系数均已标注为整合数据或模拟数据。