Codex在文献综述基准中，机构图书馆访问使发现文章数从42篇提升到82篇，但综合阶段仍然出现“无支撑论断、引用错误、夸大共识”，而且没有单一工具在所有任务上最好——“用Codex做文献综述”到底该把它的输出当发现工具还是当综合结论？

摘要

目录

一、导语：一个“42→82”的增益与三类综合失真

在公开的文献综述类基准评测中，一个反复被引用的观察是：当编码代理（coding agent，指具备工具调用、文件读写与多步规划能力的大模型代理）获得机构图书馆的合法访问权限后，其可发现的相关文献数量出现显著跃升，典型数字是从42篇提升到82篇。这个数字本身并不惊人——任何接入更多数据库的检索器都会带来召回增长——真正值得讨论的是增益发生在哪一层、以及为什么增益没有同步传导到结论层。

同一批评测中，综合阶段的输出仍被标注出三类高频缺陷：无支撑论断（claim without support，即断言在给定文献集合中找不到可定位的原文依据）、引用错误（citation error，包括张冠李戴、页码/年份错配、把二手综述当一手实验）、夸大共识（consensus inflation，把少数研究或方法学异质性很大的结论表述为“普遍认为”）。与此同时，没有任何单一工具在所有任务上取得最优，检索强的工具在抽取上未必稳，抽取稳的工具在共识校准上未必可靠。

笔者认为，这三类失真并非“模型还不够强”的线性问题，而是任务结构问题：发现是召回问题，综合是约束满足问题，两者的优化目标、可验证性和失败代价完全不同。把它们塞进同一次生成，等于让一个高召回模块为一个高约束模块背书。本文的主线由此确立：把Codex的输出按“发现工具”与“综合结论”分层对待，并为两层分别设计验收标准。

提示：本文引用的“42→82”等数字来自公开基准报告与评测摘要的整合性描述，属整合/模拟口径，用于说明层级差异，不作为某一具体系统的绝对性能声明。凡涉及具体数值处均已标注口径。

二、背景与问题定义：文献综述的任务分解与失败模式

2.1 什么是“文献综述”的可操作定义

文献综述（literature review）在方法论上通常被定义为：围绕一个明确问题，系统性地识别、筛选、评估并整合已有研究，以形成对研究现状、证据强度与知识缺口的可复核陈述。系统性综述（systematic review）进一步要求预注册检索策略、明确的纳入排除标准与偏倚评估。本文评述：把这两个定义落到工程上，关键不是“写得多像综述”，而是每一条陈述能否回溯到可定位的原文片段。这为后文的“证据绑定”提供了判据。

据此，本文把综述任务拆为五段：发现（discovery）、筛选（screening）、绑定（grounding）、综合（synthesis）、复核（verification）。Codex类代理在发现与绑定（结构化抽取）上具备明显工程优势，在综合上则受制于约束满足能力与共识校准能力。

2.2 三类失真的机制解释

无支撑论断的机制主要是“生成先于检索”：语言模型的解码目标是最可能的下一词，而不是“存在一条可定位证据”。当检索结果稀疏或上下文被截断时，模型倾向于用先验知识补全，形成看似合理但无出处的句子。这在长文档综合中尤其常见，因为上下文窗口内的证据密度随篇幅增加而下降。

引用错误的机制包括三类：一是标识符混淆（DOI、arXiv ID、PMID 近似导致错配）；二是层级混淆（把综述中的转述当作原始实验）；三是时间错配（引用预印本版本而结论已在正式版修订）。本文评述：引用错误不是“记性差”，而是标识符解析与版本管理缺失，属于可用工程手段大幅压低的错误类型。

夸大共识的机制更隐蔽：模型在综合时倾向于“收敛叙事”，把异质性结果压缩为单一结论。方法学异质性（样本、任务、指标不同）在文本中往往以限定从句出现，容易被摘要式生成丢弃。笔者认为，共识强度必须显式分级，而不能交给生成模型隐式判断。

2.3 为什么“机构图书馆访问”是关键的变量

机构图书馆访问（institutional access）意味着代理可以合法调用订阅数据库、全文链接与元数据 API，从而把“只读摘要”升级为“可读全文与方法部分”。这直接提升发现层的召回，也让绑定层有机会抽取样本量、效应量、对照组等结构化字段。但权限扩张同时带来两个新问题：许可边界（批量下载是否违反订阅协议）与上下文预算（全文变长后，证据密度反而被稀释）。因此，访问权限是必要非充分条件。

三、原理与技术路线：发现层与综合层为何必须分离

3.1 两层任务的优化目标不同

发现层的目标是最大化相关文献的召回，同时控制噪声；其评价指标是召回率、查准率与覆盖率。综合层的目标是满足一组约束：每条断言有证据、每个引用可解析、每个共识有强度标注、每个局限被陈述。前者是搜索问题，后者是约束满足与一致性维护问题。用同一套解码策略同时优化两者，必然在某一端妥协。

本文评述：这解释了“没有单一工具在所有任务上最好”的现象——不是工具不够全能，而是任务本身存在目标冲突。高召回倾向引入弱相关文献，弱相关文献进入综合会稀释证据强度；高约束倾向保守，保守又会漏掉边缘但重要的证据。

3.2 证据绑定：把“生成”变成“检索增强的受约束生成”

证据绑定（grounding）指把生成文本中的每个断言映射到具体文献的具体片段（段落、句子、表格行）。工程上可形式化为：给定断言集合 C 与证据库 E，构造映射 f: C → 2^E，并要求每条断言至少有一个支撑片段，且支撑片段的语义蕴含断言。可用如下伪代码描述校验流程：

for claim in claims:
    candidates = retrieve(claim, index, top_k=8)
    for ev in candidates:
        if not resolvable(ev.doi) or not same_version(ev): continue
        score = entailment(claim, ev.span)   # NLI 或规则+LLM 双通道
        if score >= tau_high: bind(claim, ev); break
    else:
        flag(claim, "UNSUPPORTED")           # 进入人工复核队列

笔者认为，绑定环节的关键不是模型多强，而是拒绝机制：当找不到高置信证据时，系统必须允许输出“未找到支撑”，而不是自动补全。这一条能把“无支撑论断”从隐性缺陷变成显性标记。

3.3 共识强度分级：把“普遍认为”拆成可核对的等级

共识校准需要一个显式量表。本文建议采用四级：L1 单一研究；L2 多项一致但异质性未评估；L3 多项一致且方法学异质性可控；L4 系统综述/元分析支持。生成文本中凡出现“普遍”“一致”“主流”等词，必须携带等级标注与支撑文献列表。本文评述：这一做法把模糊修辞转化为可审计字段，是压制“夸大共识”的最低成本手段。

3.4 为什么Codex适合做“结构化抽取器”

Codex类代理的核心能力是工具调用、多步规划与代码执行。在综述场景中，这恰好对应：批量调用元数据 API、解析 PDF 结构、把抽取结果写入结构化表格、运行一致性检查脚本。相比纯对话模型，代理可以把“抽取—校验—落表”做成可重复执行的流水线，这比一次性生成更接近工程可复现的要求。

四、关键数据与案例：增益、失真与“无全能工具”

4.1 发现层增益的分解

把“42→82”拆开看，增益大致来自三部分：订阅库全文带来的召回扩展、代理多轮改写查询带来的覆盖提升、以及元数据去重后的净增。需要强调的是，这一数字是整合口径，不同基准的纳入标准不同，不宜横向直接比较。下表给出本文建议的分解记录模板（示例数据为模拟口径，用于说明字段设计）。

本文评述：把增益拆解后会发现，权限扩展贡献最大，但它同时抬高了后续筛选与绑定的成本。若不配套筛选标准，82 篇中的弱相关文献会直接污染综合层。

4.2 综合层失真的可观测指标

要判断输出能否当“结论”，需要可观测指标而非主观印象。本文建议至少记录：断言级支撑率（有证据断言/总断言）、引用可解析率（DOI 可解析且版本一致）、共识标注覆盖率（带等级标注的共识句/总共识句）、以及人工复核抽检一致率。下表为指标定义（示例阈值为工程建议值，非标准）。

4.3 “无单一工具最优”的实证含义

在检索增强生成（RAG）与代理评测的公开讨论中，一个稳定结论是：不同工具在不同子任务上各有优势，组合使用通常优于单点最优。本文评述：这对文献综述的启示不是“多买几个工具”，而是按层选型——发现层选召回强的检索器，绑定层选结构化抽取稳的代理，综合层选约束遵循好的模型，复核层保留人工与规则脚本。

延伸阅读（外部链接，新窗口打开）：Cochrane Handbook（系统综述方法学）、PRISMA 声明、MeSH 主题词表。

五、工程实践：五段流水线与可复核操作步骤

5.1 发现层：查询设计与权限合规

发现层的第一步不是调用模型，而是把研究问题转成可执行的检索式：概念拆分为 PICO 或 SPIDER 结构，生成同义词与受控词（MeSH/Emtree），设定时间窗与语种。代理可自动改写查询并做引文追踪（前向/后向），但必须记录每次改写与命中数，形成可复现日志。权限方面，批量下载需遵守订阅协议，优先使用官方 API 与元数据接口。

本文评述：可复现性的核心是日志，不是模型。只要查询、库、时间、去重规则被完整记录，换任何工具都能重放。建议把日志写成结构化 JSON，便于后续审计。

5.2 筛选层：纳入排除标准的显式化

筛选层需要把标准写成可判定的规则：研究对象、研究设计、结局指标、发表类型。代理可先做标题/摘要初筛，再由人工复核边界样本。建议采用双人独立筛选与分歧仲裁，记录一致性系数（如 Cohen's kappa）。这一步看似传统，却是压制后续“夸大共识”的第一道闸门。

5.3 绑定层：结构化抽取与证据表

绑定层把每篇文献的关键字段抽成一行：样本量、研究设计、主要结局、效应量与置信区间、局限陈述、可定位片段（页码/段落）。抽取结果写入证据表，供综合层引用。建议对每个字段设置“缺失”与“不适用”两个显式值，避免模型用推测填充。

{
  "doi": "10.xxxx/xxxxx",
  "design": "RCT",
  "n": 240,
  "outcome": {"name": "accuracy", "effect": 0.12, "ci": [0.04, 0.20]},
  "limitations_span": "p.7, para.2",
  "version_checked": "2025-11-02"
}

5.4 综合层：受约束写作与共识分级

综合层不应让模型自由发挥，而应给定证据表与写作模板：每个段落先列断言，再列支撑条目，最后写限定条件。凡涉及共识，必须引用 L1–L4 等级与支撑文献列表。本文评述：把“写作”变成“填表+改写”，是降低无支撑论断的最直接工程手段。

5.5 复核层：自动校验与人工抽检

复核层运行三类脚本：引用解析（DOI/PMID 校验与版本比对）、断言—证据蕴含检查（NLI 模型加规则）、共识标注完整性检查。自动校验通过后，再按比例人工抽检。建议把未通过项写入缺陷清单，回流到绑定层修正，形成闭环。

工具参考（外部链接，新窗口打开）：Crossref API 文档、Semantic Scholar API、S2ORC 数据集说明。

六、对比与局限：工具边界、许可与可复现性

6.1 分层选型的对比框架

把工具按层对比，比“总榜排名”更有决策价值。发现层看召回与覆盖，绑定层看字段完整率与抽取一致率，综合层看约束遵循与共识标注率，复核层看误报/漏报成本。本文评述：没有全能工具，只有分层组合；组合的接口是结构化证据表，而不是自然语言摘要。

6.2 许可、隐私与伦理边界

机构访问带来许可约束：批量抓取可能违反订阅条款，全文入库涉及版权，患者数据类文献需注意隐私。代理的自动化程度越高，越需要前置合规检查。笔者认为，合规不是事后补丁，而应作为流水线的准入条件写入配置。

6.3 可复现性的现实局限

即便日志完整，模型版本更新、检索库索引变化、API 配额差异都会导致结果漂移。缓解手段包括：固定模型版本与温度、缓存检索结果、对关键结论做双工具交叉验证。本文评述：可复现性在代理场景中是工程承诺而非绝对属性，应明确披露漂移来源。

七、结论与展望：把Codex放在正确的位置

回到标题的问题：Codex的输出该当发现工具还是综合结论？本文的答案是分层的——当发现工具与结构化草稿是稳健的；当综合结论则必须以逐句证据绑定、引用解析与共识分级为前置条件。42→82 的增益证明了访问权限与代理检索的价值，但综合阶段的三类失真提醒我们，召回增长不会自动转化为结论可靠性。

展望未来，三个方向值得投入：一是把证据绑定做成标准中间表示，让不同工具可互换；二是建立共识强度的公开标注规范，降低“夸大共识”的度量成本；三是发展面向综述的代理评测集，按层报告指标而非单一总分。笔者认为，综述工程的进步，更多来自流程与验收标准的进步，而非单点模型能力的跃迁。

八、主要参考文献与数据说明

本文参考的公开资料覆盖系统综述方法学、检索增强生成、代理评测与引用校验等方向，累计参考条目不少于60项，其中近三年（2023—2025）文献占比超过50%。以下列出8–9项主要参考文献；涉及数据集的条目已说明预处理口径。

数据说明：文中“42→82”为公开基准报告与评测摘要的整合口径，用于说明层级差异；表格中的示例数值为模拟数据，仅用于展示字段设计与记录模板，不代表任何具体系统的实测性能。引用时请以原始文献为准。