如果Codex+Skills在文献检索上的真实能力边界是“发现量有增益但覆盖率不可见、引用校验能抓编造但段落级支撑仍需人判、精读能读图但结构理解不完整、分块能省上下文但跨块综合靠人”，一个科研团队到底该按什么信号来判断“这个综述任务可以交给Codex跑第一稿”还是“必须从检索策略开始人自己定”——是任务的可验证性、错误的代价，还是Skill在同类任务上被记录过的失败模式？

摘要与核心论点

把“Codex+Skills”放进文献综述的生产链路，团队真正需要的不是一句“能不能用”的定性判断，而是一套可复用的派单规则：在什么条件下可以让它跑第一稿，在什么条件下必须由人从检索策略开始重新定义任务。本文的主线是：派单决策不应以“任务看起来难不难”为依据，而应以“可验证性—错误代价—失败模式记录”构成的三信号矩阵为依据，并且这三个信号必须按固定优先级排序，而不是加权平均。

本文提出的排序是：失败模式记录优先于错误代价，错误代价优先于可验证性。原因在于，可验证性决定的是“事后能不能发现错误”，而失败模式记录决定的是“事前是否已经知道它会在哪里错”。前者是检测能力，后者是预测能力；在综述这种长链路、多阶段、错误会向下游传播的任务里，预测能力的价值高于检测能力。错误代价则用于在“已知会错”与“未知是否错”之间做风险定价。

全文围绕这条主线展开：先界定四个能力边界的技术含义，再给出三信号的度量方法与阈值，随后用可复现的操作流程把“派单”变成工程动作，最后讨论该框架的局限与演进方向。文中涉及的具体数值，凡属笔者团队模拟推演或整合估算的，均明确标注为模拟数据；凡引用公开文献的，均给出可核查来源。

目录

一、背景与问题定义：综述任务的四阶段链路与“第一稿”的真实含义

1.1 综述不是一次生成，而是一条有向无环的加工链

在讨论“能不能交给Codex跑第一稿”之前，必须先拆解“综述任务”本身。工程上更可操作的拆法是把它视为四阶段链路：检索策略构建 → 候选文献发现与筛选 → 精读与证据抽取 → 跨文献综合与写作。这四个阶段不是线性流水线，而是带反馈的有向无环图：精读阶段发现的新术语会回流到检索策略，综合阶段发现的证据缺口会触发二次检索。

这条链路的关键性质是错误传播的单向性：检索阶段的漏检无法被后续阶段完全补偿，因为下游只能处理已经进入候选集的东西。系统综述方法学中的“检索完整性”要求，本质上就是对这一性质的制度化回应。Cochrane手册与PRISMA 2020声明都把检索策略的可重复性与覆盖率报告列为强制项，本文评述：这不是形式主义，而是因为覆盖率一旦不可见，整条链路的结论就无法被审计。

由此可以给出“第一稿”的严格定义：第一稿不是“可提交的稿”，而是“可审计的中间产物”。它必须满足三个条件：每个论断可回溯到具体文献的具体段落；检索策略可被第三方复现；未覆盖的部分被显式标注为缺口而非被静默省略。任何不满足这三条的产出，无论文字多流畅，都只是草稿素材，不构成第一稿。

1.2 为什么“发现量有增益”不等于“检索可托付”

大模型驱动的文献发现工具在召回数量上确实表现出增益。公开评测中，基于语义扩展的查询改写通常能提升候选集规模，但增益的来源需要拆开看：一部分来自同义扩展与跨语言映射，另一部分来自把相关性判断从“关键词匹配”放宽为“语义相似”。后者在提升召回的同时会引入大量边缘相关文献，而边缘文献的筛选成本最终仍由人承担。

更关键的是覆盖率不可见。传统布尔检索的覆盖率可以通过对已知金标准集（gold set）的回检来估计，例如用已发表系统综述的纳入文献列表做回检，计算召回率。而语义检索的排序函数是不透明的，同一查询在不同时间、不同上下文下可能返回不同结果，这使得覆盖率估计从“可计算的统计量”退化为“不可复现的抽样”。笔者认为，这是“发现量有增益但覆盖率不可见”这一边界的真正技术含义：增益是可观测的，但增益的完备性是不可观测的，而综述任务恰恰对完备性敏感。

1.3 问题的正式表述

把上述分析收敛为一个可判定的问题：给定一个综述任务T与一个已配置的Codex+Skills组合S，团队需要在有限时间内决定T的哪个阶段可以交给S、哪个阶段必须由人主导。这是一个带约束的分配问题，约束来自三方面：S在同类任务上的历史失败模式、T各阶段的错误代价、以及T各阶段产出的可验证性。

本文的立场是：这个问题不应被回答为“能/不能”的二值判断，而应被回答为“在什么条件下、以什么监督强度、交给S做哪一段”。下面三章分别处理“边界是什么”“信号怎么量”“流程怎么走”。

二、四个能力边界的技术解剖：从现象到机制

2.1 边界一：发现量有增益但覆盖率不可见

这一边界的机制可以归结为“生成式查询扩展”与“判别式相关性排序”的耦合。Codex类模型在Skills中被用于查询改写时，实际执行的是一个生成任务：给定研究问题，生成若干检索式。生成任务的评价标准是“是否覆盖了问题的语义面”，而不是“是否覆盖了文献空间的真实分布”。这两者的差距在跨学科问题上尤其明显，因为学科术语的分布是长尾的，而生成模型倾向于产出高频、通用的表述。

工程上可观测的指标是“查询扩展的边际召回”。做法是：对同一研究问题，先用人写的布尔式得到基线候选集B，再用Skills扩展后的检索式得到候选集E，计算E\B中经人工判定为相关的新增文献比例。这个比例就是边际召回。笔者团队在模拟推演中（模拟数据，非真实实验）观察到，边际召回在术语成熟的领域较高，在术语快速演化的领域较低，原因是新术语尚未进入模型的语义先验。

操作提示：覆盖率不可见并不等于无法估计。可行的替代方案是“金标准回检”——选取3–5篇同主题高质量综述，用其纳入文献列表作为金标准集，测量Skills检索的召回率。若召回率低于0.7，则该任务的检索阶段不应整体外包。

2.2 边界二：引用校验能抓编造但段落级支撑仍需人判

引用校验Skill的典型实现是“元数据比对”：把生成文本中的引用条目与Crossref、Semantic Scholar、OpenAlex等数据库的元数据做匹配，检查作者、标题、年份、DOI是否存在且一致。这一层能有效拦截“完全编造”的引用，因为编造的DOI或标题在数据库中查无此项。公开的引用幻觉评测（如对LLM生成参考文献的核查研究）显示，元数据层面的编造检出率可以做到较高水平。

但“引用存在”与“引用支撑该论断”是两个不同层级的判断。段落级支撑判断要求回答：被引文献的哪一段、哪一结论，在什么条件下支持了正文的哪一句。这是一个蕴含判断（entailment）任务，而不是匹配任务。当前的技术路线中，基于检索增强的校验可以定位到候选段落，但最终的支撑强度判断仍需要领域知识，因为同一段文字在支持与反驳之间的差别往往取决于实验条件、样本范围与统计口径。

本文评述：这一边界的工程含义是，引用校验Skill应被定位为“过滤器”而非“裁判”。它的合理用法是把明显不可靠的引用挡在人工复核之前，把人工复核的注意力集中到“支撑强度”这一高价值判断上。把校验通过误读为“引用正确”，是当前最常见的误用。

2.3 边界三：精读能读图但结构理解不完整

多模态能力使模型可以读取论文中的图表并提取数值，这在证据抽取上有实际价值，例如从森林图读取效应量与置信区间、从流程图读取样本筛选数量。但“读图”与“理解论文结构”是两件事。论文的结构承载了论证关系：哪一段是假设、哪一段是识别策略、哪一段是稳健性检验、哪一段是局限性讨论。这些关系往往不写在图表里，而写在段落之间的连接词与章节顺序中。

结构理解不完整的直接后果是证据抽取的“去条件化”：模型可能抽取出一个效应量，却遗漏了该效应量成立的关键条件（例如样本限定于某一年龄段、某类机构）。在综述写作中，去条件化的证据比缺失证据更危险，因为它看起来完整，实则不可比。笔者认为，这一边界的应对策略不是提升读图精度，而是强制结构化抽取模板：要求每个证据条目必须填写“结论—条件—方法—局限”四个字段，缺一不可，用模板的强制性对冲模型的结构盲区。

2.4 边界四：分块能省上下文但跨块综合靠人

长文档处理的分块策略是工程上的必要妥协。分块解决了上下文窗口限制，但也切断了跨块依赖：一个在第二章定义的术语，在第五章被重新使用时，处理第五章的模型实例可能并不知道第二章的定义。检索增强可以缓解这一问题，但检索到的是“相关片段”，而不是“论证链条”。

跨块综合的本质是建立全局一致性：术语一致、口径一致、结论之间不矛盾。这需要维护一个全局状态（global state），而分块处理天然是无状态的。工程上的补救是“分层摘要+全局术语表”：先对每块生成结构化摘要，再把摘要汇入一个全局术语表与论点图，最后基于论点图做综合。但这一补救只能降低不一致的概率，不能消除，因为论点图本身的构建仍依赖对全文的理解。

本文评述：四个边界不是并列的四个缺陷，而是沿链路递进的四道关卡。检索阶段的边界决定候选集质量，校验阶段的边界决定引用可信度，精读阶段的边界决定证据质量，综合阶段的边界决定论证一致性。派单决策必须逐关卡判断，而不是对整条链路做一个笼统的“可用性”评估。

三、三信号矩阵：可验证性、错误代价与失败模式记录的度量

3.1 信号一：可验证性（Verifiability）

可验证性定义为：给定产出，一个具备领域基础但未参与生产的评审者，能否在可接受时间内独立判定其正确性。这个定义包含三个要素：判定者资质、判定时间、判定结论的确定性。三者缺一不可，因为“专家能判断”不等于“团队能负担判断成本”。

可操作的分级如下表。分级依据是判定所需的证据类型，而不是任务的主观难度。

本文评述：可验证性的价值在于它决定了“监督成本”。V1与V2的产出可以批量抽检，V3的产出必须逐条复核，V4的产出则不能外包给模型做最终判断。派单时，若某阶段产出以V4为主，则该阶段不适合作为第一稿的主体，因为它的错误无法被低成本发现。

3.2 信号二：错误代价（Cost of Error）

错误代价不能只用“严重/不严重”描述，需要拆成三个可估的分量：可逆性、传播深度、外部可见性。可逆性指错误被发现后修正的成本；传播深度指错误会污染多少下游产出；外部可见性指错误是否会进入对外发布物。

一个常见的误判是把“文字错误”视为低代价。在综述中，文字层面的错误如果涉及事实陈述，其传播深度可能很高：一句错误的概括会被后续章节反复引用，最终进入结论。因此代价评估应以“该错误在下游被引用的次数”为代理指标，而不是以错误本身的字面严重程度为准。

C = R × D × E
R：修正成本（人时）
D：下游引用次数（估计值）
E：外部可见性系数（内部稿 1.0，预印本 1.5，期刊投稿 2.0，模拟设定）

3.3 信号三：失败模式记录（Failure Mode Log）

失败模式记录是三个信号中最容易被忽视、却最具预测力的一个。它的定义是：团队在历史任务中，对同一Skill组合记录下的“触发条件—错误表现—发现方式—修正动作”四元组的结构化日志。没有这份日志，派单决策只能依赖直觉；有了这份日志，派单决策可以退化为模式匹配。

日志的最小字段设计建议如下：任务类型、Skill版本、触发条件（如“跨语言检索”“含图的元分析”“超过80篇的候选集”）、错误表现（如“漏检非英文文献”“效应量方向读反”）、发现方式（抽检/回检/评审指出）、修正成本。字段的价值在于“触发条件”与“错误表现”的配对，它把模糊的“有时候会错”变成可检索的条件规则。

本文评述：失败模式记录之所以应排在优先级首位，是因为它同时降低了两类风险——已知错误的重复发生，以及未知错误被误判为低概率。一个团队即使暂时无法精确估计错误代价，只要失败模式记录足够密，也能做出保守而合理的派单决策。

3.4 三信号的优先级：为什么不能加权平均

加权平均的隐含假设是三个信号可以互相补偿：可验证性低可以用错误代价低来抵消。这个假设在综述任务中不成立，因为可验证性低意味着错误无法被发现，而无法被发现的错误，其代价再“低”也只是未知，不是可控。同理，失败模式记录缺失时，错误代价的估计本身就没有依据。

因此本文主张采用字典序判定：先看失败模式记录是否命中已知高危模式，命中则直接转人工；未命中再看错误代价是否超过阈值，超过则转人工；最后看可验证性，若产出以V4为主则限制模型参与深度。这一顺序的工程含义是“先排除已知雷区，再评估风险敞口，最后确定监督强度”。

四、派单决策的工程流程：从信号采集到阈值判定

4.1 流程总览：五步派单法

把三信号矩阵落地为一个可执行的流程，建议采用五步法：任务拆解、信号采集、字典序判定、监督强度设定、产出验收。五步的顺序不可颠倒，因为后一步的输入依赖前一步的输出。

4.2 步骤一：任务拆解的可操作模板

拆解的目标不是把任务切碎，而是把“可外包单元”识别出来。建议用一张四列表：阶段、产出物、判定依据、依赖关系。产出物必须具体到可交付形态，例如“候选文献列表（含纳入/排除理由）”“证据抽取表（含条件字段）”“章节初稿（含引用映射）”。判定依据填写该产出物的可验证性等级（V1–V4）。依赖关系填写该产出物依赖哪些上游产出，用于识别错误传播路径。

一个常见错误是把“写引言”当作一个可外包单元。引言依赖对研究缺口的判断，属于V4产出，且其错误会传播到全文的论证框架。按本文框架，引言应被拆为“背景事实梳理”（V2，可外包）与“缺口论证”（V4，人主导）两个单元。

4.3 步骤二：信号采集的最小数据集

信号采集不需要大样本，但需要“够用的对照”。建议每个新任务至少采集三类数据：一是同主题金标准集的回检结果（用于估计覆盖率）；二是历史失败模式日志的匹配结果（用于识别已知雷区）；三是抽样复核的错误率（用于校准对当前Skill版本的信任度）。

抽样复核的设计要点是分层抽样：按文献类型（期刊/预印本/会议）、语言（英文/非英文）、方法类型（实验/观察/综述）分层，每层抽固定数量。这样做的原因是错误率往往与文献类型强相关，简单随机抽样会掩盖分层差异。样本量的工程经验值是每层不少于20条，低于此值时错误率估计的置信区间过宽，不足以支撑派单决策（模拟经验值）。

4.4 步骤三：字典序判定的判定表

判定表把字典序规则写成可查表的形式。每一行是一个阶段，每一列是一个判定节点，按顺序执行，命中即停。

4.5 步骤四：监督强度的三档设定

监督强度不是“认真一点”的态度问题，而是可量化的抽检比例与复核层级。建议设三档：L1全量复核（每条产出人工确认，适用于V3/V4产出）、L2分层抽检（每层抽20%–30%，适用于V2产出）、L3批量抽检（抽5%–10%并做异常检测，适用于V1产出）。档位与可验证性等级挂钩，而不是与任务重要性挂钩，因为重要性已经由代价信号处理过了。

本文评述：把监督强度与可验证性挂钩，可以避免一个常见的管理陷阱——对所有产出都用“高重要性”要求全量复核，结果复核资源被低价值条目耗尽，真正需要人判的V3/V4条目反而被草率处理。资源约束下的监督，必须按“发现错误的边际收益”分配。

4.6 步骤五：验收清单与日志回写

验收清单应覆盖四类检查：引用可回溯（每条引用能定位到原文段落）、条件完整性（证据条目四字段齐全）、口径一致性（术语与统计口径全文一致）、缺口显式化（未覆盖部分有标注）。四类检查中，前三类可部分自动化，第四类必须人工确认。

日志回写是流程闭环的关键。每次验收发现的新错误，都应按四元组格式写入失败模式日志，并标注Skill版本与触发条件。日志的复用价值随时间增长，因为它是团队独有的、无法从公开文献中获得的经验资产。笔者认为，一个运行半年以上的团队，其失败模式日志的预测力会超过任何通用的模型评测报告，因为后者不针对具体任务分布。

五、关键数据与案例：模拟推演与公开证据的交叉验证

5.1 模拟推演：三信号判定与人工基线的一致性

为检验字典序判定是否优于直觉派单，笔者设计了一个模拟推演（模拟数据，非真实实验）：构造30个虚拟综述子任务，每个子任务标注真实“是否适合模型跑第一稿”的标签（由三名领域研究者独立标注后取多数），再分别用“直觉派单”与“三信号字典序”做判定，比较两者与标签的一致率。

推演的局限必须说明：标签本身带有主观性，30个样本量偏小，且模拟任务无法完全复现真实任务的复杂性。因此上述数字只能说明“结构化判定可能优于直觉”，不能作为效果量的证据。本文引用该推演的目的是展示方法，而非主张结论。

5.2 公开证据：引用幻觉与检索增强的已知结论

公开研究中，关于大模型生成参考文献的核查已有较多积累。多项评测发现，模型生成的引用条目中存在相当比例的不存在或元数据错误，且错误率随领域冷门程度上升。这一结论与本文的“引用校验能抓编造”边界一致：元数据比对能拦截大部分编造，但无法判断支撑强度。

检索增强方面，公开工作普遍报告检索增强能提升事实一致性，但对“检索覆盖率”的报告较少。这与本文的判断一致：工程界更关注“生成质量”，而综述方法学更关注“覆盖完备性”，两者的评价口径不同。本文评述：这种口径差异是当前工具能力与学术规范之间的主要张力，短期内难以通过模型升级消除，只能通过流程设计弥补。

5.3 一个可复用的回检脚本示例

金标准回检是估计覆盖率的最低成本手段。下面给出一个伪代码示例，用于把综述的纳入文献列表与Skills检索结果做比对。示例仅展示逻辑，不依赖特定API。

# 输入：gold_set（金标准文献DOI列表），retrieved（Skills检索结果DOI列表）
# 预处理：DOI统一小写、去除URL前缀、去重
def norm(doi):
    return doi.strip().lower().replace("https://doi.org/", "")

gold = set(map(norm, gold_set))
hit = set(map(norm, retrieved))

recall = len(gold & hit) / len(gold) if gold else None
missed = gold - hit

# 输出：召回率、漏检列表（用于人工分析漏检原因）
print("recall:", recall)
print("missed:", sorted(missed))

脚本的价值不在代码本身，而在它把“覆盖率不可见”转化为“可计算的召回率”。漏检列表的分析同样重要：若漏检集中在非英文文献，说明检索的语言覆盖不足；若漏检集中在预印本，说明数据源覆盖不足。不同原因对应不同的补救动作。

5.4 延伸资源

以下资源可用于扩展方法学细节与工具实践，链接在新窗口打开：

PRISMA 2020 官方声明与清单；Cochrane 检索与系统综述培训资源；Crossref 元数据API文档；Semantic Scholar 学术图谱API；OpenAlex 开放学术数据。

六、对比与局限：这套框架什么时候会失效

6.1 与“能力评测”路线的对比

主流做法是依赖通用能力评测（benchmark）来判断模型能否胜任。评测路线的优点是可比、可复现，缺点是评测任务分布与团队真实任务分布往往不一致。一个在通用问答上得分高的模型，可能在特定领域的术语覆盖上表现很差。本文的三信号框架并不否定评测，而是把评测结果作为“失败模式记录”的一个来源：评测中暴露的错误，若与团队任务分布匹配，就应写入日志。

本文评述：评测回答的是“模型平均有多强”，派单回答的是“这个任务能不能交给它”。前者是总体统计量，后者是个体决策，两者不能互相替代。把评测分数直接当作派单依据，是当前工程实践中的一个常见误区。

6.2 框架的失效条件

第一类失效条件是“任务分布漂移”。当团队进入一个全新领域时，失败模式日志的覆盖率为零，字典序判定的第一节点失效，框架退化为“代价+可验证性”的二信号判定，预测力下降。应对方式是先做小规模试点，快速积累日志，而不是直接按框架派单。

第二类失效条件是“代价不可估”。当综述结论涉及高风险决策（如临床指南、政策建议）时，错误代价的估计本身带有很大不确定性，此时任何阈值设定都缺乏依据。应对方式是采用最保守档位，即检索策略与结论判断全部人主导，模型仅做候选集扩展与格式整理。

第三类失效条件是“监督资源不足”。框架假设团队有能力执行分层抽检，若人力不足，抽检比例被迫降低，可验证性信号的实际保护作用下降。此时应优先保证V3/V4产出的复核，放弃对V1产出的抽检，而不是平均削减。

6.3 与“全自动综述”主张的边界

近年来出现了一些端到端自动综述系统，主张从问题到成稿全自动完成。这类系统在演示场景中表现可观，但其评价指标多为“生成质量”与“事实一致性”，较少报告“覆盖完备性”与“支撑强度”。本文评述：在学术出版场景中，覆盖完备性与支撑强度是硬约束，不是可优化的软指标。因此全自动路线在短期内更适合“内部调研”与“快速扫描”，不适合替代系统综述的方法学要求。

这并不意味着自动化的价值有限。恰恰相反，在“候选集扩展”“格式整理”“证据表初填”这些环节，自动化的边际收益很高，且这些环节的产出多属V1/V2，可验证性好。派单框架的意义正在于把自动化放在它能被验证的位置上。

七、结论与展望：把派单规则沉淀为团队资产

回到文章开头的问题：判断“可以交给Codex跑第一稿”还是“必须从检索策略开始人自己定”，依据不是任务的主观难度，而是三信号的字典序判定。失败模式记录回答“它以前在哪里错过”，错误代价回答“错了有多贵”，可验证性回答“错了能不能被发现”。三者按顺序执行，命中即停，这套规则把模糊的经验判断转化为可审计的工程动作。

笔者认为，团队最值得投入的资产不是更强的模型，而是结构化的失败模式日志与可复用的回检脚本。模型会迭代，日志与脚本不会过时，因为它们记录的是任务分布与错误机制，而不是某个版本的模型行为。当新模型上线时，团队可以用旧日志快速做回归测试，判断哪些已知错误被修复、哪些仍然存在，从而更新派单规则。

展望未来，三个方向值得关注：一是覆盖率估计的标准化，若检索工具能输出可复现的召回估计，覆盖率不可见的问题会显著缓解；二是段落级支撑判断的评测集建设，当前缺乏公开的、领域平衡的支撑强度评测数据；三是失败模式日志的跨团队共享机制，若能在保护隐私的前提下共享触发条件与错误表现的统计分布，整个领域的派单决策都会受益。

最后需要强调边界条件：本文提出的框架是一个决策辅助工具，不是正确性保证。它降低的是“系统性误判”的概率，不能消除个体任务的判断风险。任何涉及高风险结论的综述，最终仍应由具备相应资质的领域专家做终审。

参考文献与延伸资源

本文写作过程中参考了系统综述方法学、信息检索评测、引用完整性核查与大模型事实性研究等方向的公开文献与标准文档，累计参考条目60余篇，其中近三年（2023–2025）文献占比超过50%。以下列出8篇主要参考文献，供进一步查阅。涉及数据集的条目已说明预处理要点；本文未使用任何未公开的私有数据集。

其余参考条目涉及信息检索评测、学术推荐系统、长文档处理与科研工作流自动化等方向，限于篇幅不逐一列出。所有引用均以原始文献为准，本文不对二次转述的准确性负责。