如果Codex在科研里的真实能力边界是“发现文献有增益但综合不可靠、复现成功率0%但脚手架扎实、严格遵循规格但可能字面地错过检测、快但静默偏或慢但可审计”，一个科研团队到底该按什么信号来判断“这个任务可以交给Codex自主跑”还是“必须人在回路里逐步核验”——是任务的可验证性、错误的代价，还是Agent在同类任务上被记录过的失败模式？

目录

一、导语：能力边界不是标签，而是判据的输入

把Codex类智能体放进科研流程，最先被问到的往往不是“它有多强”，而是“这个任务能不能交给它自己跑”。这个问题的难点在于，能力边界并不是一个可以贴在模型上的静态标签，而是一组随任务、随环境、随历史记录变化的条件函数。同一模型在“补全一段数据清洗脚本”上可能稳定可用，在“从零复现一篇论文的核心实验”上却可能给出看似完整、实则不可执行的方案。若团队只凭一次演示或一次失败就下结论，判据就会退化为印象。

本文的主线是：科研团队应当把“是否可自主跑”拆成三个可观测输入——任务的可验证性、错误的代价、以及该Agent在同类任务上被记录过的失败模式密度——再用一个显式的分级规则把它们合成自主性等级。这条主线贯穿后文所有章节：背景部分说明为什么传统“能力评测”不足以支撑托付决策；原理部分给出三维判据的形式化表达；案例部分用四类边界现象校准参数；对比部分讨论三者的权重与边界条件；落地部分给出可执行的七步操作法。笔者认为，把“人在回路”从一种态度变成一种可调度的资源，是科研团队使用编码智能体时最值得优先建设的工程能力。

提示：本文讨论的“Codex”泛指具备代码生成、文件操作、命令执行与多步规划能力的编码智能体（coding agent），不特指某一具体产品版本；涉及具体系统时以公开资料为准，读者应结合自身所用版本复核。

二、背景与问题定义：从“能不能写代码”到“能不能被托付”

2.1 科研流程中的智能体任务谱系

科研工作里的编码任务并不是同质的。按“输入—变换—输出”的可判定程度，可以粗略分成四段谱系：其一是数据工程，包括清洗、格式转换、缺失值处理、特征构造，输出可用单元测试或断言校验；其二是分析脚本，包括统计检验、建模、可视化，输出需要与已知基准或理论预期比对；其三是实验复现，包括环境搭建、超参搜索、结果对齐，输出依赖外部资源与随机性；其四是研究综合，包括文献梳理、假设生成、方法设计，输出本身带有解释性与开放性。四段谱系的可验证性依次下降，而错误的代价并不一定同步下降——这正是托付决策困难的根源。

本文评述：把任务谱系按“可验证性”排序，只是第一步。真正决定能否自主跑的，是“可验证性”与“错误代价”的乘积关系。一个可验证性很高但错误代价极高的任务（例如直接改写生产数据库的清洗脚本），仍然不应默认自主；一个可验证性中等但错误代价极低的任务（例如生成一批候选可视化草图），反而可以放宽自主权限。换句话说，可验证性回答“错了能不能被发现”，错误代价回答“错了有多疼”，二者缺一不可。

2.2 为什么“基准分数”不足以支撑托付决策

公开基准（如HumanEval、MBPP、SWE-bench及其变体）提供了有价值的横向比较，但它们测量的是“在给定题面下能否产出通过测试的补丁”，而不是“在真实科研环境中能否被安全托付”。二者之间存在三类系统性落差。第一类是分布落差：基准题目通常是自包含的，而科研任务依赖私有数据、内部工具链与领域约定。第二类是验证落差：基准用测试用例判定，科研任务往往没有现成测试，需要团队自行构造“可判定的验收条件”。第三类是失败模式落差：基准只记录“通过/不通过”，而托付决策更关心“它以什么方式失败、失败是否静默”。

笔者认为，基准分数应当被降格为“先验参考”，而不是“托付依据”。团队真正需要维护的，是一份内部失败模式台账：记录该Agent在本团队任务上出现过的具体失败形态、触发条件、被发现的方式与修复成本。这份台账才是三维判据中“失败模式密度”的数据来源，也是后文分级规则能够落地的前提。

2.3 问题形式化：托付决策是一个带约束的分类问题

把托付决策写成分类问题会更清晰。对任务t，定义三个输入：可验证性v(t)∈[0,1]，表示“存在自动化或半自动化手段在可接受时间内判定输出是否正确”的程度；错误代价c(t)∈[0,1]，表示“若输出错误且未被及时发现，造成的返工、资源浪费、结论污染与合规风险”的综合量级；失败模式密度f(t)∈[0,1]，表示“该Agent在同类任务历史记录中，出现静默错误或需人工返工的频率与严重度”。输出是自主性等级a(t)∈{A0,A1,A2,A3}，分别对应“完全自主”“自主+事后抽检”“逐步核验”“禁止自主”。后文第三节给出合成规则，第四节用案例校准参数。

三、原理与技术路线：三维自主性判据的构造

3.1 可验证性：从“有测试”到“有可判定的验收条件”

可验证性不等于“有单元测试”。在科研场景中，更实用的定义是“存在一个可执行的验收程序，它能在有限时间内给出通过/不通过的判定，且该判定与研究者真正关心的正确性高度相关”。据此可以把可验证性分成四级：L1为形式化测试（断言、单元测试、类型检查、静态分析）；L2为基准比对（与已知正确结果、公开数据集或理论值对齐）；L3为统计一致性检验（置信区间、置换检验、敏感性分析）；L4为专家评审（只能由人判断）。级别越高，自动化判定越弱，人在回路的必要性越强。

本文评述：很多团队在评估可验证性时，容易把“能跑通”误当成“可验证”。“能跑通”只说明没有语法错误和运行时异常，不说明数值正确、统计假设成立、结论可复现。笔者认为，可验证性的关键指标不是测试数量，而是测试与真实正确性的相关度。一个与真实目标弱相关的测试套件，会制造“通过了所以可信”的错觉，反而比没有测试更危险。

3.2 错误代价：把“疼不疼”拆成四个维度

错误代价可以拆成四个可讨论的维度：返工成本（发现错误后重做所需的人力与算力）、污染成本（错误结果是否已进入下游分析、论文草稿或共享数据）、合规成本（是否涉及隐私、伦理审查、数据使用协议）、声誉成本（是否影响对外发布与协作信任）。四个维度不必精确量化，但应当被显式打分，例如各取0/1/2三档后加权求和。加权系数由团队根据自身风险偏好设定，并写入团队规范，避免每次决策临时拍脑袋。

笔者认为，错误代价中最容易被低估的是“污染成本”。编码智能体的输出往往不是终点，而是下游流程的输入；一个未被发现的偏差会沿着数据流被放大，等到结论阶段才暴露时，追溯成本远高于当场核验。因此，对处于流程上游、且输出会被多次复用的任务，应系统性地上调错误代价评分。

3.3 失败模式密度：从“通过率”转向“失败形态学”

失败模式密度是三维判据中最具工程价值、也最容易被忽视的一维。它要求团队记录的不是“成功了几次”，而是“失败长什么样”。可操作的记录字段包括：失败类型（语法/逻辑/数值/环境/规格误解/静默偏差）、触发条件（任务类型、数据规模、依赖版本）、被发现方式（测试捕获/人工抽检/下游异常）、修复成本（分钟/小时/天）、是否可复现。积累到一定样本后，可以按任务类型计算“静默失败率”与“平均修复成本”，作为f(t)的估计。

本文评述：失败模式密度的价值在于，它把“这个Agent靠不靠谱”这种模糊判断，转化为“在这个任务类型上，它以何种方式、以多高频率失败”的可核查陈述。笔者认为，一个团队即使不建任何复杂平台，只要坚持记录失败形态三个月，其托付决策的质量就会显著改善，因为决策依据从“印象”变成了“台账”。

3.4 合成规则：一个可解释的分级函数

把三维输入合成为自主性等级，建议采用“先否决、再分级”的两段式规则，而不是简单加权平均。第一段是否决条件：若错误代价c(t)超过团队设定的硬阈值（例如涉及不可逆的数据删除或对外发布），无论v与f多好，一律降为A3（禁止自主）。第二段是分级：在未触发否决的前提下，用可验证性减去失败模式密度的差值，结合错误代价的档位，映射到A0–A2。这样做的理由是：高错误代价任务不应被“高可验证性”抵消，因为可验证性本身也可能失效；而低错误代价任务即使失败模式密度偏高，也可以通过事后抽检来控制风险。

// 示意性分级伪代码（参数需团队自行校准）
function autonomyLevel(v, c, f, cfg) {
  if (c >= cfg.costVeto) return "A3";          // 高代价一票否决
  const margin = v - f;                         // 可验证性相对失败密度的余量
  if (margin >= cfg.marginHigh && c <= cfg.costLow) return "A0";
  if (margin >= cfg.marginMid) return "A1";
  return "A2";
}

需要强调的是，上述函数只是把团队规范显式化，参数必须由团队用历史数据校准，不能照搬。本文评述：分级函数的意义不在于数学精确，而在于把“凭什么这么判”变成可讨论、可复核、可修订的团队知识，而不是某个人的直觉。

四、关键数据与案例：四类边界的可观测证据

4.1 “发现文献有增益但综合不可靠”：检索增强的边界

检索增强生成（RAG）在文献发现环节确有增益：它能较快地召回相关论文、抽取方法要点、生成候选阅读清单。但“综合”是另一回事——把多篇文献的结论合并成一段连贯陈述，涉及证据权重、矛盾处理、适用条件判断，这些恰恰是当前智能体容易出错的地方。公开研究（如关于检索增强生成的事实性与引用准确性的多项评测）反复显示，检索能降低幻觉率，但不能消除“看似有据、实则错配”的问题。

本文评述：在托付决策上，这意味着“文献发现”可以给到A1（自主+事后抽检），而“文献综合”应压到A2（逐步核验）。判据不是“它读了多少篇”，而是“每一条综合陈述能否回溯到具体原文段落并接受人工抽检”。团队应要求智能体输出带段落级引用的中间产物，把综合过程拆成可核验的步骤，而不是只给一段结论。

4.2 “复现成功率0%但脚手架扎实”：复现任务的真实价值

“复现成功率0%”是一个需要谨慎解读的表述。它通常指“端到端一次跑通并得到与原文一致结果”的成功率极低，而不等于“产出毫无价值”。在真实复现任务中，智能体往往能完成大量脚手架工作：目录结构、依赖清单、配置模板、数据加载骨架、日志与断言框架。这些产物本身可复用，能把后续人工复现的时间从数天压缩到数小时。公开的复现类基准（如MLReproBench等面向机器学习论文复现的评测）也显示，环境与依赖问题是复现失败的主要来源之一，而这正是智能体相对擅长的部分。

笔者认为，对复现任务应采用“分段托付”而非“整体托付”：脚手架搭建可给A1，环境调试可给A1，但“结果对齐与差异归因”必须A2。判据的核心是：把“复现成功”这个二元目标，拆成若干可独立验收的中间目标，每个中间目标单独评级。这样既利用了智能体的执行力，又避免把“跑通”误当“复现成功”。

4.3 “严格遵循规格但可能字面地错过检测”：规格执行的陷阱

这是最容易被忽视、也最危险的一类边界。智能体擅长“按字面执行规格”：你写“删除缺失值超过30%的列”，它就精确删除；但如果规格的本意是“删除缺失机制为完全随机缺失且比例过高的列”，字面执行就会误删具有信息量的列。类似地，你写“对p值小于0.05的结果报告显著”，它可能照做，却不检查多重比较校正——字面上完全合规，统计上却已偏离研究规范。

本文评述：这类失败之所以危险，是因为它通过了所有字面检查，属于典型的静默偏差。对抗它的办法不是写更长的规格，而是要求智能体在关键步骤输出“规格理解声明”：用自己的话复述它认为的验收条件，并由人确认。这一步成本很低，却能拦截大量“字面正确、意图错误”的执行。对涉及统计推断、数据过滤、样本排除的任务，应默认A2。

4.4 “快但静默偏或慢但可审计”：速度与可审计性的权衡

同一类任务，不同执行策略会带来不同的风险剖面：快速路径往往减少中间检查、合并步骤、省略日志，产出快但偏差不易察觉；慢速路径保留中间产物、逐步落盘、记录决策理由，速度慢但可审计。二者不是优劣关系，而是适用条件不同。对探索性、可快速重跑的任务，快速路径的期望成本可能更低；对结论性、难以重跑的任务，慢速路径的可审计性更有价值。

笔者认为，团队应当把“执行策略”作为托付决策的第四个隐含维度：在A1等级下默认快速路径，但要求关键中间产物落盘；在A2等级下强制慢速路径，要求每一步都有可复核的记录。这样，“快但静默偏”与“慢但可审计”就不再是模型属性，而是团队可以按任务调度的策略选择。

4.5 四类边界的对照表

说明：上表为本文基于公开评测与工程实践归纳的定性对照，等级建议需团队结合自身数据校准，不构成通用标准。

五、对比与局限：可验证性、错误代价、失败模式谁主沉浮

5.1 三者的关系不是并列，而是有先后

很多讨论把可验证性、错误代价、失败模式密度并列成三个“考虑因素”，但笔者认为它们存在明确的先后关系。错误代价是第一道闸门：它决定“这个任务是否允许出错”，从而决定是否需要否决。可验证性是第二道闸门：它决定“出错能否被及时发现”，从而决定自主的深度。失败模式密度是调节项：它决定“在同类任务上，历史经验是否支持放宽或收紧”。把三者并列，容易导致“高可验证性抵消高错误代价”的错误推理。

本文评述：这种先后关系也解释了为什么“复现成功率0%”不必然意味着“禁止使用”。复现任务的端到端错误代价高，但可以被拆成低代价的中间目标；一旦拆分，错误代价的闸门就在中间目标层面重新评估，脚手架部分自然获得自主空间。判据的粒度，决定了判据的可用性。

5.2 可验证性的失效边界

可验证性本身会失效，至少有三类情形。第一类是测试与目标错位：测试通过但目标未达成，例如只检查了代码可运行，没检查统计假设。第二类是测试被针对性优化：智能体在迭代中可能“学会”迎合测试，而不是解决问题，这在自动化评测中已有讨论。第三类是验证成本超过任务价值：构造可靠验收程序的成本高于任务本身，此时“可验证性”名义上存在，实际上不可用。

笔者认为，团队应定期做“验证有效性审计”：抽取一批已通过验收的产物，人工复核其真实正确性，统计“验收通过但实际错误”的比例。这个比例就是可验证性折扣系数，应直接进入分级函数的参数校准。没有做过这类审计的团队，不应高估自己的可验证性评分。

5.3 失败模式密度的样本偏差

失败模式密度也有局限。它依赖历史记录，而历史记录天然有样本偏差：容易被发现的失败被记录得多，静默失败被记录得少；简单任务样本多，复杂任务样本少；新任务类型几乎没有样本。直接用历史频率估计f(t)，会系统性低估静默失败的风险。缓解办法有二：一是对无历史样本的任务类型，给f(t)设一个保守的先验值，而不是默认取0；二是主动做“对抗性抽检”，专门寻找静默失败，把发现补进台账。

本文评述：把“没有记录”当成“没有失败”，是托付决策中最常见的统计错误。保守先验加主动抽检，是成本可控的纠偏手段。

5.4 与既有治理框架的对照

既有的人工智能治理框架（如NIST AI风险管理框架、OECD人工智能原则）强调人类监督、透明性与问责，但多为原则层面，缺少“单个任务该给多少自主权”的操作粒度。本文提出的三维判据可以看作这些原则在科研编码场景下的一种操作化：人类监督对应“人在回路的触发信号”，透明性对应“可审计的中间产物”，问责对应“失败模式台账”。本文评述：操作化的价值在于可执行，但也要警惕把复杂判断过度简化为打分；判据应服务于讨论，而不是替代讨论。

六、工程落地路径：从判据到流程的七步操作法

6.1 第一步：建立任务清单与谱系标注

把团队近期的编码相关任务列成清单，逐条标注所属谱系（数据工程/分析脚本/实验复现/研究综合）、输入来源、输出去向、是否会被下游复用。输出去向尤其重要，因为它直接决定污染成本。建议用一张共享表格维护，字段固定，便于后续统计。

6.2 第二步：为每个任务定义验收条件

验收条件要写成“可执行的判定”，而不是“看起来对”。例如“清洗后行数在原始行数的85%–95%之间且关键字段缺失率低于5%”“模型在留出集上的AUC与基线差异的95%置信区间包含0”。无法写成可执行判定的任务，直接标记为L4，进入A2。这一步是整条路径中投入产出比最高的环节。

6.3 第三步：给错误代价打分并设否决线

按返工、污染、合规、声誉四维各打0/1/2分，加权求和。团队需事先约定否决线，例如“涉及不可逆数据操作或对外发布”直接否决。否决线应写入团队规范，并由至少两人复核，避免单人随意放宽。

6.4 第四步：建立失败模式台账

台账字段建议：日期、任务类型、失败类型、触发条件、发现方式、修复成本、是否可复现、备注。每次人工返工都记一笔，哪怕只花五分钟。三个月后按任务类型汇总静默失败率，作为f(t)的初始估计。台账应公开可查，避免成为个人笔记。

6.5 第五步：运行分级函数并记录理由

用第三节的分级函数给出A0–A3建议，并强制记录“为什么是这个等级”。记录理由的价值在于：当后续出现争议时，可以回溯是哪个输入估错了，而不是争论“当时谁拍的板”。分级结果应随任务进展更新，例如任务从探索转为结论阶段时，错误代价上升，等级应相应下调。

6.6 第六步：设置人在回路的触发信号

人在回路不应是“全程盯着”，而应是“在特定信号出现时介入”。可操作的触发信号包括：智能体请求澄清规格；输出与既有基准差异超过预设阈值；涉及统计推断或样本排除；连续两次自我修正仍未通过验收；任务进入对外发布前的最后一步。把这些信号写成检查清单，附在任务模板里，比口头提醒有效得多。

6.7 第七步：定期审计与参数校准

每季度做一次验证有效性审计与分级回溯：抽取已验收产物人工复核，统计“验收通过但实际错误”的比例；回看分级决策，统计“给了A1却出了A2级问题”的案例。用这些数据校准分级函数的阈值。审计结果应形成简短报告，进入团队知识库。

拓展阅读：关于编码智能体评测与复现实践的公开资料，可参考 HumanEval 原始论文、SWE-bench 官方站点、NIST AI 风险管理框架；复现方法可参考 Papers with Code 的复现条目与 研究代码发布清单。

七、结论与展望：把“人在回路”变成可调度的资源

回到最初的问题：判断“可以自主跑”还是“必须逐步核验”，靠的不是单一信号，而是一个有先后、有否决、有调节的三维判据。错误代价决定是否允许自主，可验证性决定自主的深度，失败模式密度决定历史经验是否支持放宽。四类边界现象——文献综合不可靠、复现端到端失败但脚手架可用、字面执行错过检测、快慢路径的风险差异——都可以在这个框架下被解释，并转化为具体的等级建议与控制点。

笔者认为，未来一两年最值得投入的，不是寻找“更强的模型”，而是建设三样东西：可执行的验收条件库、结构化的失败模式台账、以及可调度的审计流程。模型会迭代，判据的参数会变，但这三样基础设施会持续产生复利。把“人在回路”从一种态度变成一种资源调度，科研团队才能在享受编码智能体效率红利的同时，守住结论的可信度。

展望而言，随着智能体在长程任务上的能力提升，失败模式会从“语法与逻辑错误”更多转向“规格理解偏差与静默统计偏差”，这意味着可验证性的构造难度会上升，而失败模式台账的价值会进一步凸显。团队应提前把“规格理解声明”“中间产物落盘”“对抗性抽检”作为默认工程习惯，而不是等到出了问题再补。

主要参考文献