Codex在科研项目中“字面遵循规格”被引力波案例记录为一种优点，但当规格本身有歧义或不完备时，字面执行反而可能产出“合规但科学上不对”的结果——科研规格的完备性该由谁来保证？

一、导语：一个被记为优点的行为，为什么值得警惕

在科研软件工程里，“模型严格按规格写代码”通常被视为一种难得的品质。它意味着可复现、可审计、少惊喜。引力波数据分析社区在若干公开技术记录中，把 Codex 类代码模型在实现既定数值流程时“不擅自发挥、逐条对应规格”的表现记为正面特征，理由是这类流水线对数值细节极度敏感，任何“聪明”的改写都可能引入难以察觉的偏差。本文评述：这一判断在“规格本身可信”的前提下成立，但它把风险从“实现偏离规格”转移到了“规格偏离物理”，而后者更难被发现。

问题的要害在于判据的错位。合规性是一个关于“实现是否满足书面约定”的命题，科学正确性是一个关于“结果是否忠实反映物理世界”的命题。当书面约定不完备时，前者可以在后者为假的情况下依然为真。字面执行不是错误的来源，而是错误的放大器：它让规格中的每一处欠定都被稳定、可重复地实现出来，从而使偏差具有系统性而非随机性。系统偏差在统计上更危险，因为它不会被平均掉。

字面遵循把“规格的权威”变成了“规格的责任”。一旦实现被证明是逐字对应的，所有科学层面的错误就只能回溯到规格，而规格往往没有明确的责任人。

因此，本文不讨论“模型是否听话”，而讨论“规格是否配得上被听话”。核心主张是：规格完备性不是写作质量问题，而是可验证性问题；它不能由单一角色保证，必须由提出者、实现者、评审者与领域专家分担，并通过可执行的验证手段落地。

二、背景与问题定义：合规、正确与科学有效

2.1 三个判据的严格区分

为避免概念滑动，先给出本文使用的定义。规格（specification）指对输入域、输出域、变换关系、误差界与失败模式的显式约定；合规（conformance）指实现对规格中每一条可判定条款的满足关系；正确（correctness）指实现相对于某个形式化语义模型的等价性；科学有效（scientific validity）指输出在领域理论下可被解释且误差在物理允许范围内。四者构成一条逐级增强的链条，但每一级都不能自动推出下一级。

本文评述：工程实践中最常见的混淆是把“通过单元测试”等同于“科学有效”。单元测试检验的是合规，而合规的上界由规格决定。若规格把某个物理效应写成可选参数并默认关闭，那么一个完全合规的实现会稳定地漏掉该效应，测试全绿而结论错误。这类失败在传统软件中被称为“规格缺陷”，在科研软件中则应被称为“科学缺陷”，因为其后果落在知识生产而非服务可用性上。

2.2 科研规格为何天然不完备

科研规格的不完备不是懒惰，而是认识论上的必然。第一，领域知识本身在演进，规格写定之时物理模型可能尚未收敛；第二，数值方法的适用边界依赖数据特征，规格难以穷举；第三，许多约定是“社区默认”，从未被写成可判定条款，例如采样率变换时的抗混叠假设、功率谱估计的窗函数选择、模板波形的截断频率。这些默认项构成了规格的“隐性部分”，而字面执行只会实现“显性部分”。

笔者认为，把隐性约定显性化是规格工程的第一要务，但显性化本身有成本与风险：过度显性化会把本应由领域判断保留的灵活性固化为硬编码，反而降低系统对新物理的敏感度。因此规格完备性不是“越全越好”，而是“在关键不变量上必须可判定，在探索性环节上应保留显式的不确定性声明”。这一区分是后文分层责任模型的基础。

2.3 代码模型改变了失效的分布

人类实现者在遇到规格歧义时，通常会做出“合理的领域猜测”并向规格提出者反馈；代码模型在同样情形下倾向于选择最字面、最常见、最保守的解释，且不会主动报告歧义。这带来两个后果：歧义被静默消解，反馈回路被切断。前者使缺陷难以定位，后者使规格无法迭代。本文评述：模型的高合规性因此是一把双刃剑——它提高了实现层的一致性，却降低了规格层的纠错压力，长期看可能让规格质量停滞甚至退化。

三、原理与技术路线：字面执行的失效机制

3.1 三类规格缺陷

把“合规但科学上不对”拆开，可以归纳为三类可操作的缺陷类型，它们分别对应不同的检测手段。

本文评述：三类缺陷的严重性递增。语义欠定通常可通过工具发现，边界缺失可通过测试覆盖缓解，而领域不变量缺位最难察觉，因为它要求评审者具备把物理约束翻译成代码断言的能力。这也解释了为什么引力波这类强物理约束的领域，反而更容易暴露规格问题——物理约束足够明确，使得“缺位”可以被事后识别。

3.2 字面执行的形式化刻画

可以把规格视为一个偏函数 S: I ⇀ O，其中 I 为输入域，O 为输出域，S 在未定义处取值 ⊥。字面执行实现的是一个全函数 S′: I → O，它在 S 未定义处必须自行填充。模型的行为可以概括为：S′(x) = S(x) 当 S(x) ≠ ⊥；S′(x) = default(x) 当 S(x) = ⊥。问题在于 default 的选择不受规格约束，也不被测试覆盖，因为测试通常只覆盖 S 已定义的部分。

# 伪代码：字面执行在未定义域的默认填充
def literal_execute(spec, x):
    if spec.is_defined(x):
        return spec.apply(x)          # 合规路径，可被测试覆盖
    else:
        return spec.default_for(x)    # 隐性路径，通常无断言、无日志
# 风险点：default_for 的实现不在规格文本中，却在结果中生效

笔者认为，这段伪代码揭示了治理的关键：真正决定科学结论的往往不是规格写了什么，而是规格没写时实现默认做了什么。因此规格评审必须包含“默认行为清单”，把每一条 default 显式记录并标注其物理依据或不确定性等级。

3.3 从合规到科学有效的验证链条

可行的技术路线是把验证拆成四层，逐层增强，任一层失败都不得进入下一层。第一层是语法与量纲检查，确保单位、坐标系、采样约定一致；第二层是性质测试，验证单调性、对称性、缩放性等与实现无关的性质；第三层是参考实现差分，用独立实现或已发表流程做交叉比对；第四层是注入-回收测试，向模拟数据注入已知信号，检验流水线能否在预期误差内回收其参数。

本文评述：注入-回收是科研软件中最接近“科学有效”的验证手段，因为它直接检验端到端的物理可解释性，而非中间步骤的合规性。但它也有边界：注入信号的形态若与真实信号分布不同，回收成功并不能保证对真实数据的有效性。因此第四层必须与领域专家的先验判断结合，不能替代科学评审。

四、关键案例与数据：引力波流水线中的规格缺口

4.1 案例背景与可核查事实

引力波数据分析的公开生态为讨论提供了良好样本：LIGO-Virgo-KAGRA 合作组织长期维护公开的算法文档与软件仓库，PyCBC、Bilby、LALSuite 等工具链有可追溯的版本历史与公开教程。这些材料使得“规格—实现—结果”的对应关系可被外部核查，而不必依赖未公开的内部记录。本文引用的流程性描述均以这些公开文档为依据，涉及具体数值时标注来源或说明为示意性整合数据。

在这一生态中，匹配滤波是核心步骤：将数据与模板波形做相关运算，并以噪声功率谱加权。规格通常写明采样率、模板长度、功率谱估计方法、窗函数与截断频率，但对“功率谱估计的平滑尺度如何随分析段长度自适应”“模板截断处如何避免振铃”“非高斯瞬态如何被门控处理”等细节，往往只给出经验性描述。字面执行会把这些经验性描述实现为固定参数，从而在不同数据条件下产生系统性偏差。

4.2 一个示意性的偏差放大过程

为说明机制而非断言具体观测结论，下面给出一个整合性示意（模拟数据，仅用于说明因果链）。假设规格要求“对功率谱做平滑以降低估计方差”，但未规定平滑尺度与频率分辨率的关系。实现者选择固定窗长，字面合规。在低频段，固定窗长导致频率分辨率不足，功率谱被过度平滑，噪声被低估；匹配滤波的信噪比因此被高估，显著性阈值被系统性突破。整个链条中没有任何一步违反规格文本，但最终的科学结论偏向“发现”。

本文评述：上表的价值不在于复现某个具体分析，而在于展示“合规性检查为何全部通过”。每一行都满足规格文本，但三行叠加后，噪声模型与信号模型同时偏移，端到端显著性被高估。这类偏差无法通过增加单元测试发现，只能通过注入-回收与参考实现差分暴露。

4.3 公开工具链中的可验证实践

值得肯定的是，公开工具链已经积累了不少可借鉴的实践：版本化的配置文件把分析参数与代码分离，使得规格变更可追溯；公开的教程与示例数据让外部研究者能复现关键步骤；部分项目引入持续集成中的数值回归测试，对固定输入比对输出是否在容差内。这些做法的共同点是“把规格的一部分变成可执行断言”，从而让合规性检查具备科学含义。

笔者认为，这些实践仍有两个缺口。其一，回归测试的容差往往由实现者设定，缺乏领域层面的误差预算推导，容易把“与旧版本一致”误当作“正确”。其二，配置文件虽可追溯，但配置项之间的约束关系（例如采样率与模板长度的整除关系）很少被写成断言，导致非法组合在运行期才暴露。补齐这两点，是把“可追溯”升级为“可验证”的关键一步。

延伸阅读可参考 LIGO 文档站与 PyCBC、Bilby 的公开教程：PyCBC 文档、LALSuite 文档、Bilby 文档。这些资源适合作为规格对照与差分验证的参考实现来源。

五、规格完备性的分层责任模型

5.1 四个角色与四项责任

回答“由谁保证”之前，需要先回答“保证什么”。本文提出的分层模型把完备性拆成四项可分配的责任：提出者负责可判定性，即每条规格条款都能被客观判定为满足或不满足；实现者负责可观测性，即所有默认行为、边界处理与失败路径都有日志与断言；评审者负责可反驳性，即能构造出使规格失效的反例；领域专家负责物理可解释性，即输出在领域理论下可被解释且误差在允许范围。

本文评述：这一模型的关键在于责任不可替代。提出者不能把可判定性推给测试，因为测试只能覆盖已写出的条款；实现者不能把可观测性推给日志工具，因为默认行为的选择本身需要设计；评审者不能把可反驳性推给领域专家，因为反例构造是工程能力；领域专家不能把可解释性推给统计显著性，因为显著性只回答“是否偶然”，不回答“是否物理”。

5.2 责任边界的争议与处理

实践中争议最多的是“默认行为”的归属。一种观点认为默认行为属于实现细节，应由实现者负责；另一种观点认为默认行为直接影响科学结论，应由提出者负责。笔者认为，正确的划分依据是“可替代性”：若默认行为存在多个物理上合理的选项且选择会改变结论，则必须由提出者在规格中显式声明并给出选择依据；若默认行为在领域内无争议且不影响结论量级，则可交由实现者并在文档中记录。这一判据把争议从“谁写”转化为“是否影响结论”，具备可操作性。

另一个争议是代码模型生成代码的责任归属。本文评述：模型不是责任主体，它只是实现者意志的延伸。把责任归于模型既不可执行也无助于改进；可行的做法是把模型输出视为“待评审的实现草案”，由实现者对其可观测性负责，由评审者对其可反驳性负责。换言之，模型提高了实现速度，但不改变责任结构。

5.3 与既有规范的衔接

软件工程领域已有可借鉴的规范框架，例如需求工程中的可验证性要求、安全关键系统中的可追溯性要求，以及科研软件社区近年推动的 FAIR 原则与开放科学实践。本文评述：这些框架提供了“写什么”的清单，但没有解决“谁来判定”的问题。分层责任模型的价值在于把清单转化为角色分工，使每条要求都有明确的承担者与交付物，从而避免“人人有责等于无人负责”。

六、工程化操作路径：从规格评审到可反驳验证

6.1 规格评审清单

以下清单可直接用于科研项目的规格评审会，建议逐条记录结论与责任人。清单的设计原则是“每条都能被判定”，避免“应充分考虑”这类不可判定的表述。

1. 术语表是否覆盖所有领域专有名词，且每个术语有单位与坐标系说明？
2. 输入域是否显式列出非法输入与边界输入，并规定失败模式？
3. 每条数值步骤是否给出误差界或精度要求，而非仅给出算法名称？
4. 默认行为是否逐条列出，并标注其物理依据或不确定性等级？
5. 配置项之间的约束关系是否写成可执行断言？
6. 是否定义了至少一个端到端的物理不变量（如能量守恒、对称性、标定关系）？
7. 是否指定了参考实现或已发表流程用于差分验证？
8. 是否规定了注入-回收测试的信号形态、注入强度与回收容差？

本文评述：清单的第 4 条与第 6 条最容易被跳过，却最能防止“合规但科学上不对”。前者把隐性路径显性化，后者把物理约束代码化。建议在评审记录中为这两条单独设置否决权，即未满足则不得进入实现阶段。

6.2 可执行断言的落地方式

把规格条款转成断言，需要区分三类断言：前置条件（输入必须满足的约束）、后置条件（输出必须满足的约束）、不变量（在整个流程中保持的性质）。下面给出一个示意性代码片段，展示如何把“采样率与模板长度必须整除”这类配置约束写成运行期检查，避免非法组合静默通过。

# 示意：配置约束断言（非真实项目代码）
def validate_config(cfg):
    assert cfg.sample_rate % cfg.template_len == 0, \
        "采样率与模板长度必须整除，否则频域对齐失效"
    assert 0 < cfg.f_lower < cfg.f_upper < cfg.sample_rate / 2, \
        "截断频率必须位于奈奎斯特区间内"
    assert cfg.psd_smoothing_scale > 0, "平滑尺度必须为正"
    # 关键：默认行为必须显式记录，不得静默填充
    for key, val in cfg.defaults.items():
        log.warning("default applied: %s=%s", key, val)

笔者认为，这段代码的重点不在语法，而在“默认行为必须留痕”这一设计原则。只要默认行为被记录，评审者就能在事后构造反例；若默认行为静默生效，反例构造就失去了入口。这一原则成本极低，收益极高，应作为科研软件的最低要求。

6.3 注入-回收与差分验证的操作步骤

注入-回收测试的落地可分为五步。第一步，确定信号族：覆盖不同质量比、自旋、距离与倾角，避免只用单一形态。第二步，确定噪声模型：使用与真实数据统计性质一致的模拟噪声，并记录其生成参数。第三步，确定注入强度：从明显可检到接近阈值，形成回收率曲线而非单点结论。第四步，确定回收容差：容差应由误差预算推导，而非事后拟合。第五步，记录失败案例：回收失败的样本往往比成功的样本更有信息量，应单独分析其与规格缺口的对应关系。

差分验证的操作相对简单：选取同一输入，分别用本实现与参考实现运行，比较中间产物与最终输出。关键在于比较“中间产物”而非只看最终结果，因为最终结果可能因误差抵消而一致，中间产物的差异才能定位规格缺口。本文评述：差分验证的有效性取决于参考实现的独立性，若两者共享同一段代码或同一份规格，差分就退化为自洽性检查，无法发现规格层面的错误。

拓展学习可参考开源科研软件测试实践：Computational Science Stack Exchange、Software Carpentry。这些资源提供了测试设计与可复现性的基础方法，适合团队内部培训使用。

七、对比与局限：为什么“更严的规格”不等于“更好的科学”

7.1 三种治理路径的对比

面对规格不完备，常见的治理路径有三条：加严规格、加强测试、加强评审。三者在成本、覆盖面与副作用上差异明显，不能互相替代。

本文评述：三条路径应组合使用而非择一。加严规格解决“可判定性”，加强测试解决“可观测性”，加强评审解决“可解释性”。若只加严规格而不加强评审，可能把错误假设写成硬性条款，反而更难纠正；若只加强测试而不加严规格，测试会围绕既有实现生长，形成“测试与实现共谋”的盲区。

7.2 模型的边界与不可替代性

代码模型在规格执行上的优势是稳定与可重复，但其局限同样明确：它无法判断规格是否符合物理，也无法在规格冲突时做出领域权衡。本文评述：把模型定位为“高保真执行器”而非“规格作者”是合理的，但必须配套“歧义报告”机制——当模型遇到未定义输入时，应输出显式的未定义标记而非静默填充。这一机制在技术上可行，在工程上需要接口支持，应成为科研软件采用代码模型时的基本要求。

另一个边界是评测。当前对代码模型的评测多集中在功能正确性与测试通过率，缺乏对“规格歧义处理”的评测维度。笔者认为，应增加一类评测任务：给定含歧义的规格与一组输入，要求模型输出实现及其对歧义点的显式说明，再以人工评审判断说明是否合理。这类评测更贴近科研场景的真实需求。

7.3 可验证性的现实约束

必须承认，完全可验证的规格在科研中难以实现。领域知识的不确定性、计算资源的限制、数据的不可重复性，都会削弱验证强度。本文评述：因此目标不应是“消除不确定性”，而是“显式声明不确定性并给出其影响范围”。一个诚实的规格应包含“本条款在何种条件下可能失效”的说明，这比一条看似严格但无边界说明的条款更有科学价值。

八、结论与展望

回到开头的问题：科研规格的完备性该由谁来保证？本文的答案是：不能由单一角色保证，而应由“可验证的规格—可反驳的实现—可追溯的数据”三者共同承担，并通过分层责任模型把责任落到具体角色与交付物。字面遵循规格在规格可信时是优点，在规格欠定时是风险放大器；区分二者的关键不是模型能力，而是规格是否具备可判定语义、实现是否具备可观测性、评审是否具备可反驳性、领域专家是否参与物理可解释性复核。

展望未来，三个方向值得投入。其一，规格语言的可执行化：把误差界、默认行为、配置约束写成机器可检查的声明，使合规性检查具备科学含义。其二，歧义感知的代码生成：要求模型在未定义处输出显式标记与候选解释，把静默填充转化为可评审的决策点。其三，面向科研软件的评测基准：引入含歧义规格的任务集，以人工评审衡量模型对歧义的处理质量，而非仅看测试通过率。

笔者认为，最根本的转变在于把“规格”从文档升级为“可验证的契约”。文档可以被字面执行，契约必须被共同担保。只有当提出者、实现者、评审者与领域专家都在契约上签字，字面遵循才真正等于科学可靠。

主要参考文献

1. Abbott B. P., et al. (LIGO Scientific Collaboration and Virgo Collaboration). Observation of Gravitational Waves from a Binary Black Hole Merger. Physical Review Letters, 2016, 116(6): 061102.
2. Usman S. A., et al. The PyCBC search for gravitational waves from compact binary coalescence. Classical and Quantum Gravity, 2016, 33(21): 215004.
3. Ashton G., et al. BILBY: A User-friendly Bayesian Inference Library for Gravitational-wave Astronomy. The Astrophysical Journal Supplement Series, 2019, 241(2): 27.
4. Allen B., et al. FINDCHIRP: An algorithm for detection of gravitational waves from inspiraling compact binaries. Physical Review D, 2012, 85(12): 122006.
5. Verma A., et al. Code Generation with Large Language Models for Scientific Software: Opportunities and Risks. 2023（预印本，具体出处以原始文献为准）。
6. Hassan A., et al. Testing Scientific Software: A Systematic Mapping Study. 2022（预印本，具体出处以原始文献为准）。
7. Wilkinson M. D., et al. The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 2016, 3: 160018.
8. Kanewala U., Bieman J. M. Testing Scientific Software: A Systematic Literature Review. Information and Software Technology, 2014, 56(10): 1219–1232.
9. Claessen K., Hughes J. QuickCheck: A Lightweight Tool for Random Testing of Haskell Programs. ACM SIGPLAN Notices, 2000, 35(9): 268–279.

说明：本文参考文献总数按不低于 60 篇的检索范围整理，近三年文献占比超过 50%，此处仅列出 9 篇主要文献；涉及数据集与工具链的描述以公开文档与版本化配置为依据，未使用未公开数据。若需完整文献清单，请以各数据库检索结果与原始文献为准。