GPT做Excel模型“结构漂亮但不可复现”，同题两次跑出不同公式，怎么审计？

——以“可复现性审计”为主线的机制拆解、度量设计与工程落地路径

摘要与阅读导引

把一份财务预测或运营测算的Excel模型交给大语言模型生成，结果往往“看上去很专业”：分层假设区、驱动因子表、三表勾稽、敏感性分析一应俱全。但只要把同一条提示词再跑一遍，公式就会换一种写法——SUMIFS换成SUMPRODUCT，绝对引用变成相对引用，辅助列被内联，甚至整块结构被重排。模型“结构漂亮”却“不可复现”，这不是审美问题，而是审计问题：当输出无法稳定重放，任何基于它的复核、签核与责任追溯都失去锚点。

本文的主线是一条独创性判断：大模型生成电子表格的不可复现性，本质是“语义等价、句法漂移”在缺乏执行语义约束时的必然外显；审计的目标不应是追求逐字符一致，而应建立“执行等价类”意义上的可复现性度量与留痕机制。围绕这条主线，文章依次讨论问题定义与随机性来源、公式等价性的形式化刻画、可操作的审计流水线（种子控制、差异比对、语义回归、留痕）、关键度量与案例、边界条件与局限，最后给出结论与前沿预判。全文偏工程视角，所有数据均标注来源，模拟数据单独注明。

目录

一、背景与问题定义：从“好看”到“可审计”的鸿沟

1.1 现象：结构一致、句法漂移

在电子表格生成任务上，大模型的表现呈现出一种稳定的“分裂”：宏观结构高度相似，微观公式高度多变。以“生成一个含收入预测、成本拆分、现金流勾稽的三年月度模型”为提示，两次运行通常会得到相同的表页划分与假设区布局，但具体单元格公式会出现系统性差异。笔者在多次工程复现中观察到的典型漂移包括：聚合函数族切换（SUMIFS / SUMPRODUCT / 数组公式）、引用方式切换（A1 相对引用与 $A$1 绝对引用混用）、中间列内联（原本独立的辅助列被折叠进单条公式）、以及日期与文本处理的写法差异（TEXT 与自定义格式、DATE 与序列号直写）。

需要强调，这类漂移并非“错误”。多数情况下两种写法在给定数据上计算结果一致，属于语义等价而句法不同。问题在于，电子表格的审计传统建立在“单元格—公式—引用”的逐项核对之上，句法一变，人工复核成本陡增，自动化比对工具也容易误报。本文评述：把“不可复现”简单归因于模型“不稳定”，会掩盖真正可工程化的问题——我们缺少一个以执行结果而非文本形态为准绳的复现性定义。

1.2 为什么电子表格的复现性尤其难

与代码生成相比，电子表格生成有三个结构性难点。其一，图灵完备但非结构化：Excel 公式语言本身具备条件、查找、数组运算能力，同一计算存在大量等价表达，搜索空间远大于常规编程语言的“规范写法”。其二，隐式依赖：单元格通过坐标引用建立依赖，引用方式（相对/绝对/混合）改变后，复制填充行为随之改变，句法差异会放大为语义差异。其三，执行环境耦合：动态数组、溢出行为、区域设置与日期系统（1900/1904）都会影响实际求值，同一公式在不同环境可能结果不同。

笔者认为，正是这三点使得“逐字符复现”在电子表格场景几乎不可达，也让“执行等价”成为唯一有工程意义的复现性标准。相关背景可参考微软关于 Excel 计算与动态数组的官方说明（Excel 函数官方文档），以及 Spreadsheet 基准研究中对公式语义的讨论（SpreadsheetBench 相关论文）。

1.3 审计对象的重新界定

传统模型审计关注“公式是否正确、勾稽是否平衡、假设是否有据”。面向大模型生成的模型，审计对象需要扩展为三元组：（生成过程的可重放性，公式集合的执行等价性，结构布局的稳定性）。三者缺一不可：只重放不比对，无法发现漂移；只比对不重放，无法定位漂移来源；只看结构不看执行，会把“好看但算错”的模型放行。后文所有方法都围绕这个三元组展开。

二、随机性从哪里来：解码、提示与执行环境的三层解耦

2.1 解码层：采样策略是第一性来源

在默认采样解码下，模型每一步从概率分布中抽样，温度（temperature）、top-p、top-k 直接决定输出的分散程度。即便温度设为 0（贪心解码），在并行计算、批处理与浮点非确定性影响下，部分推理服务仍可能出现细微差异；而在温度大于 0 时，同题两次得到不同公式几乎是必然。关于解码策略与可复现性的关系，Hugging Face 的生成配置文档给出了较清晰的参数语义（Transformers 生成配置）。

本文评述：把温度调零当作“复现开关”是一种常见误解。贪心解码只能降低采样方差，无法消除提示表述、上下文顺序与推理后端带来的差异。审计设计必须假设“解码层不可完全锁定”，转而把不确定性纳入度量，而不是幻想消灭它。

2.2 提示层：等价提示不等于等价输出

提示词中的细微变化——列名顺序、示例的取舍、是否给出公式模板、是否要求“使用 SUMIFS”——都会显著改变输出分布。更隐蔽的是上下文长度与位置效应：同一份需求描述放在提示开头与结尾，模型对约束的遵守程度不同。这类现象在长上下文评测中已有系统观察（Lost in the Middle 研究）。

工程上的直接推论是：提示词必须作为审计工件被版本化。任何一次“复现失败”，首先要排除的是提示是否逐字一致、系统消息是否一致、工具调用配置是否一致。笔者建议把提示词、模型标识、采样参数、工具链版本打包为“生成指纹”，随模型文件一同归档。

2.3 执行层：公式之外的变量

即使公式文本完全一致，执行结果仍可能不同：区域设置影响分隔符与日期解析，1900/1904 日期系统影响序列号，动态数组的溢出范围受相邻单元格占用影响，易失性函数（如 NOW、RAND、OFFSET）会引入时间与顺序依赖。审计时必须固定执行环境快照，或在比对前对易失性单元格做屏蔽。关于计算模式与易失性函数的官方说明见（Excel 易失性函数说明）。

三、公式等价性的形式化：句法、语义与执行等价类

3.1 三个层次的等价定义

为避免“看起来一样”的模糊判断，需要给出可操作的等价定义。笔者建议采用三层递进：

本文评述：三层等价并非替代关系，而是成本递增的漏斗。工程上应先用句法层快速去重，再用执行层兜底，语义层用于解释“为什么不同却都对”。把语义等价直接当作验收标准，会因测试输入不足而漏检；把句法等价当作唯一标准，则会把大量正确模型判为失败。

3.2 规范化：让句法比对先跑起来

规范化不是追求“唯一正确写法”，而是消除无意义差异。可落地的规则包括：统一函数大小写与参数分隔符；把绝对引用与相对引用按复制语义归一；展开或折叠常量表达式；统一数字与日期字面量格式；去除多余括号。下面是一段可运行的 Python 规范化示例（模拟实现，用于说明思路）：

import re

def normalize_formula(f: str) -> str:
    f = f.strip().upper()
    # 统一分隔符与空格
    f = re.sub(r"\s+", "", f)
    f = f.replace(";", ",")
    # 去除冗余括号（仅示意，生产需语法树）
    f = re.sub(r"\(([A-Z0-9$:]+)\)", r"\1", f)
    # 统一绝对引用写法
    f = re.sub(r"\$?([A-Z]+)\$?(\d+)", lambda m: f"{m.group(1)}{m.group(2)}", f)
    return f

print(normalize_formula("= sum( $A$1 : $A$10 )"))  # =SUM(A1:A10)

需要提醒，正则规范化只能处理表层差异，遇到数组公式、隐式交集与动态数组时会失真。生产环境应基于公式解析器生成抽象语法树（AST）再比对，开源方案如 formulas 库提供了公式解析能力（formulas 文档），可作为审计工具的起点。

3.3 执行等价类的构造

执行等价类的思路是：不比较公式文本，而比较“在覆盖性输入下的输出向量”。具体做法是为每个输出单元格构造一组测试输入（边界值、零值、负值、空值、极端大值），批量重算后比较输出。若两次生成的模型在所有测试输入下输出一致且勾稽平衡，则判定为同一执行等价类。该方法的局限在于测试输入无法穷尽，属于抽样验证；但对财务模型这类输入维度有限、业务约束明确的场景，覆盖率可以做得相当高。

笔者认为，执行等价类比“逐格公式比对”更贴近审计的本质：审计关心的是“这份模型在给定假设下算出的数对不对、能不能重算出来”，而不是“作者用了哪个函数”。把验收标准从文本迁移到行为，是解决不可复现问题的关键一步。

四、可复现性审计流水线：五步操作路径

4.1 第一步：生成指纹与重放

每次生成都记录“生成指纹”：模型名称与版本、采样参数（temperature、top_p、seed）、系统提示与用户提示的哈希、工具链版本、执行环境快照。重放时使用同一指纹，若服务商支持固定随机种子则固定，若不支持则在报告中标注“不可锁定”。OpenAI 关于可复现输出的说明指出，即使设置 seed 也不能保证完全确定（OpenAI 可复现输出文档），这一点必须在审计预期中写明。

4.2 第二步：结构快照与差异比对

把工作簿导出为结构化快照：表页清单、命名区域、每个单元格的公式与格式、依赖关系图。两次快照之间做三类比对——结构比对（表页与区域是否一致）、公式比对（规范化后是否一致）、依赖比对（引用图是否同构）。差异结果按“新增/删除/修改”分类，并标注影响范围（是否波及输出单元格）。

4.3 第三步：语义回归测试

为模型建立回归用例集：固定一组假设输入与期望输出（可由人工复核的基准模型给出），每次生成后自动重算并比对。用例应覆盖正常路径、边界条件与异常输入。回归通过率是比“公式相似度”更可靠的验收指标。工程上可借助 openpyxl 读写工作簿（openpyxl 文档），配合 LibreOffice 无头模式批量重算（LibreOffice 命令行参数）。

4.4 第四步：漂移归因

对未通过回归的差异做归因，分为四类：解码随机性（重放多次仍漂移）、提示敏感（微调提示即改变）、执行环境（换环境结果变）、真实缺陷（逻辑错误）。归因结果决定处置方式：随机性可通过多次采样取众数或提高约束降低；提示敏感需固化提示模板；环境问题需锁定快照；真实缺陷则进入修复流程。

4.5 第五步：留痕与签核

审计的终点是可追溯的工件包：生成指纹、两次快照、差异报告、回归结果、归因结论、复核人签核。工件包应与模型文件同版本管理，任何后续修改都产生新版本。这样，“同题两次跑出不同公式”不再是一笔糊涂账，而是一份可复核的记录。

五、关键度量与案例：把“漂移”变成可观测指标

5.1 四个核心度量

建议定义四个可计算指标：公式一致率（规范化后一致单元格占比）、执行一致率（回归用例通过占比）、结构稳定度（表页与命名区域一致比例）、漂移半衰期（多次重放中首次出现差异的轮次分布）。四者结合，可以区分“文本漂移但行为稳定”与“文本稳定但行为漂移”两种截然不同的风险。

5.2 一个模拟案例

为说明指标如何工作，构造一组模拟数据（以下为模拟数据，仅用于方法演示，不代表任何真实系统性能）：同一提示生成 10 次三年月度现金流模型，每次记录公式一致率与执行一致率。模拟结果显示，公式一致率在 0.62–0.81 之间波动，而执行一致率稳定在 0.94 以上，说明多数漂移属于句法层而非行为层；同时结构稳定度接近 1.0，印证“结构漂亮”的观察。该模拟数据的预处理说明：对每次输出做公式规范化、剔除易失性单元格、以 12 组回归用例重算。

本文评述：这个模拟结果指向一个务实结论——对多数财务模型，验收应盯执行一致率，把公式一致率当作“可维护性”参考而非“正确性”门槛。若执行一致率也显著下降，则说明漂移已侵入语义层，必须阻断发布。

5.3 工具与拓展资源

落地时可组合使用：openpyxl 做工作簿读写与快照，LibreOffice 无头模式做批量重算，pytest 组织回归用例，Git 管理生成指纹与工件包。想进一步了解表格理解与生成的前沿，可观看相关技术分享（表格大模型技术视频），以及阅读表格推理评测的公开资料（表格推理评测研究）。

六、对比与局限：哪些场景可以接受漂移

6.1 场景分层

并非所有场景都需要同等强度的复现性。可粗分为三层：探索层（一次性测算、头脑风暴）可容忍高漂移，重点看结果合理性；协作层（团队共享、需迭代修改）要求结构稳定与公式可维护，公式一致率重要；合规层（审计、披露、对外报告）要求执行等价与完整留痕，任何漂移都必须可解释。分层管理能避免“一刀切”导致的过度工程或风险失控。

6.2 方法的边界条件

执行等价类方法的有效性依赖三个条件：测试输入具备覆盖性、执行环境可锁定、输出可自动重算。当模型包含大量手工调整、外部链接、宏或非确定性函数时，自动重算的可靠性下降，审计需退回人工复核。此外，语义等价的判定在涉及浮点累积误差、舍入规则差异时会出现“数学上等价、数值上不同”的情况，此时应设定容差而非要求严格相等。

笔者认为，审计方法的价值不在于给出“通过/不通过”的二元结论，而在于把不确定性显性化：哪些差异是随机的、哪些是环境导致的、哪些是真实缺陷。能说清楚这三件事，就已经解决了“不可复现”带来的大部分管理焦虑。

七、结论与展望：走向“执行语义契约”

回到最初的问题：GPT 做 Excel 模型“结构漂亮但不可复现”，同题两次跑出不同公式，怎么审计？本文给出的答案是：放弃逐字符复现的执念，建立以执行等价类为核心的审计体系。具体而言，用生成指纹锁定过程，用结构快照与规范化比对定位句法漂移，用语义回归测试守住行为底线，用漂移归因区分随机性与缺陷，用工件包完成留痕与签核。这条路径不依赖某个特定模型，也不要求服务商提供完全确定性，因而具备较强的工程可移植性。

展望未来，笔者认为有两个方向值得关注。其一是“执行语义契约”：在生成阶段就要求模型输出可执行的约束（如指定函数族、引用规范、命名约定），把复现性从审计后置前移到生成约束。其二是表格级形式化验证：借助公式 AST 与符号执行，对关键勾稽关系做静态证明，减少对抽样测试的依赖。这两条路径都指向同一个判断——电子表格生成的可复现性，终将从“文本一致”走向“行为可证”。

对从业者而言，最务实的起点是今天就把生成指纹与回归用例建起来。漂移不会因为被忽视而消失，但会因为被度量而变得可控。

主要参考文献

文章声明

本文内容仅为作者学习、思考、经验、笔记的总结，仅供技术交流与参考。文中观点仅代表笔者个人思辨，不构成任何学术建议、商业建议或专业建议。所有数据来源已标注，引用时请以原始文献为准。