模型：早停和“事后选最佳checkpoint”经常被混着说，但一个是停止训练、一个是继续训练再回滚——在算力允许的情况下，到底该早停省时间，还是跑满再选最佳权重更不容易错过后期更好的解？

摘要

早停与事后选最佳 checkpoint 常被当作同一件事的两种叫法，但它们在训练动力学上作用于不同阶段。早停是在验证集指标不再改善时中断训练，其收益是节省算力、抑制过拟合；事后选最佳则是在完整训练轨迹上回看验证指标，取最优权重，其代价是必须把训练跑完（或至少跑到足够晚），收益是不错过后期可能出现的更优解。本文提出一条统一分析主线：有效训练预算决定你能跑多远，泛化窗口决定好解可能出现在哪里，回滚成本决定你能否安全地“回头取”。围绕这条主线，本文梳理了学习率调度、EMA/SWA、checkpoint 存储与验证协议等工程机制，结合近年公开研究给出决策流程与清单，并对“跑满再选”在什么条件下真正优于早停给出可检验的判断标准。

目录

1. 问题的提出：两个被混用的概念

在工程讨论里，“早停”和“选最佳 checkpoint”经常被当成同义词使用。典型说法是：“我们早停了，取验证集最好的那个模型。”这句话把两件事压缩成了一件：停止训练的决策与选择权重的决策。但两者的时间位置不同、信息集不同、代价结构也不同。早停发生在训练过程中，决策依据是截至当前的验证曲线；事后选最佳发生在训练结束（或阶段性结束）之后，决策依据是完整轨迹上的验证曲线。前者省算力，后者省“后悔”。

这个区分之所以重要，是因为它直接对应一个工程取舍：在算力允许的情况下，到底该早停省时间，还是跑满再选最佳权重，才更不容易错过后期更好的解？如果泛化曲线是单峰的、峰值出现在训练早中期，那么早停几乎无损；如果曲线存在后期回升、或最佳点出现在学习率衰减之后，那么早停就会系统性错过好解。本文的任务不是给出一个“永远正确”的答案，而是给出一套判断条件，让读者能针对自己的任务、调度和预算做出可检验的选择。

本文评述：把早停与事后选最佳混为一谈，本质上是用“结果”掩盖了“决策过程”。工程上真正需要记录的是：在哪个 epoch 做出了停止决策、依据是哪条验证曲线、以及如果继续训练是否还有可回滚的权重。缺少这三项记录，“早停”就退化成了一次不可复现的拍脑袋。

2. 背景与问题定义：训练控制语义的形式化

2.1 三个核心量的定义

为便于后续论证，先给出三个贯穿全文的定义。有效训练预算（effective training budget）指在给定算力、时间与成本约束下，实际能够完成的训练步数或 epoch 数，记为 B。它不是一个抽象数字，而是由 GPU 小时、队列排队、实验迭代轮次共同决定的硬约束。泛化窗口（generalization window）指验证集指标在训练轨迹上处于“接近最优”的连续区间，记为 W；窗口越宽，早停越安全，窗口越窄且靠后，早停越危险。回滚成本（rollback cost）指保存 checkpoint、事后回看、重新加载权重并复验所付出的存储与计算代价，记为 C。

跑满再选更优  ⇔  ΔGain(跑满) > ΔCost(跑满) + C
其中 ΔGain 为跑满相对早停带来的验证指标增益，
ΔCost 为多跑的算力成本，C 为 checkpoint 存储与回滚成本。

这条不等式看起来平凡，但它把争论从“习惯”拉回到“可测量”。只要你能估计 ΔGain、ΔCost 与 C，就能判断该不该跑满。本文后续章节的工作，本质上是在讨论这三个量各自受什么因素影响、如何估计。

2.2 早停的标准形式与变体

经典早停由 Prechelt 在 1998 年的工作系统中给出（Prechelt, 1998），其核心是“耐心”（patience）参数：当验证指标连续 p 个 epoch 未改善时停止训练，并回滚到历史最优权重。这一形式至今仍是深度学习框架的默认实现。变体包括：基于泛化误差上界的理论早停、基于验证损失斜率的多阈值早停、以及在大模型预训练中常见的“按固定 token 预算停止 + 事后选 checkpoint”。

本文评述：Prechelt 的框架建立在“验证曲线单峰、噪声可控”的假设上。当训练集极大、验证集相对小、或任务指标本身高方差时，耐心参数 p 的选取会变得非常敏感——p 太小会误停，p 太大会让早停退化为“跑满”。这正是实践中早停效果时好时坏的根源之一。

2.3 事后选最佳的语义边界

事后选最佳并不是“不早停”，而是把停止决策与选择决策解耦：训练按预定预算跑完，验证集在每个 checkpoint 上评估，最后取最优。它的隐含前提是：训练轨迹被完整保留，且验证协议在整条轨迹上一致。如果中途改变了验证集、改变了评估脚本、或只保留了最后几个 checkpoint，那么“事后选最佳”就名不副实。

需要强调一个常被忽略的边界：事后选最佳在统计上是一次多重比较。你在 T 个 checkpoint 上各评估一次，取最大值，这个最大值本身带有选择偏差。T 越大、验证集越小，偏差越大。这一点在模型选择文献中有系统讨论（如 Cawley & Talbot, 2010 关于模型选择过拟合的分析），本文在 6.3 节展开。

3. 原理与技术路线：泛化窗口从何而来

3.1 双下降与“后期回升”

传统偏差-方差视角认为测试误差随模型复杂度呈 U 形。但自 Zhang 等（2017）与 Belkin 等（2019）的工作以来，“双下降”（double descent）现象被广泛讨论：当模型参数超过插值阈值后，测试误差可能再次下降。这一现象对早停的含义是直接的——如果验证曲线在后期存在第二个下降段，那么早停会停在第一个谷底，错过第二个更低的谷底。

本文评述：双下降在真实大模型训练中是否普遍存在仍有争议。Nakkiran 等（2020）给出的证据表明，双下降更多出现在“模型容量相对数据量可调”的受控实验中；而在数据量极大、训练预算固定的工业预训练里，验证损失通常单调下降后进入平台，第二个下降段并不常见。因此，把“跑满再选”当作对抗双下降的通用手段，证据并不充分；它更适合作为“验证曲线形态未知时的保险”，而非默认策略。

3.2 学习率调度对最佳点位置的塑造

现代训练几乎都使用学习率调度：warmup + cosine/linear decay。调度的存在使得“训练后期”与“低学习率”绑定。低学习率阶段模型在损失面上做更精细的移动，往往对应验证指标的进一步改善。这意味着最佳 checkpoint 经常出现在衰减尾段，而不是训练中期。Loshchilov & Hutter（2017）的 SGDR 与后续大量实践都支持这一观察：周期性重启的谷底往往优于单次衰减的早期平台。

由此得到一个可操作的推论：如果你的调度是“长平台 + 短衰减”，那么早停极可能停在平台期，从而系统性错过衰减尾段的好解。反之，如果调度从一开始就快速衰减，最佳点靠前，早停的损失就小。判断该不该跑满，先看调度形状，比看任务类型更可靠。

3.3 验证噪声与“假早停”

验证指标本身有噪声。小验证集、高方差任务（如生成任务的 BLEU/ROUGE、检测任务的 mAP 在小类上）会让验证曲线出现锯齿。耐心参数 p 在噪声面前的作用是“低通滤波”，但滤波必然带来延迟。当真实改善幅度小于噪声标准差时，早停无法区分“真平台”与“噪声坑”。

4. 关键机制：学习率调度、EMA 与 SWA 如何改变“最佳点”

4.1 权重平均：把“选点”变成“选区域”

随机权重平均（SWA，Izmailov 等，2018）与指数移动平均（EMA）改变了“最佳 checkpoint”的概念：它们不选单点，而是对一段轨迹上的权重做平均，得到一个更平坦、泛化更好的解。Polyak 平均与 EMA 在实践中的效果已被大量复现。其机制解释是：平均后的权重位于损失面的平坦区域，对验证集的微小扰动更稳健。

本文评述：EMA/SWA 的存在使得“早停 vs 跑满”的争论部分失效——因为最佳解不再是一个 checkpoint，而是一段轨迹的平均。此时更合理的问法是：我是否跑够了足够长的尾段来让平均覆盖到平坦区域？如果早停发生在尾段之前，EMA 的覆盖窗口就不完整，平均解的质量会下降。这为“跑满再选”提供了一个比“怕错过好解”更具体的理由。

4.2 checkpoint 存储策略与回滚成本

回滚成本 C 在实践中经常被低估。一个 7B 参数模型的 fp16 checkpoint 约 14GB，若每 500 步存一次、共 100 次，就是 1.4TB 的存储与相应的 IO 开销。更现实的做法是“滚动保留 + 指标触发保留”：只保留验证指标进入前 k% 的 checkpoint，或按时间分桶保留。这样既控制了 C，又保留了事后选择的空间。

表中“指标触发保留”是笔者认为在算力允许场景下性价比最高的折中：它把 C 压到可接受范围，同时保证最优 checkpoint 大概率落在保留集合内。前提是验证评估足够频繁，且评估本身不成为瓶颈。

5. 关键数据与案例：公开研究告诉了我们什么

5.1 早停与正则化的等价性证据

早停与 L2 正则的等价性在平方损失、梯度下降的简化设定下有经典分析（如 Yao 等，2007 的讨论）。这类结果的价值在于给出机制直觉：早停限制了参数从初始化出发的移动距离，从而起到容量约束作用。但本文评述：该等价性依赖强假设（凸性、固定学习率、平方损失），在非凸、自适应优化器、批归一化普遍存在的现代网络中不能直接套用。把它当作“早停=正则”的严格证明是过度解读。

5.2 大模型预训练中的 checkpoint 选择实践

在公开的大模型技术报告中，一个反复出现的模式是：预训练按固定 token 预算跑完，验证/下游指标在训练后期仍有小幅改善，最终发布权重通常取自训练末段而非早期。这与“跑满再选”的直觉一致。但需要谨慎的是，这些报告的选择往往还叠加了数据配比调整、退火（annealing）阶段等变量，不能把增益单独归因于“多跑了”。

本文评述：工业预训练的“跑满”更多是预算与调度决定的，而非在早停与跑满之间做了对照实验。把它当作“跑满更优”的证据是幸存者偏差——我们看不到那些早停后效果同样好的内部实验。读者在引用这类实践时应明确其证据等级。

5.3 微调场景的对照观察

在中小规模微调（如 BERT 类模型在 GLUE 子集上）中，验证指标通常在 3–5 个 epoch 内达到峰值，之后过拟合。此时早停的收益明确：它把训练从“必然过拟合”中拉回来。Hugging Face 的 Trainer 默认实现即包含基于评估指标的早停回调，其文档明确建议在小数据集上启用。这类场景下，“跑满再选”几乎没有额外收益，因为后期曲线单调变差。

6. 对比与局限：早停 vs 跑满再选

6.1 一张对照表

6.2 早停的系统性风险

早停最大的风险不是“停早了”，而是停在了错误的曲线上。当验证集与测试分布不一致、或验证指标与业务指标不一致时，早停会忠实地优化一个错误的信号。此时跑满再选也救不了你，因为选择依据同样是错的。这提示我们：在讨论早停与跑满之前，先确认验证协议本身是否可信。

6.3 事后选最佳的选择偏差

在 T 个 checkpoint 上取验证集最大值，其期望会高于真实泛化性能。偏差随 T 增大、验证集减小而增大。缓解手段包括：用独立的 held-out 集做最终确认、对选择过程做嵌套交叉验证、或对验证指标做置信区间估计后再比较。本文评述：很多团队在“跑满再选”后直接报告被选中 checkpoint 的验证分数，这实际上是把选择集当成了测试集，分数偏乐观。规范做法是保留一份从不参与选择的最终测试集。

7. 操作路径：两类场景的决策流程与清单

7.1 算力受限场景：早停优先，但要留后手

1. 先跑一次“探针训练”，记录完整验证曲线，估计泛化窗口 W 的位置与宽度。
2. 若 W 靠前（出现在总预算的前 60%），启用早停，patience 取 W 宽度的 1.5–2 倍。
3. 若 W 靠后或形态未知，改用“分段预算”：先跑 70%，评估后再决定是否续跑。
4. 始终保留最近 k 个 checkpoint，k 取 3–5，保证有回滚余地。

7.2 算力充裕场景：跑满 + 指标触发保留 + 独立确认集

1. 按预定预算跑满，调度使用 warmup + cosine decay，确保尾段有充分低学习率阶段。
2. 每 N 步评估一次验证集，仅当指标进入历史前 10% 时保留 checkpoint。
3. 训练结束后，在保留集合上取最优，再用独立确认集复验。
4. 若使用 EMA/SWA，确保平均窗口覆盖尾段至少 20% 的步数。

7.3 一个可落地的判断清单

• 🌿 调度是否有长尾低学习率阶段？有 → 倾向跑满。
• 🌿 验证集是否足够大以区分真实改善与噪声？否 → 先扩验证集。
• 🌿 是否使用 EMA/SWA？是 → 需要足够长的尾段覆盖。
• 🌿 checkpoint 存储是否可承受？否 → 指标触发保留。
• 🌿 是否有独立确认集？否 → 先建，再谈选择。

8. 前沿预判与结论

从趋势看，训练控制正在从“人工设 patience”走向“预算感知的自动调度”。一方面，学习率调度与早停的联合优化已有研究探索；另一方面，权重平均类方法让“最佳点”概念本身变得模糊。本文预判：未来两三年内，主流框架会把“停止决策、checkpoint 保留、事后选择”做成一个可配置的联合策略，而不是三个独立开关。

回到最初的问题：算力允许时该早停还是跑满？本文的结论是条件性的——当调度存在显著低学习率尾段、或使用权重平均、或验证曲线形态未知时，跑满再选更不容易错过后期好解；当验证窗口明确靠前、任务易过拟合、存储受限时，早停是更经济的选择。判断依据不是习惯，而是第 2 节那条不等式里的三个量。把这三个量测出来，争论就结束了。

主要参考文献