模型：训练误差低、验证误差高但两条曲线在加数据时“正在收敛”，和“已经分叉且不再收敛”是两种完全不同的过拟合——到底该怎么从学习曲线的形态判断“加数据有用”还是“加数据已经没用了”？

目录

1. 问题的提出：为什么“过拟合”是一个被滥用的标签

在监督学习实践中，最常见的诊断对话是这样的：训练集损失 0.02，验证集损失 0.31，于是结论是“模型过拟合了，需要加数据或加正则”。这个推理链条在多数情况下并不错误，但它跳过了一个关键问题——验证误差高，究竟是因为样本量不足导致的估计方差，还是因为模型假设与数据生成过程不匹配导致的系统性偏差？这两种原因对应的干预手段完全不同：前者加数据有效，后者加数据几乎无效。

“过拟合”一词在统计学习理论中的原始含义是：模型在训练分布上的经验风险显著低于其期望风险，即泛化间隙（generalization gap）为正且不可忽略。这个定义只描述了“状态”，没有描述“趋势”。而工程决策真正需要的是趋势信息：随着样本量 n 增加，间隙是在缩小、保持不变，还是在扩大？同样是间隙 0.29，间隙随 n 以 −0.05/decade 的速度缩小，与间隙随 n 以 +0.01/decade 的速度扩大，意味着完全相反的资源配置决策。

笔者认为，把这两种情形都称为“过拟合”，是工程沟通中一个长期存在但代价高昂的语义混淆。本文主张用两个限定词加以区分：可收敛过拟合（convergent overfitting）与已分叉过拟合（divergent overfitting）。前者指验证误差随样本量增加仍单调下降、训练—验证间隙单调收窄，只是收敛速率低于预期；后者指验证误差在某个样本量之后进入平台或回升，间隙不再收窄。这一区分不是文字游戏，它直接对应不同的理论机制与不同的工程动作。

本文评述：文献中讨论“学习曲线是否饱和”时，往往默认验证误差是样本量的单调递减函数，然后用幂律拟合外推。这一假设在分布匹配、容量适中的情形下大致成立，但在容量过大、标签噪声过高或存在分布漂移时会被系统性违反。因此，先判定形态、再做外推，比直接拟合幂律更稳健。

为了让讨论可操作，本文把“加数据有用”定义为一个可检验的命题：在保持数据分布、标注流程与模型容量不变的前提下，将训练样本量从 n 增加到 n′（n′ > n），验证集上的期望风险是否显著下降。这个定义刻意排除了“加数据同时改变了分布”的情形，因为那属于另一个问题（数据选择与分布匹配），本文在第 13 节单独讨论。

2. 形式化：把学习曲线写成样本量的函数

设数据生成分布为 P(X, Y)，损失函数为 ℓ，假设空间为 ℋ。给定训练集 S = {(x_i, y_i)}_{i=1}^{n} 独立同分布于 P，学习算法 A 输出假设 h_S = A(S)。定义：

训练风险：  R_train(n) = E_S[ (1/n) Σ_i ℓ(h_S(x_i), y_i) ]
验证风险：  R_val(n)   = E_S[ E_{(x,y)~P_test} ℓ(h_S(x), y) ]
泛化间隙：  G(n)       = R_val(n) − R_train(n)

注意 R_val(n) 中的期望是对训练集 S 取的，这一定义至关重要：单次实验的验证误差是随机变量，其波动可能远大于不同 n 之间的真实差异。很多“学习曲线看起来不收敛”的判断，实际上是把单次实验的噪声误读成了趋势。这一点在第 7 节的测量协议中会展开。

在经典统计学习理论中，R_val(n) 的典型形态是 R_val(n) = R_∞ + c·n^{−α}，其中 R_∞ 是 n → ∞ 时的贝叶斯风险（或假设空间内的最优风险），α 是收敛指数，c 是常数。这一形态对应本文所说的“可收敛过拟合”：间隙 G(n) 随 n 增大而单调下降，且下降速率由 α 刻画。α 的大小取决于假设空间复杂度、损失函数性质与数据分布的光滑性。

而“已分叉过拟合”对应的是另一种形态：R_val(n) 在 n 超过某个阈值后不再下降，甚至上升。用函数形式描述，就是存在 n₀ 使得对任意 n > n₀，dR_val/dn ≥ 0。这种形态在经典理论中较少被讨论，因为它要求假设空间或数据分布具有某种“错配”结构。第 5、6 节会给出两种产生机制：容量远超插值阈值时的双下降上升段，以及数据分布与假设空间不匹配时的不可约偏差。

3. 两种过拟合的动力学定义与可观测判据

3.1 定义

定义 1（可收敛过拟合）：若存在常数 R_∞ 与 α > 0，使得 R_val(n) − R_∞ = Θ(n^{−α})，且 G(n) 关于 n 单调不增，则称该学习过程处于可收敛过拟合状态。直观含义是：验证误差仍在向某个下界收敛，只是收敛速度由样本复杂度决定。

定义 2（已分叉过拟合）：若存在 n₀，使得对任意 n > n₀，R_val(n) 的下降速率在统计上不显著（即与 0 无显著差异），或 R_val(n) 随 n 上升，则称该学习过程处于已分叉过拟合状态。这里的“统计上不显著”必须结合重复实验的置信区间来判定，不能凭单条曲线目测。

本文评述：这两个定义刻意避开了“模型复杂度”这一维度，只以样本量为自变量。原因是工程上真正可控的变量通常是数据量与容量，而容量一旦选定，判断“加数据是否有用”就退化为一个关于 n 的一维问题。把问题降维到一维，是让判据可执行的前提。

3.2 可观测判据的三个层次

定义是理论对象，工程上需要可观测的替代量。笔者建议按三个层次递进判断，成本从低到高：

三个层次的关系是：层次一负责快速排除明显已分叉的情形；层次二负责给出趋势的量化描述与外推；层次三负责在关键决策点做最终确认。多数工程场景下，层次二已经足够，层次三只在数据采购金额显著时才值得做。

4. 理论证据链一：偏差—方差分解与样本复杂度

偏差—方差分解是理解可收敛过拟合的最直接工具。对平方损失，期望风险可写为：

E[R_val(n)] = σ²_noise + Bias²(h_S) + Var(h_S)
其中 Var(h_S) 通常随 n 增大以 O(d/n) 或 O(1/n) 的速率下降，
d 为有效自由度（effective degrees of freedom）。

这一分解给出的核心洞察是：加数据只能降低方差项，无法降低偏差项与噪声项。因此，如果验证误差的平台高度主要由偏差或噪声解释，那么加数据在理论上就注定无效。这正是“已分叉过拟合”的一种理论来源——不是方差没降下来，而是方差已经降到了可忽略的水平，剩下的全是加数据碰不到的部分。

本文评述：偏差—方差分解在工程上常被误用为“过拟合=高方差”的同义词，但分解本身并不保证方差项一定随 n 下降。在容量过大、正则化缺失的情形下，方差项的下降速率可能极慢（有效自由度 d 远大于 n），此时曲线表现为“可收敛但收敛极慢”，与“已分叉”在有限样本窗口内难以区分。这是第 9 节要讨论的容量错配问题。

样本复杂度理论从另一个角度给出同样的结论。以 VC 维为工具，泛化间隙的上界形如 O(√(d_VC/n))；以 Rademacher 复杂度为工具，上界形如 O(ℜ_n(ℋ)/√n)。这些上界都随 n 增大而趋近于 0，但它们都是上界，且通常相当松弛。工程意义在于：如果实测间隙的下降速率显著慢于这些上界预测的速率，说明要么上界松弛得厉害，要么数据分布本身具有高噪声或长尾结构。前者不影响“加数据有用”的判断，后者则会实质性抬高噪声底。

近年的紧致泛化界研究（如基于 PAC-Bayes 与基于信息论的方法）试图给出更贴近实测的估计，但这些方法依赖后验分布或互信息的估计，在深度网络上计算成本高、方差大，目前更适合作为研究工具而非工程判据。笔者认为，工程上更实用的路径是用重复实验直接估计 R_val(n) 的均值与方差，而不是依赖理论界的解析上界。

5. 理论证据链二：双下降与插值阈值

经典偏差—方差图景预测风险随模型容量呈 U 形。但 2019 年以来的一系列工作（Belkin 等；Nakkiran 等；Hastie 等）表明，在容量超过插值阈值（模型恰好能拟合训练集零误差的容量点）之后，测试风险会再次下降，形成“双下降”（double descent）。这一现象对本文的判据有直接影响：在插值阈值附近，验证误差对样本量的响应可能非单调。

具体地说，当模型容量固定且略高于插值阈值时，增加样本量会使模型从“过参数化插值区”向“欠参数化区”移动，途中可能穿过插值阈值附近的峰值区。此时学习曲线会出现“先降、再升、再降”的非单调形态。如果只截取中间一段观察，很容易误判为“已分叉”。

本文评述：双下降的存在提醒我们，“验证误差随样本量单调下降”是一个在特定容量区间内成立的近似，而非普遍规律。工程判据必须显式声明其适用区间：当模型处于强过参数化区（容量远大于插值阈值）时，加数据通常单调有益；当模型容量接近插值阈值时，需警惕非单调。这一区分在微调大模型的场景中尤其重要，因为微调后的有效容量往往难以直接测量。

从机制上看，双下降的上升段源于模型在插值阈值附近对训练样本的“记忆”行为：模型被迫拟合噪声标签，导致有效自由度急剧膨胀，方差项不降反升。下降段则源于隐式正则化（如梯度下降的早停效应、范数偏好）在过参数化区重新发挥作用。这两段机制不同，对“加数据”的响应也不同：上升段加数据可能有害（因为更多样本意味着更多噪声被拟合），下降段加数据有益。

因此，判断“加数据是否有用”之前，必须先回答一个前置问题：当前模型处于双下降曲线的哪一段？工程上可通过“容量扫描”来定位：固定 n，扫描模型宽度或训练轮数，观察验证误差是否出现峰值。若存在明显峰值且当前配置在峰值右侧，则加数据大概率有益；若在峰值左侧，则加数据可能有害。这一诊断步骤的成本通常低于直接做样本量阶梯实验，建议作为前置筛选。

6. 理论证据链三：神经缩放律与数据受限区间

Kaplan 等（2020）与 Hoffmann 等（2022，Chinchilla）的工作给出了语言模型损失随参数量 N、数据量 D、计算量 C 的幂律缩放关系。其核心形式可概括为：

L(N, D) ≈ L_∞ + a·N^{−α} + b·D^{−β}
其中 α ≈ 0.34, β ≈ 0.28（Kaplan 等 2020 的量级估计），
L_∞ 为不可约损失。Chinchilla 进一步指出，
在固定计算预算下，N 与 D 应按约 1:20 的比例同步扩展。

这一形式对本文判据的意义在于：它把“加数据是否有用”转化为“当前是否处于数据受限区间”。若 b·D^{−β} 项在总损失中占比显著，则加数据有效；若该项已接近 0 而 a·N^{−α} 项仍显著，则加数据无效、加参数有效。这与第 4 节的偏差—方差逻辑一致，但给出了可拟合的函数形式与量级参考。

本文评述：缩放律的拟合结果高度依赖数据分布、分词方式与训练细节，不同团队报告的指数差异可达 30% 以上。因此，缩放律的指数不能直接照搬，只能作为先验；判据必须基于本地数据重新拟合。此外，缩放律描述的是“分布内”损失，对分布外泛化的指导有限。工程上若关心的是 OOD 性能，缩放律的结论需要谨慎外推。

近两年出现了若干对缩放律的修正工作，包括考虑数据质量、重复训练（多 epoch）与数据去重的影响。这些工作的共同结论是：数据质量与多样性对缩放指数的影响，可能大于数据数量的影响。这直接支撑了本文第 13 节的观点：判断“加数据是否有用”时，数量只是其中一个维度，分布匹配度往往更关键。

7. 测量协议：样本量阶梯、重复实验与置信区间

判据的可靠性完全取决于测量协议。本节给出一套可直接落地的协议，适用于中小规模模型（单卡到八卡可训）的常规项目。

7.1 样本量阶梯设计

建议采用几何阶梯：n ∈ {n₀, 2n₀, 4n₀, 8n₀, 16n₀}，至少 5 个点。几何阶梯的理由是幂律在 log-log 坐标下呈直线，便于拟合与目测。n₀ 的选取应保证最小样本量下模型已能学到非平凡模式（通常取使训练误差明显低于随机猜测的最小样本量）。

每个阶梯点必须从同一数据池中无放回抽样，且各阶梯之间是嵌套关系（小样本集是大样本集的子集）。嵌套设计的好处是可以用配对比较降低方差，坏处是引入了样本间的相关性，需在统计检验时考虑。笔者建议同时报告嵌套与非嵌套两种设计的结果，若结论一致则可信度高。

7.2 重复实验与随机种子

每个阶梯点至少重复 k = 5 次，随机种子覆盖初始化、数据顺序与（如适用）数据增强。k 的选取应使验证误差均值的标准误小于预期效应量的 1/3。若预期效应量未知，可先做 k = 3 的预实验估计方差，再决定正式实验的 k。

需要强调的是，验证集本身应当是固定的且足够大。若验证集规模为 m，则单次验证误差的估计标准误约为 √(p(1−p)/m)（分类）或 σ/√m（回归）。当 m 较小时，验证集噪声会淹没样本量效应。经验法则是 m 至少为最大训练样本量的 10%，且绝对数量不低于数千。

7.3 置信区间与显著性检验

对每个阶梯点，报告 R_val 的均值与 95% 置信区间（建议用 bootstrap 百分位法，重采样次数 ≥ 2000）。判断“加数据有效”的显著性标准是：R_val(2n) 的置信区间上界小于 R_val(n) 的置信区间下界，或配对 t 检验的 p 值小于 0.05 且效应量（Cohen's d）大于 0.5。

7.4 训练充分性控制

一个常被忽视的混杂因素是训练轮数。小样本量下模型更容易在固定轮数内收敛，大样本量下可能需要更多轮数。若各阶梯点使用相同的固定轮数，大样本点可能欠训练，导致验证误差偏高，人为制造“平台”。建议采用基于验证损失的早停，并报告早停轮数的分布；若早停轮数随 n 单调上升，说明固定轮数设计不可靠。

8. 定量判据：间隙斜率、间隙曲率与判定表

有了可靠的测量，就可以构造定量判据。笔者建议使用三个量：间隙斜率、间隙曲率与平台高度比。

8.1 间隙斜率

定义间隙斜率为 G(n) 对 log n 的局部斜率：

s(n) = dG / d(log n) ≈ [G(2n) − G(n)] / log 2

若 s(n) 在最近两个阶梯点上均显著小于 0（置信区间上界 < 0），则为可收敛；若 s(n) 的置信区间包含 0，则为平台；若 s(n) 显著大于 0，则为已分叉。注意 s(n) 的量纲是“每翻倍样本量的间隙变化”，便于跨任务比较。

8.2 间隙曲率

曲率用于区分“收敛变慢”与“已经停止”。定义二阶差分：

c(n) = s(2n) − s(n)

若 c(n) > 0（斜率在变大，即负得越来越少），说明收敛在减速，符合幂律预期；若 c(n) ≈ 0 且 s(n) ≈ 0，说明已进入平台；若 c(n) < 0 且 s(n) > 0，说明间隙在加速扩大，是明确的已分叉信号。曲率的估计方差通常较大，建议只在 5 个以上阶梯点且每点 k ≥ 5 次重复时使用。

8.3 平台高度比

定义平台高度比为当前验证误差超出估计噪声底的部分，占初始间隙的比例：

ρ = [R_val(n_max) − R_noise] / [R_val(n₀) − R_noise]

ρ 接近 0 说明已基本收敛到噪声底，加数据空间很小；ρ 接近 1 说明几乎没有进展，需检查训练是否充分或容量是否错配。经验上 ρ < 0.2 可视为“接近噪声底”，ρ > 0.6 且 s(n) ≈ 0 应高度怀疑已分叉。需要强调，这些阈值是工程经验约定，不是理论常数，应结合任务风险偏好调整。

9. 干扰因素：噪声底、分布漂移与容量错配

9.1 噪声底的估计

噪声底是判据的基准线，估计不准会导致系统性误判。工程上有三种估计方法：其一，用人工标注的一致性估计（如双标一致率）反推标注噪声；其二，用同一模型在独立同分布测试集上的多次评估方差估计评估噪声；其三，训练一个容量受严格限制的模型（如线性模型或浅层树），其验证误差可作为“可学习信号”的粗略下界。

本文评述：三种方法各有偏差。一致性法低估噪声（标注者可能共享同样的系统性错误）；评估方差法只捕捉评估噪声，不含标注噪声；受限模型法给出的下界可能远高于真实贝叶斯风险。笔者建议取三者中的最小值作为噪声底的上界估计，并在报告中明确说明估计方法，避免把“噪声底估计偏高”误读为“已收敛”。

9.2 分布漂移

若验证集与训练集来自不同分布（时间漂移、采集设备差异、标注规范变更），学习曲线的形态会被系统性扭曲。典型表现是：训练误差持续下降，验证误差在高位震荡，间隙不随 n 收窄。这种形态与“已分叉过拟合”在曲线上几乎无法区分，但成因完全不同。

诊断方法是做分布一致性检验：对训练集与验证集的特征做两样本检验（如 KS 检验、MMD 检验），或训练一个域分类器，若其 AUC 显著高于 0.5，说明存在可检测的分布差异。若确认存在漂移，则学习曲线判据失效，应先解决分布匹配问题（重采样、重要性加权或重新标注）。

9.3 容量错配

容量过大时，模型在有限样本下表现为“可收敛但极慢”，在有限样本窗口内与已分叉难以区分。诊断方法是做容量扫描：固定 n，扫描模型宽度或深度，观察验证误差是否随容量单调下降。若在较大容量处验证误差不再改善甚至变差，说明当前 n 下容量已过剩，此时加数据的收益可能被容量过剩抵消。

容量过小则是另一种错配：验证误差平台由偏差主导，加数据同样无效，但干预手段是加容量而非加数据。区分方法是看训练误差：容量过小时训练误差也高（欠拟合），容量过大时训练误差极低而验证误差高（过拟合）。这一简单对照应作为诊断的第一步。

10. 工程决策流程：从诊断到数据采购

把前述判据组织成可执行流程，是本文的落地目标。下面给出一个七步流程，适用于“是否追加标注预算”这类决策。

这一流程的核心思想是先排除不可由加数据解决的病因，再评估加数据的边际收益。很多团队跳过前三步直接做样本量实验，结果把分布漂移或容量错配误判为“加数据没用”，从而错误地放弃了本应有效的数据投入。

11. 案例与模拟数据：三种典型形态的对照

为使判据具体化，本节给出三组模拟数据（标注为模拟数据，非真实实验），分别对应三种形态。模拟设定：二分类，特征维度 32，标签由非线性函数加高斯噪声生成，模型为三层 MLP，训练至验证损失早停。

对三组数据计算间隙斜率（以 8k→16k 段为例）：形态 A 的 s ≈ −0.037，形态 B 的 s ≈ −0.009（置信区间含 0），形态 C 的 s ≈ +0.017。按第 8 节判定表，A 为可收敛，B 为接近噪声底，C 为已分叉。这一结果与生成机制一致，说明判据在受控条件下能正确区分三种状态。

需要提醒的是，模拟数据的噪声结构是人为设定的，真实任务的噪声往往更复杂（长尾、标注者偏差、特征缺失）。因此，模拟结果只能验证判据的逻辑正确性，不能替代真实任务上的校准。工程落地时应在本地数据上重新估计阈值。

12. 边界条件与常见误判

任何判据都有适用边界。本节列出五类常见误判及其规避方法。

此外还有两类边界条件值得单独说明。其一是多任务与多模态场景：不同任务的学习曲线形态可能不同，合并评估会掩盖差异，应分任务诊断。其二是在线学习与持续学习场景：数据分布随时间变化，学习曲线判据需要引入时间维度，本文的一维框架不直接适用。

13. 前沿预判：从“加数据”到“加对数据”

本文的判据回答的是“加同分布数据是否有用”。但近三年的研究越来越清楚地表明，数据分布的选择对模型性能的影响，往往大于数据数量的影响。这体现在三条研究线上。

第一条是数据筛选与去重。多项工作表明，对大规模网络爬取数据做质量过滤与去重，能在数据量减少的情况下提升下游性能。这意味着“加数据”的边际收益高度依赖于新增数据的质量分布，而非单纯的数量。

第二条是主动学习与数据选择。主动学习通过选择信息量最大的样本，在相同标注预算下获得更低的验证误差。其有效性依赖于选择策略与模型不确定性估计的质量。笔者认为，主动学习与本文判据是互补的：判据回答“是否值得加”，主动学习回答“加哪些”。

第三条是数据混合与课程学习。在预训练—微调范式中，预训练数据的分布与微调任务的匹配度，决定了微调所需的数据量。近年有工作系统研究了数据混合比例对缩放律的影响，发现最优混合比例随模型规模变化。这提示我们，“加数据是否有用”的答案可能随模型规模而改变，小模型上的诊断结论不能直接外推到大模型。

本文评述：把“加数据有用性”简化为样本量问题是工程上的必要抽象，但这一抽象有明确的失效边界。当新增数据与现有数据分布不同、质量不同、或与任务相关性不同时，一维判据不再充分，需要升级为“数据分布—假设空间匹配度”的二维分析。笔者认为，未来的工程工具应当把“数据诊断”与“模型诊断”放在同一框架下，而不是各自独立。

从更长远看，随着合成数据与数据蒸馏技术的成熟，“加数据”的形式本身在变化。合成数据的分布由生成模型决定，其与真实分布的偏差会以系统性的方式影响学习曲线形态。这类数据的“加数据有用性”判据需要重新设计，不能直接套用本文框架。这是值得后续工作深入的方向。

14. 结论

本文的核心主张可以概括为一句话：“训练低、验证高”只说明存在泛化间隙，不说明间隙会随数据增加而收窄；判断加数据是否有用，必须看间隙的动力学，而不是间隙的绝对值。

围绕这一主张，本文给出了三层贡献。理论上，把过拟合拆分为可收敛与已分叉两种状态，并用偏差—方差、双下降与缩放律三条证据链解释其成因，明确了“加数据只能降方差”这一硬约束。方法上，给出了样本量阶梯、重复实验、间隙斜率/曲率/平台高度比的测量与判定协议，并强调所有阈值均为经验约定。工程上，给出了七步决策流程与五类常见误判的规避方法，把判据落到可执行的诊断动作上。

需要坦率承认的局限是：本文的判据是一维的（以样本量为自变量），在分布漂移、数据质量异质、合成数据等场景下需要扩展；阈值来自有限任务的工程经验，缺乏大规模系统性校准；对超大规模预训练场景，重复实验的成本可能不可接受，需要发展低成本替代方案。这些局限不削弱判据的实用价值，但划定了它的适用边界。

最后，笔者认为，数据投入决策的本质不是“够不够多”，而是“对不对路”。学习曲线判据能告诉我们“再加同类数据还有没有用”，但回答不了“换一类数据会不会更有用”。后者需要分布层面的诊断，是本文框架之外、但同样重要的下一步。

主要参考文献与资料