插值阈值之后：加数据还是缩模型？——双下降与容量区间的统一判据

摘要

现代过参数化网络普遍呈现“双下降”（double descent）现象：测试误差随模型容量先降、后升、再降，第二次下降发生在模型容量足以插值训练集之后。这一现象常被解读为“大模型更好”，与另一条工程经验“越过插值阈值后应优先增加数据、延长训练、加强正则化，而非缩小模型”形成表面冲突。本文的核心主张是：两条建议分别对应临界区间两侧的不同控制变量——在插值阈值之前，容量是主导变量；在阈值之后，数据量、正则化强度与优化时长共同决定模型落在“良性过参数化”区还是“无效过参数化”区。本文引入有效容量与任务内在维度的比值作为统一判据，给出四象限决策表、可执行的诊断步骤与实验协议，并讨论该框架在微调、蒸馏与数据受限场景下的边界条件。

目录

1. 问题的提出：两句流行建议的冲突现场

在模型选型评审会上，几乎一定会出现这样两句话。第一句来自工程侧：“我们已经过了插值阈值，训练集都能拟合到接近零误差了，这时候继续堆参数意义不大，应该优先加数据、延长训练、加正则化。”第二句来自研究侧：“双下降已经说明，更大的模型在插值之后测试误差会再次下降，所以‘大就是好’，不要急着缩模型。”两句都引用真实文献，却指向相反的动作。

这种冲突并非修辞问题。它直接影响预算分配：是把钱花在标注更多数据上，还是花在更大的模型与更长的训练上；也影响风险判断：缩模型可能损失性能，扩模型可能浪费算力且引入新的过拟合风险。本文认为，冲突的根源在于两句话省略了各自的前提条件——它们讨论的不是同一条曲线上的同一个点。

为了让讨论可落地，本文先给出一个贯穿全文的分析主线：任何一次容量决策，都应先定位当前模型在“有效容量—误差”曲线上的位置，再判断该位置的局部斜率由哪个变量主导。这条主线将把双下降、插值阈值、正则化、数据增广与训练时长统一到同一个坐标系里。

2. 概念澄清：插值阈值、有效容量与双下降的准确定义

2.1 插值阈值（interpolation threshold）

插值阈值指模型容量（通常以参数量、宽度或特征维度刻画）增长到刚好能够以零（或接近零）训练误差拟合训练集的临界点。在经典统计学习理论中，这个点附近是“危险区”：模型自由度与样本量相当，方差极大，测试误差往往达到峰值。Belkin 等人在 2019 年关于双下降的工作中，把这一峰值区域称为“临界区间”（critical regime），并指出它对应模型复杂度与样本量匹配的情形（Belkin et al., PNAS 2019）。

需要强调的是，插值阈值不是一个只由参数量决定的固定数值。它同时依赖样本量、标签噪声水平、优化算法与训练时长。同样的网络，在 1 万样本上可能远未达到阈值，在 100 万样本上可能已经深入过参数化区。因此，用“参数量”单独判断是否越过阈值，是工程上最常见的误判来源。

2.2 有效容量（effective capacity）

本文引入“有效容量”作为比参数量更贴近实际行为的度量。有效容量指模型在当前数据分布、优化配置与正则化强度下，实际能够利用的自由度。它可以通过若干可观测代理指标估计：训练集上达到的最终训练误差、损失曲面的局部秩（如 Hessian 的有效秩）、模型对随机标签的拟合能力、以及在分布外数据上的退化速度。

这一概念与 Maddox 等人提出的“有效维度”以及 Jiang 等人关于“容量度量与泛化相关性”的系统性研究一脉相承（Maddox et al., NeurIPS 2020；Jiang et al., ICLR 2020）。笔者认为，有效容量的价值在于它把“模型多大”与“模型实际用了多大”区分开来：一个被强正则化约束的大模型，其有效容量可能小于一个弱正则化的小模型。这正是两条建议能够共存的关键——它们讨论的“大”与“小”，在有效容量意义上可能并不冲突。

2.3 双下降（double descent）

双下降描述测试误差随模型容量变化的非单调曲线：先下降（欠参数化区），在插值阈值附近上升形成峰值（临界区），越过阈值后再次下降（过参数化区）。这一现象在核方法、随机特征模型、决策树与深度网络中均被观察到（Belkin et al., 2019；Nakkiran et al., ICLR 2020；d'Ascoli et al., AISTATS 2020）。Nakkiran 等人的“deep double descent”进一步表明，双下降不仅随参数量出现，也随训练轮数（epoch-wise double descent）与样本量出现。

3. 机制证据：双下降为什么发生，以及它到底证明了什么

3.1 从随机特征模型看临界区

双下降最干净的理论刻画来自线性回归与随机特征模型。考虑 N 个样本、d 维特征的线性最小二乘：当 d < N 时，解唯一，测试误差随 d 增加而下降；当 d = N 附近，设计矩阵接近奇异，最小范数解的方差爆炸，误差达到峰值；当 d > N 时，存在无穷多零训练误差解，最小范数解（即伪逆解）的方差反而随 d 增加而下降。这一推导在 Belkin 等人的工作中给出了闭式表达，其核心是伪逆解的方差项在 d = N 处发散、在 d > N 后按 1/(d−N) 量级回落。

本文评述：这个推导揭示了一个常被忽略的事实——过参数化区的“好”，依赖于隐式正则化选择了最小范数解。如果优化算法不偏向最小范数解（例如使用无正则的早停不当、或优化器偏好大范数解），过参数化区未必再次下降。换言之，双下降的第二次下降不是“参数多”本身带来的，而是“参数多 + 隐式偏好简单解”共同带来的。这一点对工程实践至关重要：它意味着扩模型必须配合能维持隐式正则化的训练配置，否则可能停在峰值附近。

3.2 标签噪声与样本量的作用

标签噪声会显著抬高临界区的峰值，并把插值阈值推向更大的容量。Nakkiran 等人在 CIFAR-10 上的实验显示，当标签随机化比例上升时，双下降的峰值更高、更宽（Nakkiran et al., ICLR 2020）。这意味着在噪声数据上，模型更容易落入临界区，此时“缩模型”确实可能比“扩模型”更安全——因为缩模型直接把工作点拉回峰值左侧的单调下降段。

样本量的作用方向相反：样本越多，插值阈值越靠右，临界区越窄，过参数化区越容易进入。这解释了为什么在大规模预训练场景中，“大模型更好”的经验更稳固——数据量把阈值推得很远，模型天然处于良性过参数化区。而在小样本微调场景中，同样的模型可能恰好落在临界区附近，此时“加数据”或“强正则化”的收益远高于“继续扩模型”。

3.3 双下降证明了什么、没证明什么

双下降确实证明了	双下降没有证明
测试误差随容量非单调，存在临界峰值	任意任务上“更大一定更好”
过参数化区存在再次下降的可行路径	过参数化区的性能与数据量无关
隐式正则化（最小范数偏好）是二次下降的关键	缩模型在过参数化区总是错的
临界区可以通过噪声、样本量、训练时长移动	双下降的峰值位置对所有任务一致

4. 统一判据：有效容量与任务内在维度的比值

4.1 为什么需要一个比值而不是绝对量

单独看有效容量无法判断模型是否“够大”，因为“够大”是相对于任务难度而言的。一个 10 万参数的有效容量，对线性可分任务是严重过参数化，对高维细粒度分类任务可能仍然不足。因此本文主张使用有效容量与任务内在维度的比值作为决策坐标。

任务内在维度（intrinsic dimension）指刻画该任务决策边界所需的最小自由度。它可以通过多种方式估计：主成分分析下的有效秩、数据流形的本征维度估计（如 Levina–Bickel 的 MLE 估计）、或迁移学习中“微调所需的最小参数子空间维度”。Aghajanyan 等人发现，预训练模型微调时的内在维度远小于参数量，且与任务难度相关（Aghajanyan et al., ACL 2021）。Li 等人关于“内在维度与泛化”的研究进一步表明，内在维度可以作为容量需求的代理（Li et al., ICLR 2018）。

4.2 比值 R 的三段式解读

定义 R = 有效容量 / 任务内在维度。根据双下降曲线的形状，R 可以划分为三个区间：

R 区间	含义	典型症状	优先动作
R < 1（欠参数化）	容量不足以刻画决策边界	训练误差与测试误差都高，且接近	扩容量、加特征、换更强骨干
R ≈ 1（临界区）	容量与任务匹配，方差主导	训练误差低、测试误差高且对种子敏感	加数据、强正则化、早停、集成
R > 1（良性过参数化）	容量充足，隐式正则化生效	训练误差接近零，测试误差稳定且较低	维持现状，边际收益转向数据质量与训练时长

本文评述：这个三段式划分的关键在于，它把“缩模型”和“加数据”放到了同一个决策空间里。缩模型是把 R 从 ≈1 拉向 <1，加数据是把 R 从 ≈1 拉向 >1。两者都能离开临界区，但代价不同：缩模型损失上限，加数据提升上限。因此选择哪一个，取决于你对“上限是否重要”的判断，而不是取决于双下降曲线本身。

4.3 比值的可操作估计

R 无法精确计算，但可以用一组代理指标做区间判断。本文建议的估计流程如下：

1. 估计有效容量：在固定训练配置下，记录训练集最终误差、验证集误差、以及模型对随机标签的拟合轮数（随机标签拟合越快，有效容量越大）。
2. 估计任务内在维度：对输入特征做 PCA，取解释 95% 方差所需的主成分数；或使用 Levina–Bickel MLE 估计数据流形维度；对微调任务，可用 LoRA 秩扫描找到性能饱和的最小秩。
3. 计算比值并做敏感性检查：用多个随机种子重复，观察验证误差的方差。方差大通常意味着接近临界区。
4. 做单变量干预：分别小幅增加数据、小幅增加正则化、小幅增加容量，看哪一个带来的验证误差下降最多。下降最多的方向就是当前主导变量。

5. 四象限决策表：不同容量区间的优先动作

把“是否越过插值阈值”与“R 是否大于 1”交叉，可以得到一个更细的四象限决策表。这张表是本文对两条建议冲突的直接回答：它们分别适用于不同的象限。

象限	状态描述	优先动作	应避免
I：未过阈值，R < 1	欠拟合，容量不足	扩容量、加特征、延长训练	盲目加正则化（会加重欠拟合）
II：未过阈值，R ≈ 1	接近临界，方差上升	加数据、加正则化、早停、集成	继续扩容量（会推入峰值）
III：已过阈值，R ≈ 1	过参数化但隐式正则化不足	加数据、加强正则化、调整优化器偏好	缩模型（会损失上限且未必离开峰值）
IV：已过阈值，R > 1	良性过参数化	维持容量，转向数据质量与训练时长	过度正则化（会削弱已获得的收益）

现在可以正面回答开头的冲突：“过了阈值优先加数据/加正则化”适用于象限 III；“双下降说明大模型更好”描述的是从象限 II 到象限 IV 的路径。两者不矛盾，因为它们说的是不同象限的动作。真正的错误是在象限 II 里引用象限 IV 的结论去扩模型，或在象限 IV 里引用象限 III 的建议去缩模型。

6. 诊断流程：五步判断你处在哪个区间

理论框架要落地，必须变成可执行的步骤。以下五步流程可以在一个工作日内完成，适用于大多数监督学习与微调任务。

第 1 步：建立容量—误差曲线

固定数据、优化器与训练轮数，只改变模型宽度或深度（至少 5 个容量点），记录训练误差与验证误差。如果验证误差呈 U 形，说明尚未越过阈值或刚好在阈值附近；如果呈双下降形，说明已经覆盖临界区；如果单调下降，说明全程处于欠参数化或良性过参数化的一侧。

# 容量扫描的伪代码（PyTorch 风格）
for width in [64, 128, 256, 512, 1024]:
    model = ResNet(width=width)
    train_err, val_err = train_and_eval(model, epochs=100, seed=0)
    log(width, train_err, val_err)
# 判读：val_err 的极小值位置与峰值位置决定当前区间

第 2 步：测量种子方差

用 5 个以上随机种子重复当前配置，计算验证误差的标准差。标准差相对均值超过 2%–3% 通常提示接近临界区。这一步比看单次结果可靠得多，因为临界区的标志就是高方差。

第 3 步：做三向单变量干预

在保持其他条件不变的前提下，分别做三组小实验：（a）数据量增加 20%；（b）权重衰减或 dropout 增强一档；（c）容量增加 20%。比较三组验证误差的下降幅度。下降最多者即当前主导变量。这一步直接给出行动建议，不需要先精确估计 R。

第 4 步：检查训练误差与测试误差的间隙

如果训练误差接近零而测试误差高，且增加数据能显著缩小间隙，说明处于象限 II 或 III，应优先加数据。如果训练误差本身还高，说明处于象限 I，应优先扩容量。如果训练误差接近零、测试误差低且稳定，说明处于象限 IV，应维持容量、优化数据质量。

第 5 步：用学习曲线确认数据边际收益

绘制验证误差随训练样本量变化的曲线。如果曲线仍在明显下降，说明数据边际收益高，加数据是正确方向；如果已经平台化，说明数据边际收益低，应转向容量或训练策略。学习曲线的平台位置是判断“加数据是否还值得”的直接证据。

7. 关键数据与案例：来自公开研究的可验证证据

7.1 样本量与模型规模的交叉实验

Kaplan 等人关于缩放律的工作表明，在固定计算预算下，模型规模与数据量需要协同扩展，单独扩大其中一项的收益会递减（Kaplan et al., 2020）。Hoffmann 等人随后在 Chinchilla 研究中给出更精确的比例：在给定计算预算下，参数量与训练 token 数应大致同比例增长，其结论是当时多数大模型“训练数据不足”（Hoffmann et al., NeurIPS 2022）。

本文评述：Chinchilla 的结论常被简化为“数据比模型更重要”，但这是一种误读。它真正说明的是：在过参数化区（象限 IV），数据的边际收益高于继续扩模型；而在欠参数化区（象限 I），扩模型仍然是主导动作。换句话说，Chinchilla 的比例是象限 IV 内部的资源分配建议，不能外推到所有区间。

7.2 标签噪声下的双下降

Nakkiran 等人在 CIFAR-10 上的实验显示，当标签随机化比例从 0% 增加到 20% 时，双下降的峰值显著抬高，且峰值位置向更大容量移动（Nakkiran et al., ICLR 2020）。这一结果对工程有直接含义：在噪声标注普遍存在的真实数据上，临界区更宽、更危险，因此“加数据（尤其是干净数据）”和“强正则化”的优先级应高于“扩模型”。

需要说明的是，上述实验使用的是公开的 CIFAR-10 数据集及其标准划分，标签随机化是在训练集上按比例替换为随机类别，测试集保持干净。这一预处理细节对复现很重要，因为如果测试集也被污染，双下降的形状会被掩盖。

7.3 预训练—微调场景的内在维度

Aghajanyan 等人在 ACL 2021 的工作中测量了多种下游任务在预训练模型上的内在维度，发现许多任务的内在维度只有数百到数千维，远小于模型参数量。这意味着在微调场景中，R 往往远大于 1，模型处于良性过参数化区。此时“缩模型”通常不是好选择，因为任务需要的容量远小于模型提供的容量，缩小模型不会改善泛化，反而可能损失预训练带来的表示质量。

本文评述：这一发现解释了为什么在微调场景中“加数据/加正则化”的建议更常成立——因为工作点天然在象限 IV。但它也提示一个边界：如果下游任务的内在维度很高（例如细粒度视觉分类或长尾检测），R 可能接近 1，此时微调也会落入临界区，需要重新评估容量策略。

7.4 数据增广作为隐式正则化

数据增广在双下降框架下可以被理解为“降低有效容量”的手段：它通过扩大训练分布的支撑，使模型难以靠记忆拟合，从而把插值阈值推向右方。RandAugment、MixUp、CutMix 等方法在多个基准上的稳定收益，与这一解释一致（Cubuk et al., CVPR 2020；Zhang et al., ICLR 2018）。

但增广并非无条件有益。当增广强度过大、与任务语义不符时，它会引入分布偏移，反而抬高测试误差。因此本文建议把增广强度作为与权重衰减并列的正则化旋钮，在单变量干预中一起测试，而不是默认开启最强增广。

8. 工程实践：数据、正则化与训练时长的边际收益排序

8.1 三类动作的成本结构不同

加数据、加正则化、延长训练，三者的成本结构差异很大。加数据通常需要标注成本，但收益可持续、可复用；加正则化几乎零成本，但收益有上限，过强会损害拟合能力；延长训练的成本是算力，收益在过参数化区可能持续很久，但也可能因过拟合而反转。工程决策应把这三类动作放在同一张边际收益表上比较，而不是按直觉排序。

动作	主要成本	收益上限	适用区间
加数据	标注/采集	高，可持续	II、III、IV
加正则化	调参时间	中，有上限	II、III
延长训练	算力	中高，但可能反转	I、IV
扩容量	算力+部署成本	高，但需配套数据	I

8.2 训练时长的双下降

Nakkiran 等人报告的 epoch-wise double descent 表明，即使模型容量固定，测试误差也可能随训练轮数先降、后升、再降。这意味着“训练更久”并不总是有益：如果模型恰好在中途进入临界区，早停反而更好。工程上应把训练轮数视为与容量并列的变量，用验证曲线确定停止点，而不是固定轮数。

本文评述：epoch-wise 双下降对“延长训练”这条建议构成了重要限定。它说明“训练更久”在过参数化区通常有益，但在临界区附近可能有害。因此“延长训练”应配合早停与验证监控，而不是无条件延长。

8.3 一个可复用的决策清单

9. 边界条件与反例：这套框架什么时候会失效

9.1 分布偏移场景

双下降的经典分析假设训练与测试同分布。在分布偏移场景下，过参数化区的“良性”可能不成立：更大的模型可能学到更多伪相关，导致分布外性能下降。Gulrajani 与 Lopez-Paz 的领域泛化基准显示，许多在域内表现更好的模型在域外并不更好（Gulrajani & Lopez-Paz, ICLR 2021）。因此本文框架在分布偏移场景下需要补充一项检查：分布外验证集上的容量—误差曲线是否仍呈双下降。

9.2 对抗鲁棒性场景

对抗鲁棒性与参数量的关系并不总是单调。部分研究表明，过参数化有助于鲁棒性，但也有研究指出鲁棒训练下的双下降形状与标准训练不同。本文框架不直接适用于对抗训练场景，需要单独标定。

9.3 数据受限与合成数据

当真实数据受限、依赖合成数据时，“加数据”的边际收益取决于合成数据与真实分布的匹配度。如果合成数据引入系统性偏差，加数据可能把模型推向更差的解。此时应优先评估数据质量，而非数量。本文建议在数据受限场景中把“数据质量干预”作为独立的第四类动作纳入决策表。

10. 前沿预判：从双下降到多下降与数据受限范式

10.1 多下降与更复杂的误差地形

近年研究开始报告“多下降”（multiple descent）现象：误差曲线可能出现多个峰谷，与数据规模、模型族、训练策略的交互有关。这类现象提示，把容量决策简化为“单峰双下降”可能过于乐观。工程上应保留容量扫描的习惯，而不是假设曲线形状已知。

10.2 数据受限下的容量策略

在高质量数据日益稀缺的背景下，容量策略正在从“扩模型”转向“提效”：参数高效微调、蒸馏、数据筛选与课程学习，都是在不增加有效容量的前提下提升性能的手段。这些方法与本文框架一致——它们本质上是在象限 IV 内部优化，而不是改变象限。

10.3 可解释的容量度量

Jiang 等人系统比较了数十种容量度量与泛化的相关性，发现多数度量在跨任务时相关性不稳定（Jiang et al., ICLR 2020）。这提示有效容量的估计仍需任务特定的标定。未来的方向可能是把容量度量与数据分布特征联合建模，而不是单独追求一个普适的容量指标。

11. 结论与可执行清单

回到开头的问题：两种建议在同一个任务里到底该怎么共存？本文的答案是——它们适用于不同的容量区间，而判断区间的关键不是“是否过了插值阈值”这一个二元标志，而是有效容量与任务内在维度的比值 R。R < 1 时扩容量，R ≈ 1 时加数据或强正则化，R > 1 时维持容量并优化数据质量与训练效率。双下降描述的是曲线形状，不直接给出局部动作；局部动作由边际收益决定。

拓展阅读与工具：

• Belkin et al., Reconciling modern machine learning practice and the classical bias–variance trade-off (PNAS 2019)
• Nakkiran et al., Deep Double Descent (ICLR 2020)
• Hoffmann et al., Training Compute-Optimal Large Language Models (NeurIPS 2022)
• PyTorch 官方教程（容量扫描与训练循环实现）
• 双下降主题公开讲座视频（YouTube）

主要参考文献