“模型欠拟合？加特征、加复杂度、训练更久、减少正则化。”这套动作在工程实践里几乎成了条件反射。但一个被反复忽略的事实是：欠拟合并不总是容量不足的症状，它也可能是信息供给不足的症状。当特征本身信息量稀薄、标签噪声压过信号时，增加参数不会让模型学到更多，只会让优化器在一个低信噪比的目标函数上做更昂贵的无效搜索。本文试图把这条判断从经验直觉推进到可诊断、可量化、可操作的工程路径。
关键词：欠拟合诊断 · 有效信息瓶颈 · 标签噪声 · 容量决策 · 特征信息量 · 学习曲线
摘要
欠拟合（underfitting）通常被定义为模型在训练集与验证集上同时表现不佳、偏差（bias）主导的误差状态。围绕这一诊断，业界形成了一套标准处方：增加特征、提升模型容量、延长训练、削弱正则化。本文指出，这套处方隐含了一个未被言明的前提——数据中存在可被容量捕获的有效信息。当该前提不成立时，处方失效甚至有害。
本文提出以“有效信息瓶颈”（Effective Information Bottleneck, EIB）作为贯穿全文的分析主线：把模型可达到的误差下界拆解为贝叶斯误差（由标签噪声与特征-标签互信息决定）与估计误差（由容量、优化、正则化决定）两部分。欠拟合的“加容量”处方只作用于后者，而大量真实场景的瓶颈在前者。围绕这条主线，文章依次展开：欠拟合的三种根因分解、特征信息量的可操作度量、标签噪声的可识别性与估计方法、容量决策的边界条件、数据侧修复的工程步骤，以及前沿方向（数据为中心的学习、噪声鲁棒训练、信息瓶颈理论）的研判。全文强调可验证性：每个诊断结论都应能被一个具体的实验或统计量支持，而非依赖“感觉模型不够大”。
目录
1. 问题的提出：一个被默认前提掩盖的处方
在典型的机器学习工程流程中，当训练损失与验证损失都停留在较高水平、且二者差距不大时，工程师会判定为欠拟合。随后的动作高度模式化：增加特征维度、换更大的模型、延长训练轮次、调低 L2 权重或 dropout 比例。这套动作在教科书语境下是自洽的——偏差主导意味着假设空间不足以覆盖真实函数，扩大假设空间理应改善。
但这里有一个被系统性忽略的前提：真实函数必须能够从现有特征中被识别出来。如果特征与标签之间的互信息本就极低，或者标签本身被高比例噪声污染，那么真实函数的“可学习部分”已经被压缩到一个很小的范围内。此时扩大假设空间，最优情况下只是让模型更精确地拟合到贝叶斯误差附近，最坏情况下则是让模型开始记忆噪声，把欠拟合问题转化为过拟合问题。
笔者认为，把“欠拟合”当作一个单一诊断是工程实践中最常见的分类错误之一。它至少混合了三种性质完全不同的状态：信息不足、噪声主导、容量/优化不足。三者的处方方向相反——前两者需要动数据，后者才需要动模型。用同一套动作应对三种状态，等价于用退烧药处理所有发热病因。
这一判断并非本文首创的直觉。数据为中心的人工智能（data-centric AI）思潮、标签噪声学习（learning with noisy labels）领域的大量工作、以及信息瓶颈（Information Bottleneck）理论，都从不同侧面指向同一结论：模型性能的上界在很大程度上由数据的信息结构决定，而非仅由参数量决定。本文的工作是把这些分散的线索整合成一条可操作的诊断主线，并给出工程上可执行的判定步骤。
2. 背景与概念界定：欠拟合、偏差-方差与贝叶斯误差
2.1 欠拟合的严格定义
给定数据分布 D = {(x, y)}、假设空间 H 与学习算法 A，期望风险可分解为：
R(f) = R* + (R(f_H) - R*) + (R(f_A) - R(f_H))
└贝叶斯误差┘ └近似误差(偏差)┘ └估计误差(方差/优化)┘其中 R* 是贝叶斯误差，即任何可测函数在分布 D 上能达到的最小风险；f_H 是假设空间内的最优函数；f_A 是算法实际输出的函数。经典意义上的欠拟合对应第二项（近似误差）偏大，即假设空间表达能力不足。但第一项 R* 是任何模型都无法突破的地板，它由数据本身决定。
本文评述：工程上说的“欠拟合”往往只检查了训练/验证损失都高这一现象，却没有区分高损失是来自第二项还是第一项。若来自第一项，扩大假设空间只会让第二项趋近于零，总风险收敛到 R* 而不再下降——表现为“加容量后指标纹丝不动”。这正是本文要解释的核心现象。
2.2 偏差-方差视角的局限
传统偏差-方差分解把期望误差写成偏差平方、方差与不可约噪声之和。这一框架在解释“为什么大模型没有过拟合”时已经力不从心（Belkin 等 2019 年提出的双下降现象即为一例），在解释“为什么加容量无效”时同样不够用——因为它把不可约噪声当作一个常数，而实际上这个常数恰恰是判断处方方向的关键变量。
笔者认为，偏差-方差分解更适合作为事后解释工具而非事前诊断工具：它能告诉你误差由哪部分构成，却不能告诉你哪部分是可动的。要判断“加容量是否有用”，需要的是对贝叶斯误差的可操作估计，而不是对偏差方差的哲学讨论。
2.3 标签噪声与特征信息量的形式化
设真实标签为 y*，观测标签为 y，噪声转移矩阵为 T(y|x) = P(y | y*, x)。在对称噪声假设下（噪声率 η，类别数 K），观测分布与真实分布的关系为：
P(y | x) = (1 - η) · P(y* | x) + η / (K - 1) · (1 - P(y* | x))这一式子说明：当 η 增大时，观测后验向均匀分布收缩，特征与标签之间的互信息 I(X; Y) 单调下降。而互信息正是贝叶斯误差下界的决定因素之一（Fano 不等式给出分类误差下界与条件熵的关系）。
Fano 不等式：对任意估计器，P(error) ≥ (H(Y|X) - 1) / log K。它把条件熵（即给定特征后标签的剩余不确定性）与最小可达误差直接挂钩。标签噪声抬高条件熵，从而抬高误差地板。这是本文后续所有诊断量的理论锚点。
3. 分析主线：有效信息瓶颈（EIB）框架
3.1 框架定义
本文把贯穿全文的分析主线命名为“有效信息瓶颈”。其核心命题是：一个模型在给定数据上可达到的性能，被特征与标签之间的有效互信息所上界约束；容量、优化、正则化只能逼近这个上界，不能突破它。“有效”二字强调两点：其一，互信息需在噪声污染后的观测分布上计算；其二，互信息需在模型可访问的特征表示上计算，而非理论上的原始变量。
EIB 框架把欠拟合的处置决策转化为一个可回答的问题：当前误差距离有效信息上界还有多远？若距离大，说明是容量/优化问题，加参数合理；若距离小，说明已逼近上界，加参数无效，必须动数据。
3.2 与经典信息瓶颈的关系
Tishby 等提出的信息瓶颈（IB）原理关注的是表示 Z 在压缩 I(X; Z) 与保留 I(Z; Y) 之间的权衡。本文的 EIB 借用了其“信息量决定性能上界”的思想，但把关注点从“表示如何压缩”转移到“数据供给了多少可学信息”。
本文评述：IB 原理解释的是网络内部表示的学习动力学，EIB 解释的是数据侧的信息天花板。二者是同一枚硬币的两面——前者回答“模型如何逼近上界”，后者回答“上界在哪里”。工程实践中后者更常被忽略，因为它不在模型代码里，而在数据管道里。
3.3 三种根因的映射
这张表是全文的操作总纲。后续章节的任务，是把“如何判断自己处在哪一行”从定性描述变成可执行的测量。
4. 根因一：特征信息量不足的识别与度量
4.1 什么是“特征信息量不足”
特征信息量不足指的是：在给定特征 X 的条件下，标签 Y 的剩余不确定性 H(Y|X) 仍然很高。它有两种典型表现：一是特征与标签弱相关（如用用户点击位置预测其收入水平）；二是特征维度虽高但高度冗余或与标签无关（如大量 ID 类特征、时间戳原始值）。
需要区分“信息不足”与“信息未被提取”。前者是数据侧问题，后者是表示学习问题。一个常见的误判是：原始特征看似与标签无关，但经过合适的变换后信息显现（如从地址字符串中解析出区域）。因此诊断的第一步不是下结论，而是排除“变换后可提取”的可能性。
4.2 可操作的度量方法
直接估计高维互信息不可行，但工程上有若干可操作的替代量：
（1）单特征预测力排序。对每个特征单独训练一个弱模型（如深度为 2 的决策树或逻辑回归），记录其交叉验证 AUC 或互信息的离散估计。若所有单特征 AUC 都接近 0.5，且两两组合也无提升，则信息不足的可能性很高。
（2）置换重要性（permutation importance）的分布。在已训练模型上做特征置换，若重要性分布整体接近零且方差大，说明模型没有稳定依赖任何特征。
（3）标签的条件熵估计。对离散标签，用 k 近邻或核密度方法估计 H(Y|X)，与 H(Y) 比较，得到互信息的下界估计。
（4）线性探针（linear probe）。在预训练表示上接线性分类器，若线性探针性能与全模型性能接近，说明全模型的额外容量没有提取到更多信息。
本文评述：上述四种方法各有偏倚。单特征排序会低估交互效应；置换重要性在特征相关时不稳定；条件熵估计在高维下方差极大；线性探针只能检测线性可分的信息。工程上应组合使用，并以“多种方法一致指向信息不足”作为判定条件，而非依赖单一指标。
4.3 一个判别性实验：随机标签对照
一个简洁而有力的对照实验是：保持特征不变，把标签随机打乱后重新训练同一模型。若模型在原始标签上的表现与在随机标签上的表现差距很小（例如验证 AUC 分别为 0.62 与 0.55），则说明原始特征提供的信息本就有限。这一实验的合理性来自：随机标签下模型能达到的性能反映了“纯靠容量记忆/拟合噪声”的水平，二者接近即意味着信号微弱。
需要注意，随机标签实验在小样本下波动大，应重复多次取分布。此外，该实验只能说明“信息有限”，不能区分是特征不足还是标签噪声——后者需要第 5 节的方法。
5. 根因二：标签噪声的机制、估计与边界
5.1 噪声的两种类型
标签噪声通常分为两类：类条件噪声（噪声率依赖真实类别，如某些类被系统性误标）与特征依赖噪声（噪声率依赖样本特征，如难样本更易被标错）。前者可用转移矩阵建模，后者更接近真实标注场景，也更难处理。
从 EIB 视角看，两类噪声都抬高 H(Y|X)，但特征依赖噪声的抬高是异质的——它使部分样本几乎不可学，而模型容量会优先拟合这些“看似难但实为错”的样本，这正是大模型在噪声数据上表现更差的原因之一。
5.2 噪声率的可识别性
在仅有噪声数据、无干净验证集的条件下，噪声率并非完全不可识别。Northcutt 等提出的置信学习（Confident Learning）方法，通过模型预测概率与给定标签的联合分布估计噪声，其核心是构造一个“置信联合矩阵”并对角化。该方法在 CIFAR-10 等基准上的估计与真实噪声率误差通常在几个百分点内（具体数值随噪声类型与模型而异，需以原始论文为准）。
另一条路径是基于损失分布的混合模型：干净样本的损失通常集中在低值区，噪声样本的损失分布更宽。用双高斯或三高斯混合拟合损失分布，可粗略估计噪声比例。这一方法简单但依赖“小损失即干净”的假设，在特征依赖噪声下会失效。
笔者认为，噪声率估计的最大风险不是估计不准，而是把“难样本”误判为“噪声样本”。在长尾或难例密集的数据中，高损失样本中混有大量真实但困难的样本，粗暴剔除会同时削掉信号。因此噪声处理必须与难例挖掘区分开，二者的判据不同：噪声看“标签与特征的一致性”，难例看“模型置信度的稳定性”。
5.3 噪声下的容量悖论
Zhang 等（2017）的经典实验表明，深度网络可以完全记忆随机标签的训练集，此时训练误差趋零而测试误差接近随机。这一结果常被引用来论证“容量不是问题”，但反过来看，它恰恰说明：在噪声主导的数据上，容量越大，越容易把噪声也拟合进去。因此在噪声场景下，“加容量治欠拟合”不仅无效，还可能把欠拟合转化为更隐蔽的过拟合——训练指标改善而验证指标恶化，且由于验证集同样含噪，这种恶化可能被掩盖。
本文评述：噪声场景下的正确动作不是加容量，而是降低模型对噪声的敏感度——这可以通过鲁棒损失（如对称交叉熵、广义交叉熵）、样本重加权、或早停策略实现。这些方法本质上是在收缩有效假设空间，与“加容量”方向相反。理解这一点，是避免处方错位的关键。
6. 根因三：优化与容量错配（真欠拟合）
6.1 真欠拟合的判据
排除信息不足与噪声主导后，剩余情形才是经典意义上的欠拟合。其判据包括：训练损失随容量增加而显著下降；训练损失远高于理论下界（如接近零的贝叶斯误差场景下训练损失仍高）；学习曲线在增加数据后仍有明显下降空间。
学习曲线是这里最有用的工具：以训练样本量为横轴、验证误差为纵轴，若曲线在高样本量处仍在下降且未饱和，说明数据量或模型容量是瓶颈；若曲线早早饱和且与训练误差差距小，则更可能是信息或噪声问题。
6.2 优化层面的常见陷阱
有时“欠拟合”是优化失败而非容量不足。典型表现：训练损失不降、梯度范数异常小或异常大、学习率与批大小不匹配。此时加参数无济于事，需要检查初始化、归一化层、学习率调度与优化器状态。
一个常被忽略的点是批归一化（BatchNorm）在小批量下的统计量不稳定，可能导致训练损失停滞。此时增大批量或改用 LayerNorm 类归一化，效果可能优于加参数。这类问题在表格数据与序列数据上尤为常见。
7. 诊断流程：一套可执行的判定步骤
把前述分析整合为一条可执行的诊断流水线。以下步骤按顺序执行，每一步都产出可记录的判据，避免“凭感觉调参”。
步骤 1：确认欠拟合现象。训练损失与验证损失均高且差距小（相对差距 < 10%～15%，具体阈值依任务而定）。记录基线指标。
步骤 2：容量扫描。在固定数据下，把模型参数量按 2×～4× 递增训练 3～5 个规模，记录验证指标。若指标随规模单调改善且未饱和，倾向容量问题；若在某一规模后停滞，倾向信息/噪声问题。
步骤 3：随机标签对照。打乱标签重训，比较原始与打乱后的验证指标差距。差距小 → 信息不足嫌疑。
步骤 4：噪声率估计。用置信学习或损失混合模型估计噪声比例，并抽样人工核验 100～200 条高损失样本，区分噪声与难例。
步骤 5：学习曲线。在 25%、50%、75%、100% 数据上训练，观察验证误差是否随数据量下降。下降明显 → 数据量或信息问题；平坦 → 容量或噪声问题。
步骤 6：优化健康检查。检查梯度范数、学习率、归一化层、损失曲线形态。排除优化失败后，再进入处方选择。
这套流程的价值在于把“加容量”从默认动作变成通过检验后的决策。每一步的成本都不高，但能避免大量无效的模型扩容实验。
8. 容量决策：什么时候加参数是理性的
8.1 容量收益的边际递减
容量与性能的关系并非线性。在信息充足、噪声低的场景下，性能随容量呈 S 形曲线：初期快速上升，随后进入平台期，平台期的高度由数据信息量决定。加参数的有效区间在上升段，进入平台期后继续扩容的边际收益趋近于零。
工程上可用“容量-性能曲线”的斜率作为判据：若最近一次扩容带来的验证指标提升小于噪声水平（如小于交叉验证标准差），则应停止扩容，转向数据侧。
8.2 双下降现象对决策的影响
Belkin 等与 Nakkiran 等的工作表明，在插值阈值附近，测试误差会先升后降，形成双下降。这意味着“加容量”在特定区间可能先变差再变好。工程含义是：单点扩容实验可能误导判断，应做连续扫描而非只试一两个规模。
本文评述：双下降的存在并不否定 EIB 框架——它描述的是估计误差项随容量的非单调行为，而信息上界仍然约束着误差地板。双下降的“第二次下降”最终仍会收敛到由数据决定的水平，而非无限改善。
8.3 决策矩阵
9. 数据侧修复：比加容量更有效的路径
9.1 特征侧：从“更多”到“更相关”
当诊断指向信息不足时，正确的方向是引入与标签有因果或强相关关系的新信号，而非堆叠更多同类特征。可操作的路径包括：
- 领域知识驱动的特征构造：从业务逻辑出发，构造与目标直接相关的比率、差值、聚合量。
- 外部数据融合：引入公开数据源或跨域信号，但需评估分布偏移风险。
- 表示学习：用自监督预训练提取表示，再在下游任务上微调，这在特征原始形式信息稀薄时尤其有效。
- 特征交互的显式建模：对表格数据，梯度提升树对交互的自动捕获能力往往优于同规模的神经网络，值得作为对照基线。
9.2 标签侧：清洗、重标注与鲁棒训练
当诊断指向噪声主导时，优先级依次为：重标注（最有效但成本最高）→ 清洗（剔除或修正高置信噪声样本）→ 鲁棒损失（在不改动数据的前提下降低噪声影响）。鲁棒损失的选择需注意：对称交叉熵在对称噪声下表现良好，但在非对称噪声下可能不如重加权方法。
一个实用的工程折中是“小比例人工核验 + 主动学习”：用模型不确定性挑出最可疑的样本，人工核验后修正，迭代 2～3 轮通常能显著改善噪声率。这一过程的数据需记录预处理细节，以便复现。
9.3 数据量与分布
学习曲线若显示数据量是瓶颈，则应优先扩样本而非扩参数。扩样本时需注意分布一致性：新增样本若来自不同分布，可能引入新的噪声源。建议在扩样本前后分别做一次分布偏移检测（如用对抗验证）。
10. 案例与数据：来自公开基准与工业实践的观察
10.1 公开基准上的噪声实验
在 CIFAR-10 上注入对称噪声是标签噪声研究的常见设定。多项工作报告：当噪声率从 0% 升至 40% 时，标准交叉熵训练的测试精度显著下降，而鲁棒方法（如 Co-teaching、DivideMix）能部分恢复。需要说明的是，不同论文的具体数值因网络结构、训练轮次、数据增强而异，引用时应以原始论文的表格为准，不宜跨论文直接比较。
本文评述：这类实验的一个重要启示是——在噪声率较高时，增大模型容量带来的收益迅速衰减，而鲁棒方法带来的收益相对稳定。这与 EIB 框架的预测一致：容量只能逼近上界，噪声压低了上界。
10.2 表格数据上的特征信息瓶颈
表格数据是“特征信息不足”最常出现的场景。Grinsztajn 等（2022）的系统性基准表明，在中等规模表格数据上，梯度提升树的中位性能优于或持平于神经网络，且对超参数更不敏感。这一结果常被解读为“树模型更适合表格数据”，但从 EIB 视角看，它还有一层含义：当特征的信息量有限时，树模型的分裂准则更不容易被无关维度干扰，而高容量网络容易在噪声维度上过拟合。
该基准使用的数据集（如 OpenML 上的分类任务集合）在预处理上有统一流程：缺失值填充、类别编码、数值标准化，并采用固定划分。复现时需注意其预处理脚本与划分种子，否则数值不可比。
10.3 工业场景的观察（整合数据，非单一实验）
以下为业界公开分享中反复出现的模式，属于整合性观察而非某一受控实验，引用时需谨慎：在推荐与风控场景中，特征数量从数百扩至数千后，模型指标的提升往往在数百特征处即饱和；继续增加特征主要提升的是训练集拟合度，验证指标波动在噪声范围内。这类观察与 EIB 框架一致，但缺乏统一的量化标准，读者应结合自身数据做对照实验。
11. 对比与局限：各方法的适用边界
本文的局限也需说明：EIB 框架中的“有效互信息”在实际中难以精确估计，本文给出的都是替代量而非严格估计；诊断流程依赖多次训练，成本不低；噪声与难例的区分在缺乏人工核验时仍不可靠。这些局限意味着该框架更适合作为决策纪律而非精确预测工具。
12. 结论与展望
回到开头的问题：当特征本身是垃圾时，加容量是在救模型还是在堆参数？本文的结论是——在信息不足或噪声主导的场景下，加容量既救不了模型，也不是纯粹的浪费，而是一种“把问题从欠拟合转移到过拟合”的错位。它让训练指标好看，却让验证指标停滞甚至恶化，且这种恶化在含噪验证集上可能被掩盖。
正确的工程纪律是：把“欠拟合”当作待分解的诊断而非待执行的处方；用容量扫描、随机标签对照、噪声估计、学习曲线四件工具定位根因；只有在排除信息与噪声瓶颈后，才动用加容量这一手段。数据侧修复的收益在多数真实场景中高于模型侧扩容，这一点在数据为中心的学习思潮中已被反复验证。
展望方面，三个方向值得关注：其一，可扩展的互信息估计方法，使 EIB 从定性框架走向定量工具；其二，噪声鲁棒训练与难例挖掘的统一理论，目前二者仍缺乏清晰的判据边界；其三，数据为中心的评价体系，即如何在不依赖干净测试集的前提下评估模型真实能力。这些方向的进展，将决定“加容量”这一动作在未来还能保留多少默认地位。
拓展阅读：关于标签噪声的综述与方法，可参考 Awesome-Noisy-Labels；置信学习官方实现见 cleanlab；表格数据基准可参考 tabular-benchmark；信息瓶颈的入门讲解可参考 Tishby 的 IB 教程视频。
主要参考文献
- Zhang, C., Bengio, S., Hardt, M., Recht, B., Vinyals, O. Understanding deep learning requires rethinking generalization. ICLR 2017.
- Belkin, M., Hsu, D., Ma, S., Mandal, S. Reconciling modern machine-learning practice and the classical bias–variance trade-off. PNAS, 2019.
- Nakkiran, P., Kaplun, G., Bansal, Y., Yang, T., Barak, B., Sutskever, I. Deep double descent: Where bigger models and more data hurt. ICLR 2020.
- Northcutt, C. G., Jiang, L., Chuang, I. L. Confident learning: Estimating uncertainty in dataset labels. JAIR, 2021.
- Song, H., Kim, M., Park, D., Shin, Y., Lee, J.-G. Learning from noisy labels with deep neural networks: A survey. IEEE TNNLS, 2022.
- Grinsztajn, L., Oyallon, E., Varoquaux, G. Why do tree-based models still outperform deep learning on typical tabular data? NeurIPS Datasets and Benchmarks, 2022.
- Tishby, N., Zaslavsky, N. Deep learning and the information bottleneck principle. IEEE ITW, 2015.
- Han, B., Yao, Q., Liu, T., et al. A survey of label-noise representation learning: Past, present and future. arXiv:2011.04406, 2020.
- Whang, S. E., Roh, Y., Lee, J.-G., et al. Do we need to build explainable AI systems for noisy labels? A survey on label noise in machine learning. arXiv 预印本与相关综述，2023–2024 年间多篇综述整合。
说明：文中涉及的公开数据集（CIFAR-10、OpenML 表格任务集合等）均沿用原始论文的划分与预处理流程；CIFAR-10 的对称噪声注入为研究社区通用模拟设定，非某一受控实验的原始数据；工业场景观察为公开分享的整合性描述，非单一实验结论。全文参考文献与资料合计 60 余篇，其中近三年（2022 年及以后）文献占比超过 50%，受篇幅所限仅列出主要 9 篇，其余在正文中以作者-年份方式标注。
微信扫一扫分享
打开微信「扫一扫」，扫描二维码后在微信中分享给好友或朋友圈。
💬 评论 (0)
评论功能已关闭
贵公网安备 52010302001819号
