深度集成靠随机种子制造多样性，成员收敛到相似解，认知不确定性被系统性低估80%？

一、问题定义：两种不确定性与“方差即认知”的隐含假设

1.1 认知不确定性与偶然不确定性的边界

在概率建模语境下，预测分布 p(y|x) 的不确定性可分解为两项：偶然不确定性（aleatoric）源于数据生成过程本身的噪声，即便拥有无限数据也无法消除；认知不确定性（epistemic）源于模型对真实映射的无知，理论上可随数据增加而收敛。Kendall 与 Gal 在 2017 年的工作把两者统一进异方差回归与分类框架，这一分解此后成为不确定性估计的标准语言。

本文评述：这一分解在数学上清晰，但在有限数据、有限算力的工程现实中，“可随数据增加而收敛”只是渐近性质。深度集成用成员间方差近似认知项，隐含假设是“成员差异反映了模型对映射的分歧”。若成员差异主要来自优化轨迹的随机性而非假设空间的不同区域，该近似就会失真。这正是本文要追问的核心。

1.2 方差分解的经典形式

对回归任务，若把集成视为对预测分布的均匀混合，总方差可写为：

Var[y|x] = E_θ[Var(y|x,θ)] + Var_θ[E(y|x,θ)]
           = 偶然项(aleatoric)   + 认知项(epistemic)

第一项是各成员自身预测方差的平均，第二项是成员均值之间的方差。深度集成通常把第二项直接当作认知不确定性输出。问题在于：当所有成员在同一训练集上以相近超参训练至收敛，第二项会随训练轮次单调收缩，而真实认知不确定性并不会以同样速度下降。

关键区分：成员间“参数差异”不等于“函数差异”，函数差异也不等于“认知分歧”。三者之间存在两级衰减，随机种子只保证第一级。

二、多样性解剖：随机种子究竟贡献了什么

2.1 随机性的三个入口

标准深度集成的随机性来自三处：参数初始化、训练样本的随机打乱与增强、以及 dropout 等随机正则。三者共同决定优化轨迹，但都不改变数据分布本身。Lakshminarayanan 等 2017 年提出深度集成时，明确将其定位为“对模型不确定性的非贝叶斯近似”，并强调成员应独立训练。本文评述：独立训练保证的是轨迹独立，而非假设独立；在过参数化网络中，不同轨迹常被同一损失盆地吸引。

Fort 等 2019 年的研究从理论上指出，深度集成可视为对神经网络函数空间的一种高斯过程近似，其有效性依赖成员在函数空间的分散程度。若分散不足，集成的预测方差会低估真实后验方差。这一结论为“种子多样性不足”提供了理论注脚。

2.2 有效多样性：从参数距离到函数距离

工程上常用参数余弦距离或权重范数差衡量成员差异，但这些指标与预测行为的相关性很弱。更可靠的度量是函数空间距离，例如在验证集上计算成员预测的成对 KL 散度、预测相关系数，或使用表示空间上的 CKA（Centered Kernel Alignment）相似度。下表汇总了常用度量及其适用边界（本文整理，非单一文献数据）：

笔者认为，工程上最实用的组合是“预测相关系数 + 有效集成规模”双指标：前者判断成员是否退化，后者判断集成是否真的带来方差增益。二者都可在验证集上低成本计算，适合纳入训练流水线的常规监控。

2.3 收敛到相似解的机制

过参数化网络的损失面存在大量近似等价的解，随机初始化只决定落入哪个盆地，而不同盆地在测试分布上的预测往往高度一致。此外，早停、学习率衰减与权重衰减会进一步把成员拉向损失面的低曲率区域，压缩函数差异。这一现象与“模式连通性”（mode connectivity）研究相互印证：不同随机种子得到的解常可由低损失路径相连。

本文评述：这意味着“多训几个模型取平均”带来的方差增益，在训练后期会快速饱和。若集成规模从 5 增至 20 而预测方差几乎不变，说明有效集成规模远小于名义规模，认知不确定性已被压缩。工程上应把“成员预测相关性”作为早停或再训练触发条件，而非盲目堆叠成员数量。

三、低估的量化：从有效集成规模到校准误差

3.1 有效集成规模的定义与估算

若成员预测两两相关系数为 ρ，名义规模为 M，则集成均值的方差相对单模型的收缩因子近似为：

M_eff ≈ M / (1 + (M - 1) · ρ)

当 ρ→1 时 M_eff→1，集成退化为单模型；当 ρ=0 时 M_eff=M。该式是经典的有效样本量近似，本文借用其形式描述集成方差收缩，属工程近似而非严格定理。模拟数据（本文构造，非真实实验）：设 M=10、成员预测相关系数 ρ=0.9，则 M_eff≈1.1，即十个成员的信息量约等于一个多一点。若 ρ=0.95，M_eff≈1.05。这解释了为何成员数翻倍而方差几乎不动。

“低估 80%”不是普适常数，而是对“名义规模远大于有效规模”这一现象的概括性描述。具体幅度取决于任务、模型容量与训练策略，必须逐案测量，不能直接引用。

3.2 校准误差与选择性预测

认知不确定性被低估的直接后果是校准变差：模型在分布外样本上给出过高的置信度。Guo 等 2017 年的经典工作表明，现代深度网络普遍存在过度自信，温度缩放是简单有效的后处理手段。对集成而言，成员相关性越高，集成预测越接近单模型，温度缩放能缓解但无法恢复已丢失的方差信息。

在选择性预测（selective prediction）场景中，低估的代价更直接：按不确定性排序拒绝样本时，若认知项被压缩，拒绝阈值会失效，风险-覆盖率曲线劣化。工程上应同时报告 ECE（期望校准误差）、NLL 与风险-覆盖率曲线，而非只看准确率。相关评测工具可参考 Uncertainty Baselines 与 Torch-Uncertainty 两个开源库的实现。

3.3 分布外检测中的表现差异

分布外（OOD）检测是认知不确定性的典型下游任务。Ovadia 等 2019 年的大规模基准发现，深度集成在多数 OOD 数据集上表现稳健，但优势随成员相关性上升而收窄。本文评述：该基准的价值在于揭示了“集成并非万能”，其收益高度依赖成员分散度与数据移位类型。对近分布移位，集成优势明显；对远分布移位，成员可能一致地错，方差项无法提供有效信号。

因此，评估认知不确定性不能只看单一 OOD 指标，应区分近移位与远移位、协变量移位与概念移位，并报告成员间预测一致性作为辅助诊断。若某类 OOD 上成员一致性异常高而错误率也高，基本可判定为“集体盲区”，需引入外部知识或结构化先验。

四、可操作路径：诊断、修正与工程落地

4.1 三步诊断流程

第一步，收集成员在验证集与 OOD 集上的预测，计算成对相关系数矩阵与 M_eff 估计；第二步，绘制风险-覆盖率曲线与可靠性图，定位校准失效区间；第三步，比较不同训练轮次下的成员相关性，判断方差是否已饱和。三步均可在现有训练脚本上以少量代码完成，无需改动模型结构。

# 伪代码：成员相关性诊断（示意，非可运行实现）
preds = stack([m.predict(X_val) for m in members])   # [M, N, C]
corr  = pairwise_corr(preds)                          # [M, M]
rho   = mean_offdiag(corr)
m_eff = M / (1 + (M - 1) * rho)
print(f"rho={rho:.3f}, M_eff={m_eff:.2f} / {M}")

4.2 提升有效多样性的四条路线

路线一，数据层面的差异化：对每个成员使用不同的数据子采样、增强策略或类别重加权，使成员见到不同的经验风险。路线二，训练轨迹采样：不取最终收敛点，而在训练轨迹上多点采样或使用快照集成，保留优化过程中的函数差异。路线三，子空间集成：在随机低维子空间内训练成员，强制参数探索不同方向。路线四，显式多样性正则：在损失中加入成员间预测散度惩罚，直接优化函数空间分散度。

笔者认为，四条路线中“轨迹采样 + 数据差异化”性价比最高，几乎不增加训练成本；子空间集成对超参敏感，适合研究场景；显式正则需谨慎设计权重，否则会牺牲单模型精度。工程落地建议先做诊断，再按成本从低到高逐条尝试，避免一次性引入过多变量导致归因困难。

4.3 与贝叶斯近似方法的关系

MC Dropout、变分推断与 Laplace 近似是另一类认知不确定性估计路线。Izmailov 等 2021 年的工作指出，深度集成与 Laplace 近似在函数空间上可视为对同一后验的不同近似，二者结合（如子空间 Laplace 集成）能改善校准。本文评述：这些方法各有假设，没有普适最优；选择应基于任务对校准、OOD 检测与计算预算的具体权衡。对延迟敏感的在线系统，单模型加轻量后处理往往比大集成更现实。

拓展阅读可参考 Izmailov 等关于子空间推断的论文 与 不确定性估计公开讲座，前者给出理论联系，后者适合快速建立直觉。

4.4 数据集与预处理说明

本文讨论涉及的常用基准包括 CIFAR-10/100、ImageNet 及其 OOD 变体（如 CIFAR-10 vs SVHN、ImageNet vs ImageNet-O）。标准预处理为：训练集随机裁剪与水平翻转，测试集中心裁剪，按训练集统计量做通道归一化。OOD 评估时，OOD 集不参与任何训练或超参选择，仅用于最终评测，以避免信息泄漏。若使用模拟数据，文中已明确标注“模拟数据”，不作为实证结论依据。

五、结论与展望

深度集成的多样性主要来自优化轨迹的随机性，而非假设空间的结构性差异。成员在训练后期收敛到功能相似的解，导致有效集成规模远小于名义规模，认知不确定性被系统性压缩。本文给出的诊断流程——成员相关性、M_eff 估计、校准与风险-覆盖率评估——可在不改模型的前提下快速定位问题。

修正路径应按成本递增推进：先做数据差异化与轨迹采样，再考虑子空间集成与显式多样性正则，最后结合 Laplace 等后验近似。展望未来，笔者认为两个方向值得关注：一是把“有效多样性”纳入训练目标，使集成在训练中主动维持函数分散；二是发展面向部署的不确定性监控，把成员一致性与校准漂移作为线上告警信号，而非仅在离线评测中关注。