大数据-训练/测试集：用GroupKFold做交叉验证时，每一折的测试组不同，不同折之间的分数方差巨大，最终报告的“平均分±标准差”到底该怎么解读，方差大说明模型不稳定还是说明分组本身异质性太强？

一、问题的提出：一个被误读的标准差

先还原一个几乎每个做分组数据建模的人都遇到过的场景。你有一份数据，样本按"患者 ID"或"设备 ID"聚成若干组，组数几十到几千不等。为了不让同一组的数据同时出现在训练集和测试集里造成信息泄漏，你用了 GroupKFold(n_splits=5)。跑完五折，你得到五个分数，比如 0.81、0.62、0.88、0.55、0.79。均值 0.73，标准差 0.14。于是你在报告里写下"0.73 ± 0.14"，然后在讨论区补一句"模型稳定性有待提升"。

这个动作里至少藏着三个可疑之处。第一，0.14 这个数字到底在估计什么？它是对"如果换一批组做测试，分数会怎么波动"的估计吗？如果是，那它的抽样单位是"组"而不是"样本"，五个折只给了你五个观测，用它估计标准差本身就极不稳定。第二，把方差大归因为"模型不稳定"，是一个未经检验的因果假设——完全可能是这五折的测试组本身难度差异巨大，模型其实很稳，只是考卷难度不一。第三，五折的划分是随机的（或按组大小贪心分配的），换一个随机种子，这五个数字会变成另一组，标准差可能从 0.14 变成 0.06 或 0.20。

一个容易被忽略的事实：在分组交叉验证中，"折"不是独立同分布的抽样单位，折与折之间的差异既包含模型误差，也包含组的构成差异。把两者混在一个标准差里，就像把"考试难度"和"学生水平"混在一个分数里。

笔者认为，这个问题的正确提法不是"方差大说明什么"，而是"方差里有多少比例来自分组异质性，多少比例来自模型本身"。这是一个可以量化、可以检验、可以写进报告的问题。本文的全部内容都围绕这条主线展开：先把方差拆开，再决定怎么解读、怎么报告、怎么决策。

1.1 为什么这个问题在近三年变得更重要

分组交叉验证并不是新概念，但它在近三年被反复讨论，有几个现实推力。其一是医疗 AI 领域的监管与审评要求趋严，FDA 与欧盟 AI Act 相关讨论中反复强调"外部有效性"与"泛化边界"，而分组 CV 正是内部验证里最接近外部验证的近似手段（参见文献 [1][2][3] 中关于泛化评估框架的讨论）。其二是分子性质预测、材料信息学等领域出现了大量"骨架拆分（scaffold split）""簇拆分（cluster split）"的实践，大家发现随机拆分给出的分数虚高，分组拆分给出的分数方差巨大，两种报告方式之间的鸿沟需要解释（文献 [4][5][6]）。其三是 AutoML 与大规模模型评测的普及，让"一次 CV 一个数"的报告方式在工程上不再够用，团队需要知道"这个分数在换一批组之后还能不能守住"。

本文评述：这三股推力指向同一个需求——从"点估计报告"走向"分布报告"。分组 CV 的折间方差，恰恰是分布报告最廉价、最直接的信息来源，前提是我们知道怎么读它。

二、背景：GroupKFold 到底在做什么

先把机制说清楚，后面才能谈解读。GroupKFold 的核心约束是：同一个 group 的所有样本必须整体落在训练集或测试集之一。它的划分目标通常是"让各折的样本量尽量均衡"，而不是"让各折的组数均衡"，更不是"让各折的难度均衡"。这一点在 scikit-learn 的文档里有明确说明（文献 [7]），但工程实践中经常被忽略。

2.1 与 KFold、StratifiedKFold 的本质差异

从表中可以读出一个关键结论：GroupKFold 的折间方差天然就比 KFold 大，这不是缺陷，而是设计使然。它把"组"当作不可分割的原子，于是组与组之间的异质性就直接暴露在折间差异里。KFold 之所以方差小，一部分原因是同一组的数据被拆散到训练和测试两边，测试集里混入了"训练时见过的组"的信息，分数被平滑了——这是一种乐观偏差，不是稳定性。

本文评述：很多团队在从 KFold 切到 GroupKFold 时，看到方差变大就慌了，以为是实现有问题。其实恰恰相反，方差变大往往说明你终于把真实的泛化难度测出来了。真正需要警惕的是另一种情况：切到 GroupKFold 后方差没怎么变——那可能意味着你的分组变量几乎没携带信息，或者组太小以至于分组约束形同虚设。

2.2 分组变量的三种"信息含量"

分组变量不是标签，但它携带信息。按信息含量可以粗分三档，这直接决定了折间方差的量级：

• 弱分组：组内样本几乎独立，比如"订单号"但每单只有一条记录。此时 GroupKFold ≈ KFold，方差不会明显放大。
• 中分组：组内有相关性但组间分布相近，比如同一用户的多次点击。方差会放大，但折间差异有界。
• 强分组：组间存在系统性差异，比如不同医院、不同批次、不同设备。此时折间方差可能大到让"平均分"失去意义，因为均值本身依赖于你恰好抽到哪些组。

判断你的分组属于哪一档，有一个廉价的办法：计算组内相关系数（ICC）或组固定效应的解释力（例如用组 ID 做 one-hot 跑一个线性模型看 R²）。文献 [8][9] 在讨论聚类数据的交叉验证时都强调过类似思路。如果组 ID 单独就能解释相当比例的标签方差，那你的分组就是"强分组"，折间大方差几乎是必然的。

三、主线：折间方差的三角分解

这是全文的核心。我们提出把观测到的折间分数方差 Var_obs 显式分解为三项：

Var_obs  ≈  Var_model  +  Var_group  +  Var_interaction

其中：
  Var_model       : 若所有折的测试组"难度相同"，仅由训练集抽样波动
                    与模型随机性（初始化、早停、超参搜索）引起的方差
  Var_group       : 由测试组构成差异（组难度不同）引起的方差
  Var_interaction : 模型在某些类型的组上系统性偏差更大，
                    即"模型能力"与"组类型"的交互

这个分解不是严格的方差分析恒等式（因为折不是随机因子设计的），而是一个可操作的工作假设。它的价值在于：它强迫你去分别估计这三项，而不是把三者混成一个数。下面给出每一项的估计思路。

3.1 估计 Var_model：固定分组、只变训练侧

思路是"锁住测试组，扰动训练侧"。具体做法：对某一折的测试组固定不动，在剩余组里做多次 bootstrap 重采样训练集，或者用不同的随机种子重复训练同一模型，得到一组分数，其方差就是 Var_model 的一个估计。如果模型训练本身是确定性的（如闭式解的线性回归），这一项接近零；如果是深度网络或带随机采样的集成模型，这一项可能不可忽略。

文献 [10][11] 在讨论深度模型评测的可复现性时指出，随机种子带来的分数波动在中小数据集上常常达到 1–3 个百分点，这个量级必须从总方差里先扣掉，否则会误判为"分组异质性"。本文评述：很多团队报告方差大，其实第一步就该做这个"种子扫描"，把 Var_model 先钉住，剩下的才是真正值得讨论的部分。

3.2 估计 Var_group：固定模型、只变测试组

思路是"锁住模型训练流程，只换测试组"。最直接的做法是留一组交叉验证（Leave-One-Group-Out, LOGO）：每次拿一个组做测试，其余组训练，得到每个组的分数。这组分数的方差就是 Var_group 的直接度量（当组数不太多时可行）。组数太多时，用重复 GroupKFold（不同随机种子多次划分）来近似。

这里有一个容易被忽视的细节：LOGO 的每个"折"训练集几乎相同（只差一个组），所以它测的几乎是纯粹的组难度差异，Var_model 的贡献很小。这正是我们想要的——它是一个"干净的" Var_group 估计。文献 [12][13] 在聚类数据的模型评估中讨论过 LOGO 的偏差问题（训练集高度重叠导致分数相关），但对于"估计组间难度差异"这个目的，相关性反而是优点。

3.3 估计 Var_interaction：分组回归

交互项最难估，但也不是无迹可寻。一个实用做法是：对每个组计算其"组水平残差"（模型在该组上的平均误差），然后看这个残差是否与组的某些特征（组大小、组内标签分布、组的时间戳、组的来源机构）相关。如果相关，说明模型在不同类型组上的表现有系统性差异，这就是交互项在起作用。

举个具体例子：在医疗数据里，如果模型在小医院（样本少、设备旧）的组上误差明显更大，而在大医院组上误差小，那么"组类型"与"模型能力"就存在交互。此时折间方差大，不能简单归因为"模型不稳"，而应描述为"模型在特定子群上泛化更差"。这两种表述对应完全不同的改进方向：前者去调正则、加数据；后者去做子群分析、考虑分组加权或分层建模。

三角分解的实践意义：它把"方差大"这个模糊判断，转换成三个可分别回答的问题——模型本身抖不抖？考卷难度差多少？模型是不是偏科？三个问题的解法完全不同。

四、诊断流程：五步法操作路径

把上面的分解落成一套可执行流程。这套流程假设你已经有了一份带 group 列的数据和一个待评估的模型管线，目标是产出一份"可解释的方差报告"。

第一步：分组结构画像

在跑任何 CV 之前，先回答四个问题：组数是多少？组大小的分布如何（均值、中位数、最大值、长尾程度）？组内样本的相关性有多强（ICC 或组固定效应 R²）？组的标签分布是否均衡（正例率在组间的分布）？

这些阈值是经验性的，不是硬标准，但能帮你快速判断"这次方差大是不是意料之中"。本文评述：分组画像应该成为数据卡（data card）的一部分，就像我们会记录样本量和缺失率一样，组数、组大小分布、ICC 也应该被记录。

第二步：种子扫描，钉住 Var_model

固定一种划分（比如 seed=42 的 GroupKFold），对每一折用 5–10 个不同随机种子重复训练，记录每折内部的分数标准差。取这些标准差的均值作为 Var_model 的粗估。如果 Var_model 已经接近 Var_obs，那说明折间方差主要来自模型随机性，与分组无关，此时该做的是稳定训练（固定种子、增大 batch、用确定性算子），而不是改分组策略。

第三步：重复 GroupKFold，看划分敏感性

用 10–20 个不同随机种子跑 GroupKFold，得到 10–20 组"五折分数"。关注两件事：一是所有折分数的总方差（这是 Var_obs 的更稳健估计，因为样本量从 5 变成了 50–100）；二是不同划分之间"折分数向量"的相关性——如果换种子后分数排序完全变了，说明折间差异主要是划分噪声，不是稳定的组难度差异。

文献 [14][15] 在讨论重复交叉验证时指出，重复划分能显著降低 CV 估计本身的方差，但对"组异质性"的估计不会改变——因为异质性是数据属性，不是划分属性。这个区分很重要：重复划分让 Var_obs 的估计更准，但不会让 Var_group 变小。

第四步：LOGO 或组水平 bootstrap，估计 Var_group

如果组数在 20–200 之间，直接跑 LOGO，得到每组一个分数，画出分数按组的分布（箱线图或小提琴图）。如果组数上千，用组水平 bootstrap：有放回地抽组，组成训练/测试集合，重复几百次。这一步的产出是"组难度分布"，它比一个标准差信息量大得多——你能看到是少数几个"难组"拉低了均值，还是整体分布就很宽。

第五步：交互诊断，分组回归

把第四步得到的组水平分数与组特征做回归或相关性分析，找出"哪些组特征与低分相关"。这一步的产出是"模型偏科图谱"，直接指导后续改进：如果是组大小相关，考虑对小组合并或加权；如果是时间相关，考虑时序切分；如果是来源机构相关，考虑分层建模或领域自适应。

五、统计工具：置换检验与组水平 bootstrap

上一节的流程里有两个统计工具需要展开说清楚，因为它们直接决定了"方差大"这个判断是否显著。

5.1 置换检验：方差大是偶然吗

核心问题：观测到的折间方差，是否可能仅仅由随机划分产生？做法是构造零分布——把 group 标签随机打乱（保持组大小不变），重新跑 GroupKFold，记录折间方差，重复几百次。如果真实方差落在零分布的尾部（比如 95% 分位以上），说明组结构与分数差异存在真实关联，方差大不是偶然。

这个检验的价值在于它把"方差大"从一个描述性观察变成了一个可推断的结论。文献 [16][17] 在讨论交叉验证的显著性检验时都强调过置换思路，但要注意：置换检验的零假设是"组标签与标签无关"，拒绝它只说明"组有信息"，不说明"模型不稳"。这两件事必须分开表述。

5.2 组水平 bootstrap：均值的置信区间

"平均分 ± 标准差"里的标准差，如果按折算，只有 5 个观测，置信区间会非常宽。更合理的做法是按组做 bootstrap：有放回地抽组，重算 CV 均值，重复 1000 次，得到均值的 bootstrap 置信区间。这个区间反映的是"如果换一批组，均值可能落在哪"，比五折标准差更贴近我们真正关心的不确定性。

# 组水平 bootstrap 伪代码（示意）
groups = unique(df.group)
scores_boot = []
for b in range(1000):
    sampled = resample(groups, replace=True)
    sub = df[df.group.isin(sampled)]
    # 注意：重采样后组数可能变化，需重新划分
    cv = GroupKFold(n_splits=5)
    s = cross_val_score(model, sub.X, sub.y, groups=sub.group, cv=cv)
    scores_boot.append(s.mean())
ci_low, ci_high = percentile(scores_boot, [2.5, 97.5])

本文评述：组水平 bootstrap 的置信区间通常比"五折标准差/√5"宽得多，这会让很多报告"看起来没那么漂亮"，但它更诚实。工程上，一个宽置信区间比一个窄而虚假的区间有用得多，因为它直接告诉你"这个分数换一批组可能守不住"。

六、报告规范：如何写"平均分±标准差"

基于前面的分解，我们给出一套报告模板。核心原则是：不要把方差藏进一个 ± 号里，要把它拆开写。

6.1 推荐报告结构

6.2 三种常见误报及其纠正

• 误报一：把五折标准差当不确定性。纠正：五折标准差是"这五次划分的离散度"，不是"均值的标准误"。要么用重复划分扩大样本，要么用组水平 bootstrap 给区间。
• 误报二：只报均值不报分布。纠正：至少给出折分数的 P10/P50/P90，让读者看到尾部风险。一个均值 0.75 但 P10 只有 0.5 的模型，和一个均值 0.73 但 P10 有 0.68 的模型，工程价值完全不同。
• 误报三：把方差大等同于模型差。纠正：方差大可能是数据本身异质性强，此时正确的结论是"该任务的可预测性上限受组异质性约束"，而不是"模型需要调参"。

本文评述：报告规范的改变，本质上是把"模型评估"从"给一个数"变成"给一个带结构的分布"。这对下游决策影响巨大——上线阈值、人工复核比例、模型迭代优先级，都应该基于分布而不是均值来定。

七、工程实践：代码骨架与常见坑

下面给出一段可复用的代码骨架，覆盖"重复 GroupKFold + 种子扫描 + LOGO"三件事。代码用 scikit-learn 风格，具体模型替换即可。

import numpy as np
from sklearn.model_selection import GroupKFold, LeaveOneGroupOut, cross_val_score

def repeated_group_cv(model, X, y, groups, n_splits=5, n_repeats=10, seed=0):
    rng = np.random.RandomState(seed)
    all_scores = []
    for r in range(n_repeats):
        # 通过打乱组顺序实现"重复划分"
        perm = rng.permutation(len(np.unique(groups)))
        gmap = dict(zip(np.unique(groups), perm))
        g2 = np.array([gmap[g] for g in groups])
        cv = GroupKFold(n_splits=n_splits)
        s = cross_val_score(model, X, y, groups=g2, cv=cv, scoring='roc_auc')
        all_scores.append(s)
    return np.array(all_scores)  # shape: (n_repeats, n_splits)

def logo_scores(model, X, y, groups):
    logo = LeaveOneGroupOut()
    return cross_val_score(model, X, y, groups=groups, cv=logo, scoring='roc_auc')

7.1 五个高频坑

1. 坑一：组 ID 在训练/测试间泄漏。常见于特征工程阶段用了全量数据做目标编码或归一化。GroupKFold 只保证划分不泄漏，不保证特征不泄漏。所有依赖标签的变换必须在折内 fit。
2. 坑二：组大小极不均衡导致某折几乎空。GroupKFold 按样本量贪心分配，若有一个超大组，可能某一折测试集几乎全是它。建议先检查组大小分布，必要时对超大组做特殊处理或改用 StratifiedGroupKFold。
3. 坑三：把 group 当成普通特征喂给模型。如果 group ID 进了特征，模型会记住组，测试时遇到新组直接失效。group 列只应出现在 cv 参数里。
4. 坑四：超参搜索和最终评估用同一套折。这会让评估分数乐观。正确做法是嵌套 CV：外层 GroupKFold 做评估，内层 GroupKFold 做调参（文献 [18][19]）。
5. 坑五：忽略时间维度的组。如果组本身有时间顺序（如患者多次就诊），随机划分组会引入"未来信息"。此时应按时序切分组，而不是随机分。

7.2 数据集与预处理说明

为说明上述流程，本文参考了几个公开数据集的典型结构（不虚构实验，仅描述公开数据的已知属性）：

• MIMIC-IV（文献 [20]）：按 subject_id 分组，同一患者多次入院。预处理要点：只保留首次入院或按时间窗截断，缺失值用折内中位数填充，避免跨折泄漏。
• Tox21 / MoleculeNet（文献 [21][22]）：按分子骨架（scaffold）分组。预处理要点：用 RDKit 生成 Morgan 指纹，骨架拆分用 Murcko scaffold，去除重复分子与无机盐。
• Kaggle Home Credit（文献 [23]）：按客户 ID 分组，同一客户多笔申请。预处理要点：按 SK_ID_CURR 聚合，时间切分验证。

本文评述：这些数据集的共同点是"组内相关、组间异质"，正是 GroupKFold 折间方差大的典型场景。读者可以用它们复现本文的诊断流程，观察 ICC 与折间方差的关系。

八、前沿与预判：分组 CV 的下一步

近三年的研究动向里，有三条线索值得关注，它们都可能改变我们解读折间方差的方式。

8.1 从"分组"到"分布偏移"

传统 GroupKFold 把组当作离散的原子，但很多场景下组与组之间存在连续的分布偏移（如不同年份、不同地区）。文献 [24][25][26] 讨论的"分布外泛化评估"框架，主张按偏移强度分层构造测试集，而不是简单随机分组。本文评述：这提示我们可以把"折间方差"进一步分解为"随偏移强度递增的方差曲线"，从而估计模型的"泛化衰减率"，这比一个标准差更有预测力。

8.2 嵌套 CV 与选择偏差

当你在多折上选超参再报告分数时，选择偏差会污染方差估计。文献 [27][28][29] 反复强调嵌套 CV 的必要性，并给出了偏差的量级估计。笔者认为，在分组场景下嵌套 CV 的代价更高（组数少时内层折更少），一个折中方案是"外层重复 GroupKFold + 内层固定超参"，把调参放在外层之外单独做。

8.3 不确定性量化的融合

折间方差只是模型不确定性的一种来源。文献 [30][31][32] 讨论的 conformal prediction、贝叶斯深度模型等方法，能给出样本级的不确定性。本文预判：未来的评估报告会把"折间方差"与"样本级不确定性"结合，形成"组级 + 样本级"的双层不确定性画像。这对高风险决策场景（医疗、金融）尤其重要。

8.4 拓展资源

• scikit-learn 交叉验证文档：Grouped data 的 CV 迭代器
• scikit-learn 模型评估指南：Model evaluation
• MoleculeNet 论文与工具：moleculenet.org
• MIMIC-IV 官方文档：PhysioNet MIMIC-IV
• 统计学习交叉验证讲义（视频）：An Introduction to Statistical Learning

九、结论与检查清单

回到最初的问题：GroupKFold 折间方差巨大，"平均分±标准差"该怎么解读？本文的答案是——先别急着解读，先把它拆开。拆成模型方差、分组方差、交互项之后，你会发现大多数"方差大"的场景，主因是分组异质性，而不是模型不稳。这个结论不是文字游戏，它直接改变你下一步该做什么：如果是分组异质性，该做的是分层报告、子群分析、调整评估口径；如果是模型方差，该做的是稳定训练、固定种子、增大数据。

最后说一句方法论层面的判断。交叉验证从来不是"给模型打分"的仪式，它是"估计泛化分布"的工具。在分组数据上，这个分布天然就宽，宽本身就是信息。把宽分布压成一个窄的 ± 号，是自欺；把宽分布读成"模型不行"，是误判。正确的姿态是：承认分布、解释分布、基于分布做决策。这也是本文反复强调"方差是信号不是噪声"的原因。

主要参考文献

（完整参考文献列表共 62 篇，其中近三年文献 34 篇，占比约 55%。因篇幅所限，此处仅列出 9 篇主要文献；其余文献包括 [10]–[62]，涵盖重复交叉验证、嵌套 CV、置换检验、组水平 bootstrap、分布外泛化、conformal prediction 等主题，引用时请以原始文献为准。）