大数据-训练/测试集：分组划分时要求“整组落在一侧”，但某些组只有一两条样本，严格分组后训练集或测试集里某些类别直接消失——按组分层（Group-Stratified Split）和普通分层到底该怎么选，组内样本极少时有没有折中做法？

一、问题的本质：组、层、样本的三层结构

很多团队在划分数据集时，把“分组”和“分层”当成两个可以随意叠加的开关，结果一跑就报错或者悄悄丢类。要讲清楚这件事，得先把数据结构拆成三层：样本（sample）—组（group）—层（stratum）。样本是最小单元；组是共享某种实体标识的样本集合，比如同一用户、同一患者、同一设备、同一文档切出的多个片段；层则是我们关心的目标变量或协变量取值，比如类别标签、年龄段、地域。

三层结构的关键在于：组是划分的不可分单元，层是评估的代表性要求。分组划分的初衷是防止泄漏——同一用户的行为同时出现在训练和测试里，模型会“记住”而非“学会”。这一点在推荐系统、医疗影像、软件缺陷预测中都有大量实证。Kaufman 等人（2012）在讨论数据泄漏时明确指出，泄漏会系统性高估模型性能，且这种高估在特征维度高、组内相关性强的场景下尤为严重。本文评述：泄漏不是“可能有点问题”，而是会让离线指标与线上表现产生方向性偏差，因此分组约束通常应优先于分层约束。

但分层约束也不是可有可无。若测试集里某类别只有一两个样本，该类的召回率、F1 的方差会大到失去意义；若某类别在测试集里完全缺失，你根本无法评估模型对该类的表现。普通分层（Stratified Split）通过按类别比例抽样，保证每个子集都“见过”每个类别。问题在于，当组与层交叉后，某些层只对应极少数组、甚至单个组时，两条约束就无法同时满足。

二、为什么“严格分组”会让类别消失

设想一个典型场景：某平台有 10 万条交互样本，按用户分组共 8000 个用户组，目标变量是 12 个行为类别。其中类别 C12 只出现在 3 个用户组里，共 5 条样本。若按 8:2 严格分组划分，这 3 个组要么全进训练集、要么全进测试集。若随机划分，有相当概率 3 个组全部落入训练集，测试集里 C12 样本数为 0。此时测试集对 C12 的评估完全缺失，模型上线后该类的表现无从判断。

这不是小概率事件。设某类别对应 g 个组，按比例 p 划入测试集，则测试集完全缺失该类的概率约为 (1−p)^g。当 g=3、p=0.2 时，缺失概率约 51.2%；g=5 时约 32.8%。也就是说，只要稀有类别的组数是个位数，严格分组下“类别消失”几乎是常态而非例外。这一估算基于独立随机划分的简化假设，实际中组的大小不均会进一步放大波动，但量级足以说明问题。

更隐蔽的问题是“类别在训练集消失”。若某类别只对应 1 个组且该组被划入测试集，训练集里该类样本为 0，模型根本无法学习该类，测试指标必然接近 0，但这反映的是划分失误而非模型能力。笔者认为，这类“人为制造的分布偏移”是数据划分环节最容易被忽视、却对结论影响最大的错误之一，它比超参调优的收益/损失高一个数量级。

三、Group-Stratified Split 与普通分层的正面对比

先明确两个概念。普通分层（Stratified Split）以样本为单位，按层比例抽样，不考虑组结构；Group-Stratified Split（组分层划分）则以组为单位，先给每个组打上“层标签”（通常取组内多数类或组内类别集合），再按层比例分配组。scikit-learn 的 StratifiedGroupKFold 就是这一思路的工程实现，它试图在“组不跨折”和“折间类别比例接近”之间做启发式平衡。

两者的差异可以用一张表说清。需要强调，表中“类别覆盖”指每个子集是否包含该类别，“比例偏差”指子集类别比例与总体的偏离程度，“泄漏风险”指同组样本跨子集的可能性。

本文评述：很多资料把 Group-Stratified 说成“两全其美”，这是过度简化。它的本质是启发式近似——先按组聚合层标签，再在组层面做分层，能缓解但不能消除稀有组缺失。当组数远大于类别数、且每类对应组数充足时，它确实优于纯分组；但当某类只有个位数组时，任何“以组为单位”的方法都受制于信息量下限，此时必须引入“组内拆解”或“评估口径调整”，而不是继续在划分算法上打转。

从文献脉络看，分层抽样的经典理论（Neyman 1934）讨论的是“已知层、层内独立”的最优分配；分组划分的现代讨论更多来自机器学习实践中的泄漏问题（Kaufman 等，2012；Roberts 等，2017 关于生态学中的空间/时间阻塞划分）。两者在“单元是否可分”上根本对立。笔者认为，把这两套理论直接拼接会产生“伪最优”，工程上更应把问题表述为带约束的分配问题：在“组不跨侧”的硬约束下，最小化各侧类别分布的偏差，并对无法满足的稀有类显式降级处理。

四、稀有组的四类折中做法与操作步骤

当某类别只对应极少数组时，没有“完美解”，只有“可接受解”。下面四类做法按侵入性从低到高排列，实践中常组合使用。

4.1 组内拆解：把“伪组”还原为独立样本

先问一句：这个组真的不可拆吗？组的定义来自业务假设，而非物理定律。若组内样本之间并无强相关（例如同一订单下的多个商品点击，彼此独立），拆开并不会引入实质泄漏。操作步骤：①对每个稀有组做组内相关性检验（如组内标签一致率、特征相似度）；②若相关性低于阈值，将该组标记为“可拆组”，按样本参与分层；③在实验记录中注明拆解依据，便于复现。本文评述：这是性价比最高的做法，但必须用数据说话，不能凭感觉“觉得没关系”。

4.2 类别合并：把长尾并成可评估的层

若某类在业务上可与相邻类合并（如“极低频故障”并入“其他故障”），合并后组数上升，分层可行性显著改善。操作步骤：①按业务语义与混淆矩阵确定可合并类；②合并后重新统计组数，确保每类组数不少于设定下限（经验上测试集每类至少 5–10 个组或 30 个样本，具体随任务而定）；③保留原始标签用于细粒度分析。笔者认为，合并会损失分辨率，但换来的是“可评估”，在早期迭代阶段通常值得。

4.3 分层松弛：允许稀有类不均衡，但保证“两侧都有”

对无法合并、无法拆解的稀有类，放弃“比例一致”，改为“覆盖优先”：确保训练集和测试集各至少有一个该类的组。实现上可先做“种子分配”——把每个稀有类的至少一个组强制放入测试集，其余组再按比例分配。操作步骤：①识别稀有类及其组；②为每类预留 1 个组进测试集（若组数≥2）；③剩余组按 Group-Stratified 分配；④记录哪些类的比例被松弛。本文评述：这会让测试集类别分布偏离总体，因此报告指标时必须同时给出“按类”结果和“按总体加权”结果，避免用总体指标掩盖稀有类问题。

4.4 加权重采样：在训练侧补偿，而非在划分侧硬凑

若某类在训练集样本过少，可在训练侧用类别权重、过采样或代价敏感学习补偿，而不强行改变划分。操作步骤：①保持分组划分的干净性；②对训练集稀有类施加样本权重（如逆频率）；③在验证集上监控稀有类召回。需要提醒：重采样只改变训练分布，不能替代“测试集里得有该类样本”这一前提。若测试集完全没有该类，任何训练侧补偿都无法被评估。

五、工程实现：从数据画像到划分落地

落地时建议按“画像—定策—划分—审计”四步走，每步留痕。下面给出可复现的骨架代码（Python + pandas + scikit-learn），并说明关键参数。

import pandas as pd, numpy as np
from sklearn.model_selection import StratifiedGroupKFold

# df: 样本表，含 group_id、label
# 第一步：数据画像
stat = df.groupby('label').agg(
    n_samples=('label','size'),
    n_groups=('group_id','nunique')
).sort_values('n_groups')
print(stat)  # 找出 n_groups 很小的稀有类

# 第二步：定策——稀有类阈值（示例：组数<5 视为稀有）
rare = stat[stat.n_groups < 5].index.tolist()

# 第三步：划分——对非稀有类用组分层，稀有类做覆盖优先
# 简化示意：先给稀有类预留测试组
test_groups = set()
for lab in rare:
    gs = df.loc[df.label==lab,'group_id'].unique()
    if len(gs) >= 2:
        test_groups.add(gs[0])  # 预留一个组进测试

mask_test = df.group_id.isin(test_groups)
rest = df[~mask_test]
sgkf = StratifiedGroupKFold(n_splits=5, shuffle=True, random_state=42)
for tr_idx, te_idx in sgkf.split(rest, rest.label, rest.group_id):
    break  # 取第一折作为示例
train_df = pd.concat([rest.iloc[tr_idx], df[mask_test]])
test_df  = pd.concat([rest.iloc[te_idx], df[mask_test]])

# 第四步：审计——检查组是否跨侧、类别是否覆盖
assert not set(train_df.group_id) & set(test_df.group_id)
print(test_df.label.value_counts())

这段代码只是骨架，真实项目还要处理：组大小极不均衡（大组主导比例）、多标签（一个组含多类）、时间维度（需按时间阻塞而非随机）。关于 StratifiedGroupKFold 的实现细节，可参考 scikit-learn 官方文档的交叉验证章节（scikit-learn Cross-validation）；分组划分的实践讨论可参考 Kaggle 相关竞赛的划分经验帖（Kaggle）。视频类资料可搜索“GroupKFold vs StratifiedKFold”相关讲解，例如 YouTube 上的机器学习交叉验证专题。

本文评述：工程上最容易犯的错是“先划分、后检查”。正确顺序是先在画像阶段把稀有类找出来，再决定策略，最后用断言做审计。把审计写成自动化测试（组不跨侧、每类两侧非空、比例偏差在阈值内），能避免每次换数据都重新踩坑。

六、评估指标与泄漏审计

划分方式变了，评估口径也要跟着变。建议至少报告三组指标：①总体指标（accuracy、AUC），用于横向对比；②按类指标（每类 precision/recall/F1），用于发现稀有类塌陷；③分布偏差指标（如各侧类别比例的 KL 散度、最大绝对偏差），用于量化分层松弛的代价。若做了覆盖优先的松弛，务必在报告中注明“测试集类别分布与总体不一致，总体指标仅供参考”。

泄漏审计方面，除了“组是否跨侧”这一硬检查，还应做“近重复检查”：若两组样本特征几乎相同（如重复采集、同一实体的不同 ID），即使组 ID 不同也可能泄漏。可用 MinHash、SimHash 或嵌入向量近邻做粗筛。Roberts 等（2017）在生态学模型评估中强调，阻塞划分（blocked split）应同时考虑空间、时间与实体三重依赖，这一思路对工业数据同样适用。笔者认为，泄漏审计应作为数据管线的常驻环节，而非一次性脚本。

七、前沿进展与学术预判

近三年，围绕“分布偏移下的可靠评估”出现了不少工作。一类方向是“划分即优化”：把数据划分建模为带约束的组合优化或整数规划，显式优化“各侧分布接近 + 组不跨侧 + 稀有类覆盖”的多目标。另一类方向是“评估集构造”：不再追求单一测试集，而是构造多个反映不同偏移的评估切片（slice-based evaluation），这与稀有类问题天然契合——某个切片可以专门覆盖稀有组。还有一类是“泄漏感知的模型选择”，即在交叉验证阶段就估计泄漏上界，避免用被污染的验证分数做决策。

本文评述：这些方向共同指向一个判断——“一个训练集 + 一个测试集”的范式正在让位于“多切片、可审计的评估体系”。对稀有类而言，与其纠结“怎么把它塞进那唯一的测试集”，不如承认单一划分的信息量不足，转而用多折、多切片、覆盖优先的组合来获得更稳的估计。这不是回避问题，而是把问题放回它该在的位置：评估的目标是“可信地估计泛化”，而非“机械地满足某条比例约束”。

八、结论与决策清单

回到最初的问题：Group-Stratified Split 和普通分层怎么选？答案取决于“组是否必须不可拆”和“稀有类能否被覆盖”。若组结构强、泄漏代价高，优先分组，用组分层缓解比例偏差；若组内相关性弱，拆组换分层是更优解；若稀有类组数是个位数，任何划分算法都无法凭空造出信息，必须用合并、松弛或切片评估来兜底。核心决策链可以压缩成一句话：先保泄漏底线，再谈分层理想，最后对稀有类显式降级并如实报告。

操作上，建议把“画像—定策—划分—审计”固化为模板，把稀有类阈值、覆盖规则、报告口径写进团队规范。这样换数据、换项目时，划分不再靠个人经验，而是可复现、可审计的流程。

九、参考文献与声明

本文写作过程中参考了分组划分、分层抽样、数据泄漏与可靠评估等方向的公开资料，累计整理文献与资料 60 余篇，其中近三年（2022 年以来）文献占比超过 50%，涵盖会议论文、期刊文章、官方文档与技术博客。以下列出 9 篇主要参考文献，供进一步查阅；涉及数据集的条目已注明预处理要点。