大数据分析中数据前期预处理：数据不平衡到底该在划分训练/测试集之前还是之后做采样，先采样再划分是不是隐蔽的数据泄漏？

一、问题的提出：一个被低估的代码顺序

在信用卡欺诈检测、罕见病辅助诊断、工业设备故障预警、网络入侵识别这些典型场景里，正负样本比例动辄达到1:100甚至1:1000。工程师拿到数据后的第一反应往往是“先把少数类补上来”，于是SMOTE、RandomOverSampler、ADASYN 被顺手调用，紧接着才 train_test_split。代码跑通、模型AUC冲到0.99，团队一片欢腾。可一旦上线，指标断崖式下跌。

这个现象在工业界极为普遍。笔者在多个风控与故障诊断项目中反复见到同一种模式：离线评估近乎完美，线上表现平平。排查到最后，问题往往不在模型，而在那一行被随手提前的采样代码。先采样再划分，本质上是一次隐蔽的数据泄漏（data leakage），它让测试集不再是“未来的、未见过的数据”的代理，而变成了训练信息的回声。

需要强调的是，这不是一个“风格偏好”问题。划分训练/测试集的根本目的，是构造一个与训练过程完全隔离的评估环境，用来估计模型在部署时的泛化误差。一旦采样步骤跨越了这条隔离带，评估环境就被污染，后续所有指标——准确率、召回率、F1、AUC、PR曲线——都失去了统计意义上的可解释性。本文要回答的核心问题因此可以精确表述为：采样操作应当发生在信息隔离带的哪一侧？

一句话结论先行：除极少数明确论证过无泄漏风险的特殊情形外，重采样必须发生在训练/测试划分之后，且必须发生在交叉验证的每一折内部。先采样再划分，是隐蔽数据泄漏的典型来源。

二、主线确立：什么是“信息边界守恒”

为了让后文的讨论有一条统一标尺，本文提出并贯穿使用一个分析原则——信息边界守恒（Information Boundary Conservation, IBC）。它并非某个既有文献中的专有名词，而是笔者对一系列泄漏防范实践所做的归纳提炼，用于统一解释重采样、特征工程、超参搜索、阈值选择中的各类泄漏现象。

2.1 原则的形式化表述

设训练集为 D_train，验证/测试集为 D_eval。任何变换 T(·) 若其参数 θ 是在包含 D_eval 信息的集合上估计得到的，则 T 应用于 D_eval 时即构成泄漏。形式化地：

若 θ = f(D_train ∪ D_eval) 且 θ 被用于变换 D_eval，
则 D_eval 的评估结果不再是无偏泛化误差估计。

守恒条件：θ 必须仅由 D_train 估计，即 θ = f(D_train)。

这条原则看似平凡，却能一举覆盖标准化（用全体数据算均值方差）、特征选择（用全体数据算相关性）、目标编码（用全体数据算类别均值）、超参搜索（在全量数据上调参）、以及本文重点讨论的重采样。笔者认为，把泄漏问题统一到“参数估计的信息来源”这一视角，比零散地记忆“这个不能做、那个不能做”更有效，因为它给出了可推导的判据，而不是一份需要死记硬背的清单。

2.2 为什么重采样特别容易踩线

标准化、归一化这类变换，工程师大多已经形成“先划分再fit”的肌肉记忆。但重采样不同：它改变的是样本集合本身，而不是特征数值。很多人下意识地把它归类为“数据准备”而非“模型训练”，于是放在了划分之前。更麻烦的是，SMOTE 这类过采样方法的参数估计依赖于样本间的近邻结构，而近邻关系恰恰是最容易被“跨边界”污染的信息——一个测试集里的少数类样本，完全可能成为训练集样本合成新样本时的近邻参照。这种泄漏不会报错、不会告警，只会安静地把评估指标抬高。

三、泄漏机理拆解：先采样到底泄漏了什么

要讲清楚泄漏，必须分类型讨论。不同采样方法泄漏的“东西”并不相同，危害程度也有差异。下面按泄漏的信息类型逐一拆解。

3.1 类型一：分布参数泄漏（随机过采样、随机欠采样）

随机过采样（ROS）通过有放回地复制少数类样本来平衡类别。若在划分前执行，测试集中的少数类样本可能恰好是训练集中被复制过的同一条记录。这意味着模型在训练阶段已经“见过”测试样本，评估结果被系统性高估。随机欠采样（RUS）同理：划分前欠采样会丢弃部分多数类样本，导致测试集分布与真实部署分布不一致，评估结果可能被低估或高估，方向取决于被丢弃样本的难易程度。

这类泄漏相对“显性”，因为复制/丢弃是可追溯的。但在实践中，很多团队用 imblearn 的 pipeline 时并未意识到 sampling 步骤的 fit 时机，仍然可能踩坑。

3.2 类型二：近邻结构泄漏（SMOTE、Borderline-SMOTE、ADASYN）

这是危害最大、也最隐蔽的一类。SMOTE 的核心是为每个少数类样本寻找 k 个近邻，在样本与近邻的连线上随机插值生成新样本。若在划分前执行，测试集中的少数类样本会参与近邻搜索，从而影响合成样本的位置。更严重的是，合成样本可能落在测试样本附近，使得决策边界在测试点周围被“人为铺平”。

Borderline-SMOTE 与 ADASYN 的自适应特性会放大这一问题：它们优先在类别边界附近合成样本，而边界区域恰恰是测试样本最密集、评估最敏感的区域。划分前做这类采样，等于让模型提前知道了“边界在哪里”，评估指标自然虚高。笔者认为，这类泄漏之所以危险，是因为它不改变样本的身份（不像ROS那样能查出重复），而是改变了样本的空间位置关系，常规的数据审计很难发现。

3.3 类型三：类别先验泄漏

任何重采样都会改变训练集的类别先验。若在划分前执行，测试集的类别比例也被一并改变。对于以准确率为优化目标的模型，这会直接影响决策阈值的隐含位置。举个直观的例子：原始数据正负比1:99，划分前过采样到1:1，测试集也变成1:1，此时模型在测试集上的准确率看起来很高，但部署时面对的是1:99的真实分布，阈值完全错位。

这类泄漏常被忽视，因为它不涉及样本复制或近邻，纯粹是比例问题。但它对业务指标的影响往往最大——风控场景里，一个在平衡测试集上F1=0.9的模型，放到真实不平衡流量上可能召回率惨不忍睹。

3.4 三类泄漏的对比

表1：三类泄漏的对比（本文整理，基于对 imblearn 官方文档与多篇泄漏研究文献的归纳）

四、SMOTE族的近邻依赖：为什么它天生“怕”全局采样

SMOTE 由 Chawla 等人于2002年提出，是过采样领域引用量最高的方法之一。它的设计初衷是缓解随机过采样的过拟合问题，通过在少数类样本间插值来“创造”新信息。但正是这个插值机制，决定了它对数据划分顺序极度敏感。

4.1 算法步骤与信息依赖

SMOTE 的标准流程是：对每个少数类样本 x，在少数类集合中找 k 个最近邻；随机选一个近邻 x'；在 x 与 x' 的连线上随机取一点作为合成样本。整个过程依赖两个信息源：少数类样本集合本身，以及样本间的距离度量。

若在划分前执行，少数类集合包含测试样本，距离度量也在全体样本上计算。合成样本的落点因此携带了测试集的信息。本文评述：SMOTE 的“创造性”恰恰是它的软肋——它不是简单地复制，而是基于全局近邻结构生成新点，这使得泄漏从“样本级”上升到“结构级”，更难被察觉，也更难被事后修正。

4.2 一个直观的几何解释

想象二维平面上有两簇少数类样本，一簇在训练区，一簇在测试区。划分前做 SMOTE，算法会在两簇之间插值，生成大量“桥接”样本。模型学到的是一个连通的少数类区域。但真实部署时，测试区的那簇样本是独立出现的，模型对它的泛化能力并没有被真正检验——因为训练时已经通过合成样本“预演”过那片区域。评估指标因此虚高，而虚高的部分完全来自泄漏。

这个几何图像也解释了为什么 Borderline-SMOTE 的泄漏更严重：它专门在边界区域合成，而边界正是训练区与测试区最容易“桥接”的地方。

4.3 不同SMOTE变体的泄漏敏感度

表2：常见过采样方法的泄漏敏感度（本文评述性归纳，方法机制参考 imblearn 文档与原始论文）

五、重采样、加权与阈值：三条路线的等价性边界

讨论采样时机，绕不开一个更根本的问题：我们真的需要重采样吗？类别加权、阈值调优、代价敏感学习在很多场景下可以替代重采样，而且天然不存在“采样时机”问题。理清三者的关系，有助于在工程上做出更优选择。

5.1 类别权重与重采样的近似等价

对逻辑回归、线性SVM等模型，给少数类样本更高的损失权重，在期望意义上近似等价于对少数类过采样。设少数类权重为 w，过采样倍率为 r，当 w ≈ r 时，两者的决策边界接近。这一结论在多篇方法学文献中被讨论过，也被 scikit-learn 文档明确提及。

但等价性有边界。对基于采样的集成方法（如 BalancedBagging、EasyEnsemble），欠采样是算法内在机制，无法用加权替代；对 SMOTE 这类生成式方法，加权更无法复制其“创造新样本”的效果。笔者认为，工程上应优先考虑加权与阈值调优，因为它们不改变数据分布、不引入合成样本、不产生采样时机问题；只有在加权效果不足时，才引入重采样，并严格在折内执行。

5.2 阈值调优：被低估的“免费午餐”

很多团队一遇到不平衡就上采样，却忽略了模型输出的概率分数本身已经包含了排序信息。在不平衡场景下，默认0.5阈值几乎总是次优的。通过在验证集上搜索最优阈值（如最大化F1、或满足特定召回率约束），往往能获得与重采样相当甚至更好的效果，且完全规避采样时机问题。

阈值调优的关键是阈值必须在验证集上选，不能在测试集上选。这一点同样受信息边界守恒约束：用测试集选阈值，等于把测试集信息泄漏进决策规则。

5.3 三条路线的适用边界

表3：三条不平衡处理路线的对比（本文评述性归纳）

六、正确姿势：把采样关进交叉验证的“笼子”

明确了“必须在划分之后”，下一个问题是：在交叉验证中，采样应该放在哪一层？答案是——放在每一折的训练部分内部，且只对训练部分采样，验证部分保持原样。

6.1 错误做法与正确做法的对比

# ❌ 错误：全局采样后再交叉验证
X_res, y_res = SMOTE().fit_resample(X, y)
scores = cross_val_score(model, X_res, y_res, cv=5)

# ❌ 错误：先划分，但采样在交叉验证外层
X_train, X_test, y_train, y_test = train_test_split(X, y)
X_train_res, y_train_res = SMOTE().fit_resample(X_train, y_train)
scores = cross_val_score(model, X_train_res, y_train_res, cv=5)
# 问题：交叉验证的每一折验证集里混入了合成样本

# ✅ 正确：用 imblearn 的 Pipeline，采样在折内
from imblearn.pipeline import Pipeline
from imblearn.over_sampling import SMOTE
pipe = Pipeline([
    ('sampler', SMOTE(random_state=42)),
    ('clf', model)
])
scores = cross_val_score(pipe, X_train, y_train, cv=5)
# 每一折：fit 时对训练部分采样，验证部分保持原始分布

注意第二个“错误”示例的微妙之处：它确实先划分了，测试集是干净的，但交叉验证的每一折验证集里混入了合成样本。合成样本由该折训练部分的近邻生成，验证集里的原始样本可能参与了近邻搜索——泄漏依然存在，只是从“训练/测试”层面下沉到了“折内”层面。这是最容易被忽略的一类泄漏，很多团队以为自己已经“先划分”了，实际上只是在更细的粒度上重复了同样的错误。

6.2 为什么 imblearn 的 Pipeline 是必需的

scikit-learn 自带的 Pipeline 不支持在 fit 阶段改变样本数量，因此无法容纳采样器。imblearn 的 Pipeline 专门为此设计：它在每一折的 fit 阶段对训练部分执行 fit_resample，在 predict 阶段跳过采样器。这一设计从工程上强制了“折内采样”，是目前最可靠的实践方式。

官方文档与教程可参考：imbalanced-learn 官方文档、scikit-learn 用户指南。视频类拓展可搜索“imbalanced-learn pipeline tutorial”，或参考 相关公开课视频。

七、工程落地：一条可复用的预处理流水线

理论讲完，落到工程。下面给出一条经过多个项目验证的流水线，覆盖从原始数据到最终评估的全过程，每一步都标注了信息边界约束。

7.1 流水线总览

原始数据
  │
  ├─[1] 数据审计：缺失、重复、标签噪声
  │
  ├─[2] 划分 train / valid / test（分层抽样，固定随机种子）
  │        └─ test 集封存，只在最终评估时打开一次
  │
  ├─[3] 在 train 上做特征工程（fit 仅用 train）
  │        └─ 标准化、编码、特征选择均 fit 于 train
  │
  ├─[4] 交叉验证（StratifiedKFold）
  │        └─ 每一折内部：采样器 fit_resample 仅作用于训练部分
  │
  ├─[5] 超参搜索（在 valid 或 CV 上）
  │
  ├─[6] 阈值调优（在 valid 上，不在 test 上）
  │
  └─[7] 最终评估（test 集，仅一次）

7.2 关键步骤的操作要点

步骤[2]分层抽样：不平衡数据必须用 StratifiedKFold 或 train_test_split(stratify=y)，保证各集合类别比例一致。若少数类样本极少（如少于100条），考虑分层之外还要保证每折至少有几个少数类样本。

步骤[3]特征工程：标准化、目标编码、特征选择都是“参数估计”操作，必须 fit 于训练集。这一点与采样同理，属于信息边界守恒的直接推论。

步骤[4]折内采样：用 imblearn Pipeline 包裹采样器与分类器。注意采样器的 random_state 要固定，保证可复现。

步骤[6]阈值调优：在验证集上遍历阈值，选择满足业务约束的最优点。若没有独立验证集，用交叉验证的 out-of-fold 预测分数来选阈值。

7.3 一个完整的代码骨架

from sklearn.model_selection import train_test_split, StratifiedKFold
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import f1_score, precision_recall_curve
from imblearn.pipeline import Pipeline
from imblearn.over_sampling import SMOTE
import numpy as np

# [2] 划分
X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42)
X_tr, X_va, y_tr, y_va = train_test_split(
    X_tr, y_tr, test_size=0.25, stratify=y_tr, random_state=42)

# [3]+[4] 流水线：标准化 + 折内SMOTE + 分类器
pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('smote', SMOTE(random_state=42)),
    ('clf', RandomForestClassifier(random_state=42))
])

# 交叉验证（采样在折内自动完成）
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
oof_pred = np.zeros(len(y_tr))
for tr_idx, va_idx in skf.split(X_tr, y_tr):
    pipe.fit(X_tr[tr_idx], y_tr[tr_idx])
    oof_pred[va_idx] = pipe.predict_proba(X_tr[va_idx])[:, 1]

# [6] 阈值调优（用 out-of-fold 分数）
prec, rec, thr = precision_recall_curve(y_tr, oof_pred)
f1s = 2 * prec * rec / (prec + rec + 1e-9)
best_thr = thr[np.argmax(f1s[:-1])]

# [7] 最终评估（test 只打开一次）
pipe.fit(X_tr, y_tr)
final_pred = (pipe.predict_proba(X_te)[:, 1] >= best_thr).astype(int)
print("Test F1:", f1_score(y_te, final_pred))

这段代码的关键在于：SMOTE 被放在 Pipeline 内部，交叉验证时每一折的 fit 只对训练部分采样；阈值用 out-of-fold 分数选，避免在验证集上过拟合；test 集只在最后用一次。

八、实验设计与泄漏的量化观测

为了让“泄漏有多严重”不流于定性描述，本节给出一套可复现的观测方案。需要说明的是，以下数值为模拟数据上的整合观测，用于说明趋势，不代表任何特定真实数据集的结果。

8.1 观测设计

构造一个二维二分类模拟数据集，正负比1:50，少数类呈两个分离的簇。分别执行三种流程：（A）先SMOTE再划分；（B）先划分，但SMOTE在交叉验证外层；（C）正确流程（折内SMOTE）。比较三者在独立测试集上的F1与AUC。

表4：三种流程在模拟数据上的指标对比（模拟数据，仅示意趋势，非真实数据集结果）

可以看到，流程A的F1比正确流程高出约0.15，AUC高出约0.09。这个差距在业务上往往是“能不能上线”的分水岭。流程B虽然先划分了，但由于采样在CV外层，仍然存在中度高估。笔者认为，流程B是最值得警惕的“伪正确”——它看起来符合“先划分”的规范，实际上泄漏只是换了个层级。

8.2 泄漏的检测信号

工程上如何判断自己是否踩了泄漏？以下几个信号值得警惕：交叉验证分数异常高且方差极小；训练集与测试集指标差距远小于预期；更换随机种子后指标剧烈波动；少数类样本的预测概率分布呈现不自然的双峰。这些都不是泄漏的充分证据，但足以触发一次流程审计。

九、国内外研究进展与前沿预判

不平衡学习是一个高度活跃的研究领域。近三年（2022—2025）的文献呈现出几个明显趋势，值得结合本文主线做一番评述。

9.1 从“采样”转向“损失函数设计”

以 Focal Loss、Class-Balanced Loss、LDAM 为代表的损失函数方法，把不平衡处理内嵌到训练目标中，从根本上绕开了采样时机问题。这类方法在目标检测、长尾分类中已成为主流。笔者认为，对于深度模型，损失函数层面的处理通常优于数据层面的重采样，因为它不改变数据分布、不引入合成噪声，且天然满足信息边界守恒。

9.2 生成式方法（GAN/扩散模型）用于少数类增强

近年有不少工作用 GAN 或扩散模型生成少数类样本。这类方法的泄漏风险比 SMOTE 更高——生成模型在全体少数类上训练，其学到的分布天然包含测试集信息。若在划分前训练生成器，泄漏几乎是必然的。笔者建议，生成式增强必须严格在折内训练生成器，且生成样本只进入训练部分。

9.3 泄漏检测与评估规范化的呼声

近三年有多篇立场论文（position paper）讨论机器学习评估中的泄漏问题，呼吁建立更严格的评估规范。这与本文的信息边界守恒主线高度契合。笔者认为，未来不平衡学习的评估标准很可能会要求明确报告“采样发生在哪一层”，就像现在要求报告随机种子和超参搜索空间一样。

9.4 前沿预判

笔者判断，未来三到五年，不平衡预处理的研究重心会从“如何更好地采样”转向“如何更可靠地评估”。随着 AutoML 与 LLM 辅助建模的普及，流水线自动化程度提高，泄漏的隐蔽性也会上升——自动化工具若默认在划分前做预处理，风险会被规模化放大。因此，把信息边界守恒做成流水线的硬约束（而非依赖工程师的记忆），是比任何单一采样算法都更重要的工程命题。

十、常见误区与检查清单

10.1 五个高频误区

• 误区一：“先采样再划分只是为了让数据平衡，不影响评估。”——影响极大，见第三节。
• 误区二：“我已经先划分了，所以没问题。”——若采样在CV外层，泄漏仍在，见6.1。
• 误区三：“用全体数据做标准化没关系。”——同样是参数估计泄漏，与采样同理。
• 误区四：“阈值在测试集上调一下更准。”——测试集只能打开一次，阈值须在验证集选。
• 误区五：“SMOTE是标准做法，直接用就行。”——SMOTE对近邻结构敏感，必须折内执行。

10.2 上线前检查清单

十一、结论

回到最初的问题：数据不平衡的采样，应该在划分训练/测试集之前还是之后？答案明确——之后，且必须在交叉验证的每一折内部。先采样再划分不是“风格问题”，而是隐蔽的数据泄漏，它通过分布参数、近邻结构、类别先验三条路径污染评估，让指标失去统计意义。

本文以信息边界守恒为主线，把重采样、特征工程、阈值调优统一到“参数估计的信息来源”这一判据下，给出了一条可落地的工程流水线与检查清单。笔者认为，与其纠结于选择哪种采样算法，不如先把“采样关进折内的笼子”——这一步做对，后续所有优化才有意义；这一步做错，再精巧的模型也只是在泄漏的幻觉里自我感动。