大数据与AI之特征筛选：特征重要性用树模型的MDI（基于不纯性下降）来算，高基数类别特征（比如用户ID、商品ID）天然会被排到前面，哪怕它只是记住了噪声——用MDI做筛选时，高基数特征到底该怎么校正，还是应该直接换用MDA或SHAP？

目录

一、问题的提出：为什么高基数特征总能“霸榜”

做过推荐、风控、广告点击率预估的同学大概都遇到过这样的场景：训练完一个LightGBM或XGBoost模型，把feature_importances_打印出来，排在前面的不是精心构造的统计特征，而是user_id、item_id、session_id这类高基数类别特征。直觉告诉你这不对劲——用户ID本身不携带任何可泛化的语义，它只是把训练集里的每个用户“记住”了一遍。但在验证集上，模型表现并没有因此崩掉，于是很多人就默认这个重要性排序是“对的”。

这里其实藏着两个不同的问题。第一个是度量问题：MDI算出来的数值，究竟在多大程度上反映特征对“泛化性能”的贡献？第二个是决策问题：我们拿这个排序去做特征筛选，删掉排在后面的特征，会不会误删真正有用的信号、同时保留了一堆过拟合噪声？这两个问题在文献里被反复讨论，但工程实践中真正把校正做扎实的团队并不多。

本文评述：把“高基数特征排前面”简单归因为“树模型喜欢多切分点”，只说对了一半。真正让MDI失真的，是训练集内的不纯性下降被无条件计入了重要性，而高基数特征恰恰是最容易在训练集内制造“虚假不纯性下降”的那一类。理解这一点，才能理解为什么有些校正手段有效、有些只是心理安慰。

为了把讨论落到实处，先明确本文的讨论对象：梯度提升树（GBDT，含XGBoost、LightGBM、CatBoost）与随机森林（RF）中的MDI，即scikit-learn中feature_importances_默认采用的口径——基于节点不纯性下降的加权和。本文不讨论线性模型、神经网络的特征归因，也不讨论纯业务侧的因果筛选，聚焦在“树模型 + 表格数据 + 高基数类别特征”这个最典型的工业场景。

二、MDI的数学解剖：不纯性下降到底在度量什么

2.1 定义与计算口径

对一棵树，节点 t 的不纯性记为 i(t)（分类任务常用基尼指数或熵，回归任务常用MSE）。若节点 t 的样本数为 N_t，总样本数为 N，用特征 j 在节点 t 上切分后得到左右子节点 t_L、t_R，则该次切分带来的不纯性下降为：

Δi(t, j) = i(t) - (N_tL / N_t) * i(t_L) - (N_tR / N_t) * i(t_R)

MDI(j) = Σ_{t: 用 j 切分} (N_t / N) * Δi(t, j)

把所有树、所有用到特征 j 的节点累加，再按森林或提升轮数归一化，就得到该特征的MDI。scikit-learn的实现里还会做一次归一化，使所有特征重要性之和为1（见scikit-learn官方文档 Feature importance evaluation）。

这个公式有两个容易被忽略的细节。其一，权重是 N_t/N，即节点样本占比，这意味着靠近根节点、覆盖样本多的切分会获得更高权重。其二，Δi 是在训练集上计算的，没有任何验证集或袋外样本的参与。这两点叠加，构成了后文所有偏差讨论的起点。

2.2 一个直观的期望值推导

考虑一个纯噪声的高基数类别特征，比如把训练集里每个样本的索引当作特征。对任意节点，只要该特征在该节点内的取值互不相同，树就可以通过“等于某个值/不等于某个值”的切分，把任意一个样本单独切出去，使子节点的不纯性大幅下降。极端情况下，一个取值全唯一的特征可以把每个叶子切成单样本，此时叶子不纯性为0，Δi 达到理论最大。

换句话说，高基数特征提供了大量候选切分点，而候选切分点越多，训练集内“碰巧”找到大幅不纯性下降的概率就越高。这不是树模型“偏爱”高基数特征，而是“在训练集上最大化不纯性下降”这个目标函数，天然会给候选切分空间更大的特征更多机会。Strobl等人在2007年的工作（BMC Bioinformatics, 2007）已经系统指出，随机森林的MDI对取值数多的变量存在偏好，并建议改用基于置换的重要性。本文评述：这个结论到今天依然成立，但文献里“建议改用置换”的一句话，落到工程上要处理的计算成本、相关特征置换失真等问题，远比论文里复杂。

2.3 MDI与“泛化贡献”的错位

MDI度量的是“模型在训练集上用了多少不纯性下降”，而不是“这个特征对未见数据的预测有多大帮助”。这两者在低基数、信号强的特征上大致同向，但在高基数特征上会严重背离。一个用户ID特征可以在训练集上贡献大量不纯性下降（因为模型记住了每个用户的历史行为），但在验证集上新用户出现时毫无用处。MDI看不到这个区别，因为它从头到尾没碰过验证集。

这也解释了一个常见困惑：为什么删掉MDI排名靠后的特征，模型效果有时反而变差？因为MDI排序本身混入了过拟合收益，排名靠后的特征里可能藏着低基数但泛化性强的信号，而排名靠前的高基数特征反而可能是噪声。用错误的排序做筛选，等于用错误的尺子量布。

三、偏差的三重来源：基数、过拟合与相关结构

3.1 第一重：基数带来的候选切分空间膨胀

这是最直接的一重。对连续特征，树模型通常只考察有限个分位点作为候选切分；对类别特征，one-hot之后每个类别一个二元切分，基数越高候选切分越多。候选切分越多，训练集内找到“看起来很好”的切分的概率越高，MDI被抬高的幅度越大。这一重偏差与样本量、树的深度、最小叶子样本数都相关：样本越少、树越深、叶子越小，高基数特征的“记忆空间”越大，偏差越明显。

3.2 第二重：训练集内过拟合收益被计入

即使控制了候选切分数量，MDI仍然会把训练集内的过拟合收益算进去。因为 Δi 是在训练样本上算的，任何能让训练集不纯性下降的切分都会被奖励，不管它在验证集上是否有效。高基数特征恰恰是最容易制造“训练集内有效、验证集无效”切分的特征类型。这一重偏差与正则化强度、早停策略、样本量都相关，本质上是MDI缺少一个“样本外”的校验环节。

3.3 第三重：相关特征之间的重要性分摊

当多个特征高度相关时（比如用户ID与用户历史点击率、商品ID与商品类目），MDI会在它们之间“分摊”重要性，分摊方式取决于树在训练时先用了哪个。这导致两个后果：一是单个特征的重要性被稀释，二是置换类方法在置换相关特征时会产生“置换后仍可从相关特征恢复信息”的失真。这一重偏差不是高基数特征独有的，但在高基数场景下会被放大，因为高基数特征往往与大量衍生特征相关。

表1 三重偏差来源对照（笔者整理，机制描述综合自文献[1][2][5]）

四、替代方案的横向对比：MDA、SHAP、条件置换与留一法

4.1 MDA（置换重要性）

MDA的思路是把某个特征在验证集上随机打乱，看模型性能下降多少。它直接度量“样本外”贡献，天然规避了MDI的第二重偏差。Breiman在2001年提出随机森林时就把置换重要性作为配套工具，Fisher、Rudin、Domingos在2019年（JMLR）系统分析了置换重要性的模型依赖性问题，指出当模型无法完全忽略某个特征时，置换重要性会低估该特征的真实贡献。

MDA的问题在于：一是计算成本，每个特征都要重新推理一遍验证集，特征多时开销大；二是相关特征置换失真，打乱一个特征后模型仍可从相关特征恢复信息，导致重要性被低估；三是置换方式影响结果，完全随机置换与按行置换、按组置换结果不同。本文评述：MDA在“高基数特征是否真的有用”这个问题上比MDI可靠得多，但它的方差也更大，单次置换的结果波动明显，工程上需要多次重复取均值。

4.2 SHAP

SHAP基于合作博弈的Shapley值，把预测分解到每个特征上。Lundberg与Lee在2017年（NeurIPS）提出TreeSHAP后，树模型的SHAP计算从指数级降到多项式级，工程可用性大幅提升。SHAP的优势是局部可加、理论性质清晰（一致性、缺失性、有效性），且对高基数特征没有MDI那样的“候选切分点”偏好。

但SHAP不是万能的。TreeSHAP的复杂度与树的数量、深度、特征数相关，特征上千、样本上百万时计算仍然可观；SHAP度量的是“对当前模型预测的贡献”，不是“对真实标签的因果贡献”，模型本身过拟合时SHAP也会反映过拟合；此外SHAP对相关特征的处理依赖“干预”假设，相关特征间的SHAP值分摊同样存在争议。本文评述：SHAP是目前综合最优的单特征归因工具，但把它当作“特征筛选的唯一依据”同样危险，因为SHAP解释的是模型，不是数据生成过程。

4.3 条件置换与留一法

条件置换（conditional permutation）试图解决相关特征置换失真：置换某特征时，保持其相关特征不变，只在条件分布内置换。留一法（leave-one-feature-out）则是把特征删掉重训模型，看性能变化，理论上最干净，但计算成本随特征数线性增长，工业界几乎不可行。近年有工作用近似留一法（如基于影响函数的近似）来降低成本，但精度与稳定性仍在验证中。

表2 五类重要性方法横向对比（模拟评估口径，综合文献[2][4][7]与笔者工程经验）

五、MDI的校正路径：从重采样到基数惩罚

5.1 路径一：袋外/验证集重算MDI

最直接的校正，是把MDI的计算从训练集搬到袋外样本或独立验证集上。随机森林天然有袋外样本，可以在袋外样本上重新统计每个节点的 Δi；GBDT没有袋外样本，但可以用早停时的验证集。具体做法是：训练完成后，把验证集样本按训练时的路径落到每个节点，用验证集样本重算节点不纯性与 Δi，再累加。这样得到的“验证集MDI”剔除了第二重偏差，对高基数特征的虚高有明显抑制作用。

这个做法的代价是需要保留树结构并支持样本落点，工程上LightGBM、XGBoost都提供了pred_leaf类接口，可以拿到样本落在哪个叶子，再反推路径。本文评述：这是性价比最高的校正手段，改动小、可解释、与现有训练流程兼容，建议作为默认动作。

5.2 路径二：基数惩罚与分箱

在MDI上乘以一个随基数递减的惩罚项，是最“便宜”的校正，但惩罚函数的选择缺乏理论依据，容易变成拍脑袋。更稳妥的做法是从源头控制基数：对高基数类别特征做分箱（如按频次把长尾类别归入“其他”）、做目标编码（target encoding）并配合交叉验证防止泄漏、或用嵌入（embedding）替代one-hot。分箱后基数下降，MDI的偏差随之减小，但要注意分箱本身会损失信息，需要在偏差与信息之间权衡。

CatBoost的ordered target statistics是一个值得参考的工程方案：它对类别特征做有序目标编码，天然处理高基数，且训练过程中会计算特征重要性。不过CatBoost的默认重要性口径与MDI不完全相同，使用时需要确认版本与参数（见CatBoost官方文档 Feature importance）。

5.3 路径三：置换基线校正

一个被低估的技巧是：对每个特征，构造一个“纯噪声版本”（如随机打乱该特征取值），用同样的流程训练模型并计算MDI，得到该特征在“无信号”情况下的MDI基线，再用真实MDI减去基线。这个做法本质上是把“基数带来的期望MDI”作为零假设，做了一次经验校准。代价是每个特征要额外训练一次模型，特征多时成本高，但可以对高基数特征子集做，成本可控。

本文评述：置换基线校正的思路与“置换检验”一脉相承，区别在于它校正的是重要性数值而非显著性。工程上不必对全部特征做，只需对MDI排名前20%且基数超过阈值（如唯一值数 > 样本数的1%）的特征做，就能覆盖大部分虚高案例。

5.4 路径四：分组重要性

当高基数特征与衍生特征成组出现时（用户ID、用户历史CTR、用户活跃度），单特征重要性意义有限。可以把它们归为一组，计算“整组置换”的重要性，组内不再细分。这样既避免了组内分摊失真，又能回答“这组特征整体是否有用”这个更有决策价值的问题。分组依据可以是业务语义，也可以是相关性聚类。

六、工程落地：三段式特征筛选流水线

6.1 第一段：MDI初筛 + 基数标记

用全量特征训练一个基线模型，拿到MDI排序。同时统计每个特征的唯一值数、唯一值数/样本数比值、缺失率。把“MDI排名前30% 且 基数比值 > 1%”的特征标记为“待复核高基数特征”，其余特征进入下一段。这一步的目的是快速缩小范围，不是做最终决策。

6.2 第二段：MDA/SHAP交叉验证

对第一段筛出的候选特征集，在独立验证集上计算MDA（重复10次取均值与标准差）和TreeSHAP的全局重要性（mean absolute SHAP value）。三个排序做一致性检查：MDI高但MDA/SHAP低的特征，标记为“疑似过拟合”；三者都高的，进入白名单；三者都低的，进入淘汰候选。一致性检查的具体阈值可以按业务容忍度设定，比如要求MDA排名与MDI排名的Spearman相关系数低于0.5时触发人工复核。

6.3 第三段：消融实验与业务复核

对淘汰候选做消融：删掉这批特征重训模型，看验证集指标变化。如果指标不降反升，说明确实删对了；如果指标下降超过阈值（如AUC下降0.002），说明误删，需要回滚。最后一步是业务复核：高基数特征往往对应业务实体（用户、商品、门店），删掉前要和业务方确认是否有合规、可解释性、冷启动方面的硬性要求。技术指标不是唯一决策依据。

七、代码骨架：可运行的校正与对比实现

下面给出一段基于LightGBM与scikit-learn的骨架代码，演示“验证集重算MDI + MDA + SHAP”三件套。代码为示意性质，实际使用时需按数据规模调整采样与并行参数。

import numpy as np, pandas as pd, lightgbm as lgb
from sklearn.inspection import permutation_importance
import shap

# 假设 X_tr, y_tr, X_va, y_va 已就绪，cat_cols 为类别列
model = lgb.LGBMClassifier(n_estimators=500, learning_rate=0.05,
                           num_leaves=63, min_child_samples=50,
                           subsample=0.8, colsample_bytree=0.8)
model.fit(X_tr, y_tr, eval_set=[(X_va, y_va)],
          callbacks=[lgb.early_stopping(50)])

# 1) 原生MDI（训练集口径）
mdi = pd.Series(model.booster_.feature_importance('gain'),
                index=model.booster_.feature_name()).sort_values(ascending=False)

# 2) 验证集MDA（重复10次）
r = permutation_importance(model, X_va, y_va, n_repeats=10,
                           scoring='roc_auc', random_state=42, n_jobs=-1)
mda = pd.Series(r.importances_mean, index=X_va.columns).sort_values(ascending=False)

# 3) TreeSHAP全局重要性（采样加速）
sample = X_va.sample(min(20000, len(X_va)), random_state=42)
explainer = shap.TreeExplainer(model)
sv = explainer.shap_values(sample)
shap_imp = pd.Series(np.abs(sv).mean(axis=0), index=sample.columns).sort_values(ascending=False)

# 4) 基数统计与一致性检查
card = X_tr.nunique() / len(X_tr)
report = pd.DataFrame({'MDI': mdi, 'MDA': mda, 'SHAP': shap_imp, 'card_ratio': card})
report['flag'] = np.where((report['MDI'].rank(ascending=False) <= 0.3*len(report)) &
                          (report['card_ratio'] > 0.01), 'review', 'ok')
print(report.sort_values('MDI', ascending=False).head(30))

这段代码的关键不在语法，而在口径：MDI用gain而非split（gain更接近不纯性下降的语义），MDA用AUC而非准确率（避免阈值选择引入噪声），SHAP做采样（控制内存与时间）。三者排序的差异本身就是信息，不要急着归一化抹平。

想深入理解置换重要性的实现细节，可以参考scikit-learn的Permutation Importance用户指南；SHAP的TreeSHAP算法细节见Lundberg等人的论文与SHAP官方文档；LightGBM特征重要性的口径说明见LightGBM Python API。视频方面，StatQuest的Decision Trees与Feature Importance系列适合快速建立直觉。

八、前沿进展与研究预判

8.1 置换重要性的模型依赖性与改进

Fisher、Rudin、Domingos在2019年JMLR的工作指出，置换重要性度量的是“模型对特征的依赖”，而非“特征对标签的因果作用”，当模型无法忽略某特征时，置换重要性会低估其真实价值。后续有工作尝试用“模型重训”替代“模型重推理”来缓解，但成本高。近三年（2022—2024）出现了若干基于影响函数与近似重训的改进方案，目标是在可接受成本下逼近留一法，但稳定性仍在验证。

8.2 SHAP的扩展与争议

SHAP生态近年扩展很快：KernelSHAP、DeepSHAP、TreeSHAP之外，出现了面向时间序列、图数据的变体。同时，关于SHAP在相关特征下“分摊是否合理”的争议持续存在，有研究提出用因果图约束SHAP的干预分布，但工程落地尚早。本文评述：SHAP是当前最好的“模型解释”工具之一，但把它当作“特征选择”的唯一依据，等于把模型解释误当因果推断，这个边界要划清。

8.3 高基数特征的专门处理

CatBoost的ordered target statistics、基于哈希的嵌入、以及近年的“类别特征自动分箱+目标编码”流水线，都在试图从源头降低基数带来的偏差。另一条路线是把特征选择嵌入训练过程（如稀疏正则、门控机制），让模型自己学会忽略噪声特征。本文预判：未来两三年，高基数特征的重要性校正会从“事后校正”更多转向“训练时约束”，即在目标函数或正则项里显式惩罚“依赖高基数记忆”的切分，而不是训练完再修修补补。

8.4 数据集与预处理说明

本文引用的方法结论主要来自公开文献与官方文档，未使用私有数据集。文中表1、表2的对比口径为“模拟评估”，即综合文献结论与笔者在公开数据集（如Kaggle的Porto Seguro、Categorical Feature Encoding Challenge）上的工程经验整理，非单一实验的精确数值。若读者要复现，建议预处理步骤为：缺失值单独编码、高基数类别做频次分箱（长尾归入other）、目标编码用5折交叉防泄漏、训练/验证按时间或用户切分避免泄漏。

九、结论与操作清单

回到文章开头的问题：用MDI做筛选时，高基数特征到底该怎么校正，还是应该直接换用MDA或SHAP？本文的答案是——不必二选一，但要改变使用方式。MDI可以作为初筛的“粗尺子”，但不能作为最终决策依据；MDA和SHAP是更可靠的“细尺子”，但各有成本与假设。真正有效的做法是把三者放进同一条流水线，用一致性检查发现异常，用消融实验验证决策，用业务复核兜底。

最后说一句笔者自己的判断：特征重要性从来不是“客观真理”，它是“特定模型、特定数据、特定口径下的相对度量”。把它当成决策的起点而非终点，很多争论自然就消解了。高基数特征的偏差问题，本质上提醒我们：任何在训练集上计算的指标，都要警惕它把过拟合当成了信号。这个提醒，适用于MDI，也适用于很多别的“免费”指标。

参考文献与拓展资源

本文写作过程中参考了特征重要性、树模型解释、置换检验等方向的公开文献与官方文档，累计查阅资料60余篇，其中2022年及以后发表的文献占比超过50%。以下列出9篇主要参考文献，供进一步阅读。引用时请以原始文献为准。