大数据与AI之特征筛选：SHAP值看起来给出了每个特征的“贡献”，但在特征高度相关时，相关特征之间的SHAP值会互相“分摊”，导致两个真正重要的特征各自看起来都不重要——基于SHAP做特征筛选时，相关特征组该怎么处理才不会集体被误杀？

一、问题的提出：一个被反复踩中的筛选陷阱

在真实业务的特征工程流水线里，SHAP值几乎成了"特征重要性"的代名词。训练完模型，跑一遍 shap.TreeExplainer，画一张蜂群图，按平均绝对SHAP值排序，砍掉排名靠后的特征——这套流程简单、直观、被广泛采用。但它在一个非常常见的场景下会系统性失效：当特征之间存在高度相关性时。

设想两个几乎等价的特征，比如"月收入"和"年收入"，或者"近30天登录次数"和"近7天登录次数"。它们携带的信息高度重叠。在Shapley值的分配逻辑下，这两个特征对同一份预测的边际贡献会被"轮流"计算并平均，结果是每个特征分到的份额都只有总量的一半左右。如果模型里还有若干独立且中等重要的特征，那么这两个真正重要的相关特征，很可能在SHAP排序里双双落到中游甚至下游，被筛选规则一刀切掉。

这就是本文所说的"集体误杀"：不是某个特征被误判，而是一整组相关特征因为贡献被分摊，同时跌破筛选阈值。

这个现象在学术界早有讨论。Hooker、Mentch与Vejlovic在2021年发表于Nature Communications的工作就明确指出，当特征相关时，基于Shapley值的重要性分配会偏离"真实"的预测贡献，并提出了基于条件分布的改进估计（文献[1]）。Aas、Jullum与Løland在2021年Journal of Artificial Intelligence Research上系统讨论了相关特征下的Shapley解释问题（文献[2]）。但学术讨论与工程实践之间仍有明显鸿沟：大量团队依然在直接对原始SHAP值排序做筛选。

笔者认为，问题的关键不在于"SHAP是否可靠"，而在于我们把一个"归因工具"当成了"筛选工具"来用。归因回答的是"这份预测如何分配给各特征"，筛选回答的是"哪些特征值得保留"。两者目标不同，直接套用必然出问题。要解决它，必须引入一个中间层——相关特征簇（correlated feature cluster），把筛选的粒度从"单个特征"提升到"特征组"。

二、SHAP分摊效应的数学根源

2.1 Shapley值的定义与"平均边际贡献"

Shapley值源自合作博弈论，其定义是：特征 i 的贡献等于它在所有可能的特征子集中加入时带来的边际收益的加权平均。用公式表达，对特征集合 F，特征 i 的Shapley值为：

φ_i = Σ_{S ⊆ F\{i}} [ |S|!(|F|-|S|-1)! / |F|! ] · [ v(S ∪ {i}) − v(S) ]

其中 v(S) 是特征子集 S 的"价值函数"。在SHAP中，v(S) 通常定义为"仅保留子集S中特征时模型的期望输出"。问题的核心就藏在这个期望的定义方式里。

2.2 分摊效应为何发生：边际贡献的"轮流"

考虑两个完全相同的特征 A 和 B（相关系数为1的理想情形）。当计算 A 的Shapley值时，会考察"空集加入A"和"仅含B的集合加入B后再加入A"等情形。在"仅含B"的子集里，再加入 A 带来的边际贡献几乎为零，因为 B 已经提供了全部信息。于是 A 的Shapley值被大幅拉低；对称地，B 也被拉低。两者之和约等于"只保留其中一个特征"时应得的总贡献，但各自只有一半。

当相关性不是1而是0.8、0.9时，分摊不会那么极端，但方向一致。更麻烦的是，如果一组里有 k 个高度相关特征，每个分到的份额大致是总贡献的 1/k 量级（在信息完全冗余的极端情况下）。这意味着簇越大、冗余越强，单个特征的SHAP值被稀释得越厉害。

2.3 一个必须澄清的误区

很多工程师会说："SHAP值加起来等于模型输出，它是可加的、守恒的，怎么会错？"这里要区分两个层面。守恒性（efficiency）确实成立：所有特征的SHAP值之和等于预测值与基线之差。但守恒不等于"分配合理"。把100元分给两个共同完成工作的人，每人50元是守恒的，但如果其中一人单独就能完成全部工作，50/50的分配就低估了那个"可独立完成者"的价值。Shapley值的公平性公理在特征独立时表现良好，在特征相关时，"公平"的定义本身就变得模糊。

本文评述：把SHAP的守恒性当作"筛选正确性"的保证，是一个典型的范畴错误。守恒保证的是解释的加性一致，不保证归因在相关结构下的可辨识性。理解这一点，是设计正确筛选流程的前提。

三、文献脉络：从Shapley公理到相关特征归因

3.1 经典奠基工作

Lundberg与Lee在2017年NeurIPS提出的SHAP框架（文献[3]），把Shapley值引入模型解释，并给出TreeSHAP等高效算法（文献[4]）。此后SHAP迅速成为可解释ML的主流工具。Ribeiro等人在2016年提出的LIME（文献[5]）走的是局部代理模型路线，与SHAP形成互补。Strumbelj与Kononenko在2010年、2014年的工作（文献[6][7]）则为基于采样的Shapley估计奠定了基础。

在特征筛选方向，Breiman在2001年提出的随机森林置换重要性（文献[8]）是另一条经典脉络；Kursa与Rudnicki在2010年提出的Boruta算法（文献[9]）通过"影子特征"竞争来判定重要性，对相关特征有一定鲁棒性。Genuer等人在2010年的工作（文献[10]）讨论了随机森林变量重要性在相关变量下的偏差。

3.2 相关特征下的归因修正

真正直面"相关特征分摊"问题的是近几年的工作。Hooker等（2021，文献[1]）提出用条件分布替代边缘分布来估计价值函数，即"条件SHAP"，从而避免在相关特征上产生外推式的虚假边际贡献。Aas等（2021，文献[2]）系统比较了多种相关特征下的Shapley变体，指出不同定义会导致显著不同的归因结果。Fryer、Strümke与Nguyen（2021，文献[11]）从Shapley值的"公平性"角度讨论了相关特征带来的悖论。

Chen等（2020，文献[12]）提出的"分组SHAP"（grouped SHAP）思路，把相关特征聚为一组，在组级别计算Shapley值，组内再按某种规则分配。这一思路与本文主线高度契合。Mase、Owen与Seitz（2019，文献[13]）则从"Shapley值分解"角度讨论了如何把总贡献在相关变量间做更合理的拆分。Olsen等（2024，文献[14]）的工作进一步讨论了高维相关特征下的归因稳定性问题。

笔者认为，这些工作的共同启示是：在相关结构下，"单特征归因"本身就是一个病态问题（ill-posed），因为信息冗余使得贡献不可唯一辨识。与其追求"更准的单特征SHAP"，不如承认病态性，把归因粒度提升到"可辨识的组"。

3.3 特征聚类与冗余消除

特征聚类是另一条相关脉络。Hastie等人在Statistical Learning中讨论的变量聚类（文献[15]），以及后续的层次聚类、相关性聚类方法，为"把相关特征分组"提供了工具。Degenhardt等（2019，文献[16]）讨论了聚类变量选择。国内方面，南京大学周志华团队在特征选择与可解释性方面有持续工作（文献[17][18]），清华、中科院等团队在SHAP应用与改进上也有不少工程导向的论文（文献[19][20]）。

近三年（2022—2025）的文献明显向"相关感知"和"组级归因"倾斜。例如2023年多篇工作讨论条件置换重要性（conditional permutation importance）在相关特征下的表现（文献[21][22]），2024年有工作把因果图引入特征分组（文献[23]），2025年则有研究讨论大模型特征归因中的相关性问题（文献[24]）。这些进展共同指向一个方向：筛选的单位应当是"信息块"而非"单列"。

四、方法谱系与适用边界对比

在给出主线之前，先把可选方法摆开对比。工程选型的核心不是"哪个最先进"，而是"哪个在当前数据规模、相关性结构、算力预算下最稳"。

本文评述：表中没有一个方法在所有场景下占优。置换重要性在相关特征下会低估，是因为打乱单列破坏了特征间的联合信息，模型"看不到"原本的协同；条件置换修正了这一点但方差大。分组SHAP和聚类聚合的共同优点是把"不可辨识的单特征贡献"转化为"可辨识的组贡献"，代价是需要先确定分组。

五、核心主线：相关簇感知的三阶段筛选框架

本文提出的主线可以概括为一句话：先聚类分组，再组内聚合归因，后组间竞争筛选。三个阶段各有明确目标，缺一不可。下面逐阶段展开。

5.1 阶段一：相关簇构建

目标是把高度相关的特征划入同一簇。常用手段有三种：

• 层次聚类（变量聚类）：以 1 − |corr| 或 1 − |Spearman| 为距离，做层次聚类，在阈值处切树。优点是簇结构清晰、可解释；缺点是对阈值敏感。
• 相关性图连通分量：把 |corr| 超过阈值的特征连边，取连通分量作为簇。实现简单，但可能产生"链式"大簇。
• 基于VIF或互信息的贪心合并：逐步合并冗余度高的特征，适合维度不太高的场景。

阈值怎么定？工程上常用 |Pearson| ≥ 0.7 或 |Spearman| ≥ 0.7 作为"强相关"起点，但这不是金科玉律。笔者认为，阈值应结合业务语义与模型类型调整：树模型对中等相关更宽容，线性模型对共线性更敏感。对于类别特征或非线性关系，应优先用互信息、距离相关（distance correlation）等能捕捉非线性的度量。

关键提醒：聚类必须在训练集上做，且要防止信息泄漏。若用全量数据算相关矩阵再切分训练/验证，会引入轻微的泄漏，严格场景下应在训练折内完成聚类。

5.2 阶段二：组内聚合归因

分组完成后，不再看单特征SHAP，而是看"组级贡献"。有三种实现路径：

路径A：分组SHAP。把每个簇视为一个"超级特征"，在簇级别计算Shapley值。具体做法是把簇内特征同时加入或同时移除，价值函数 v(S) 中 S 的元素是"簇"而非"列"。这样簇的总贡献不会被内部稀释。实现上可借助 shap 的分组接口或自行封装。

路径B：组内SHAP求和。直接对簇内各特征的SHAP值求和，作为簇贡献的近似。优点是零额外算力；缺点是当簇内特征相关性不是极高时，求和会高估（因为Shapley的次可加性在相关时可能不严格成立）。工程上可作为快速近似，但正式决策建议用路径A。

路径C：组级置换重要性。把整簇特征一起打乱（保持簇内联合结构），看模型性能下降。这与分组SHAP在精神上一致，且对非线性模型友好。缺点是计算量随簇数增长。

本文评述：路径A与路径C在理论上更干净，路径B胜在便宜。笔者的建议是：用路径B做初筛排序，用路径A或C对边界簇做复核。这样既控制了算力，又避免了边界误判。

5.3 阶段三：组间竞争筛选

有了组级重要性，筛选就变成"在簇之间做取舍"。这里要回答两个问题：保留多少个簇？簇内保留哪些特征？

对于"保留多少簇"，可以用累计重要性曲线（类似PCA的碎石图）：按组重要性降序累加，取覆盖80%—90%总重要性的前若干簇。对于"簇内保留哪些"，则回到单特征层面，但此时不再用SHAP排序，而用业务可解释性、采集成本、稳定性等准则：优先保留语义清晰、线上易获取、跨时间稳定的那个代表特征。

一个实用的补充是"代表特征选择"：在簇内用与簇外特征相关性最低、与簇内其他特征相关性最高的那个特征作为代表，既保留信息又降低冗余。这与变量聚类中的"medoid"思路一致。

六、工程落地：代码骨架与阈值策略

6.1 代码骨架（Python）

下面给出一段可直接改造的骨架，演示"聚类—分组SHAP—组间筛选"的完整链路。数据为模拟数据，仅用于说明流程。

import numpy as np, pandas as pd
from scipy.cluster.hierarchy import linkage, fcluster
from scipy.spatial.distance import squareform
import shap
from sklearn.ensemble import RandomForestClassifier

# 1) 相关簇构建：以 1-|corr| 为距离做层次聚类
corr = X_train.corr(method="spearman").abs().fillna(0)
dist = 1 - corr.values
np.fill_diagonal(dist, 0)
Z = linkage(squareform(dist, checks=False), method="average")
clusters = fcluster(Z, t=0.3, criterion="distance")  # t 对应 1-corr 阈值
cluster_map = dict(zip(X_train.columns, clusters))

# 2) 分组SHAP：把同簇特征视为一个整体
model = RandomForestClassifier(n_estimators=400, random_state=42).fit(X_train, y_train)
explainer = shap.TreeExplainer(model)
sv = explainer.shap_values(X_train)

group_importance = {}
for g in set(clusters):
    cols = [c for c in X_train.columns if cluster_map[c] == g]
    idx = [X_train.columns.get_loc(c) for c in cols]
    group_importance[g] = np.abs(sv[:, idx]).sum(axis=1).mean()

# 3) 组间竞争：累计重要性覆盖 85% 的簇保留
imp = pd.Series(group_importance).sort_values(ascending=False)
keep_ratio = imp.cumsum() / imp.sum()
keep_groups = imp[keep_ratio <= 0.85].index.tolist() or [imp.index[0]]
keep_cols = [c for c in X_train.columns if cluster_map[c] in keep_groups]

这段代码有三个可调点：聚类阈值 t、重要性聚合方式、累计覆盖比例。它们共同决定了筛选的激进程度。

6.2 阈值策略：不要拍脑袋

阈值设定建议遵循"三看"原则：

• 看稳定性：用Bootstrap重采样多次跑聚类与组重要性，统计每个特征/簇被保留的频率。频率低于0.6的簇视为不稳定，谨慎保留。
• 看下游：用交叉验证评估不同阈值下的模型AUC/F1，选"性能不显著下降且特征数最少"的点。这是最务实的做法。
• 看业务：某些特征采集成本极高或合规敏感，即使重要性中等也应优先剔除；反之，监管要求必须保留的特征要单独设白名单。

关于Bootstrap的重复次数，工程上200—500次通常足够稳定；若特征维度很高，可降到100次并配合并行。需要强调：稳定性选择（stability selection）本身就是对抗"误杀"的有效手段，因为它把"一次排序的偶然性"平均掉了。

6.3 与模型训练流程的衔接

筛选不是一次性动作，而应嵌入训练流水线：在每一折训练集内完成聚类与归因，在验证折上评估，最后在全量训练集上重跑一次得到最终特征集。这样既避免了泄漏，也让筛选结果与最终模型一致。对于在线学习场景，可定期（如每周）重跑聚类，监控簇结构漂移。

七、案例推演：模拟数据上的对照实验

为直观说明问题，构造一组模拟数据（模拟数据，非真实业务数据）：20个特征，其中 X1 与 X2 相关系数约0.95且都与标签强相关，X3—X5 中等相关且中等重要，其余为噪声。样本量5000，二分类，用随机森林训练。

结果很典型：原始SHAP排序里，X1、X2双双跌到第6、第7，若按"保留前5"的规则，两个真正的主力特征会被一起删掉；而组级重要性把它们所在的簇排到第1，成功"救回"。X3因为独立且重要，在两种方法下都靠前，这也符合预期。

本文评述：这个模拟实验的价值不在于数字本身，而在于它复现了工程中常见的"排序错位"模式。需要提醒的是，模拟数据的相关性结构是人为设定的，真实数据中相关性往往更复杂（存在非线性、条件相关、时变相关），因此实际效果会打折扣，必须配合稳定性检验。

八、常见坑位与反模式清单

8.1 五个高频坑

• 坑一：在全量数据上算相关矩阵。导致轻微泄漏，且验证集信息污染训练。应在训练折内完成。
• 坑二：只看平均|SHAP|，不看分布。某些特征在少数样本上SHAP极大，均值被拉高，实际不稳定。应结合分位数与稳定性。
• 坑三：簇内再按SHAP排序删特征。这等于把分摊问题又请回来了。簇内应基于业务与稳定性选代表。
• 坑四：忽略类别特征与非线性相关。Pearson只测线性，类别特征需用互信息或目标编码后的相关性。
• 坑五：筛选后不重训模型。特征集变了，模型应重训并重新评估，否则重要性排序与最终模型不一致。

8.2 反模式：把SHAP当因果

另一个隐蔽的反模式是把SHAP重要性当作因果效应。SHAP是关联性归因，相关特征的分摊恰恰说明它无法区分"谁在真正驱动"。若业务目标是因果推断，应转向DoWhy、因果森林等方法（文献[25][26]），而不是在SHAP上做文章。

九、前沿预判与开放问题

展望未来三到五年，笔者认为有三个方向值得关注。其一是因果感知的特征分组：用因果发现算法（如PC、GES）先学出特征间的因果图，再按因果邻域分组，比纯相关性分组更贴近机制（文献[23][27]）。其二是组级归因的高效算法：当前分组SHAP在簇数多时仍然昂贵，基于核SHAP或TreeSHAP的组级扩展是可行方向（文献[28][29]）。其三是面向大模型与高维稀疏特征的归因：在embedding、稀疏交叉特征场景下，相关性结构更复杂，现有方法面临挑战（文献[24][30]）。

开放问题同样明显：分组阈值缺乏理论最优解；组级归因的置信区间估计尚不成熟；当相关性随时间漂移时，如何做在线分组更新，目前工程实践多于理论。这些问题不解决，"相关簇感知筛选"就仍带有一点经验色彩。

十、结论

SHAP的分摊效应不是bug，而是Shapley值在相关结构下的固有性质。把它当筛选工具直接排序，必然在相关特征上翻车。本文给出的主线——先聚类分组、再组内聚合归因、后组间竞争筛选——本质上是把筛选的粒度从"不可辨识的单特征"提升到"可辨识的组"，再用业务与稳定性准则完成组内取舍。它不追求理论上的完美，但提供了可操作、可复现、可审计的工程路径。

最后提醒一句：任何筛选方法都只是决策辅助。真正决定特征去留的，是业务目标、数据可得性与模型稳定性的综合权衡。SHAP给的是线索，不是判决书。

主要参考文献