大数据与AI之特征筛选：特征“近30天购买次数”和“近30天购买金额”单独看IV值都很高（0.45和0.41），但后者加进去AUC只涨了0.002，因为两者相关系数0.89——筛选时到底该看“信息量”还是“信息增量”，单变量分数高但彼此高度冗余的特征该怎么成组处理？

目录

一、问题的提出：两个“强特征”为何只贡献一点点

先把场景摆清楚。某消费信贷场景的特征表里，有两个衍生变量：近30天购买次数（记为 F1）与近30天购买金额（记为 F2）。在训练集上单独计算 IV，F1 为 0.45，F2 为 0.41，按业内常用的经验刻度（IV>0.3 视为强预测力），两者都够格进模型。可当 F1 已经在模型里、再把 F2 加进去时，验证集 AUC 只从 0.812 涨到 0.814，提升 0.002，几乎落在置信区间噪声里。进一步算相关系数，Pearson 0.89，Spearman 0.87——高度冗余。

这个现象不是个例。它暴露了一个在特征筛选环节长期被模糊处理的问题：单变量分数衡量的是“这个特征自己知道多少”，而不是“在已有特征之外它还能补充多少”。前者是信息量，后者是信息增量。筛选时若只盯 IV 排序，就会把一组高度相关的“同义特征”全部放进模型，既增加过拟合风险，又让评分卡的可解释性和稳定性变差。

需要强调的是，这个判断并非否定 IV 的价值。IV 在初筛阶段依然是性价比极高的工具，计算快、可解释、对分箱友好。问题在于把它当成唯一裁判。本文后续会逐一拆解：IV 的数学结构决定了它天然“看不见冗余”，而 AUC 的增量又高度依赖入模顺序，二者必须配合使用。

二、指标解剖：IV 到底在度量什么

2.1 从 WOE 到 IV 的推导

设某特征分箱后第 i 箱的好样本占比为 p_good,i、坏样本占比为 p_bad,i，则该箱的 WOE 定义为：

WOE_i = ln( p_good,i / p_bad,i )
IV_i  = ( p_good,i - p_bad,i ) * WOE_i
IV    = Σ_i IV_i

从形式上看，IV 是“分布差异”与“证据权重”的乘积求和，本质上是该特征分箱分布与目标变量分布之间的一种加权 KL 散度近似。它衡量的是：仅凭这个特征的分箱，能把好坏样本的分布拉开多远。

这里有个容易被忽略的细节：IV 的计算完全在“单变量—目标”的二维平面上完成，不涉及任何其他特征。也就是说，F1 的 IV=0.45 是在“世界上只有 F1 这一个特征”的假设下算出来的。当 F2 与 F1 相关 0.89 时，F2 的 IV=0.41 里有相当大一部分，其实是 F1 已经贡献过的那部分信息被“重新计了一遍”。

本文评述：IV 的可加性只在“特征相互独立”时近似成立。一旦特征间存在相关，各特征 IV 之和会系统性高估联合信息量。这不是 IV 的缺陷，而是所有单变量指标的共同局限——它们回答的是边际问题，不是联合问题。

2.2 IV 的经验刻度与它的“盲区”

业内常用的 IV 刻度大致是：<0.02 几乎无预测力，0.02–0.1 弱，0.1–0.3 中等，0.3–0.5 强，>0.5 需警惕（可能过拟合或信息泄漏）。这套刻度在大量评分卡实践中被验证有效，但它是单变量刻度，不能直接外推为“多变量模型里的贡献刻度”。

注：刻度来源为业内评分卡实践的通行经验总结，非某一篇文献的独创结论，不同场景阈值可上下浮动。

IV 的盲区可以归纳为三条：其一，看不见特征间冗余；其二，对分箱方式敏感，分箱越细 IV 往往越高（有偏）；其三，只度量“分布差异”，不区分“差异的方向是否与业务逻辑一致”。第三条尤其重要——一个 IV 很高但方向反直觉的特征，可能是数据问题而非真信号。

三、信息量 vs 信息增量：两种筛选哲学

3.1 用信息论语言把两者说清楚

设目标变量为 Y，特征集合为 S，新特征为 X。单变量信息量可以理解为互信息 I(X;Y)；而信息增量是在已有集合 S 的条件下，X 带来的条件互信息：

ΔI = I( X ; Y | S ) = H(Y|S) - H(Y|S ∪ {X})

当 X 与 S 中的某个特征高度相关时，H(Y|S) 已经很低，ΔI 自然就小。F1 与 F2 相关 0.89 的场景，正是 ΔI 被“吃掉”的典型。IV 近似对应 I(X;Y) 的一个加权版本，而 AUC 的增量则更接近 ΔI 在排序层面的体现。两者度量的是不同量，出现“IV 高、增量低”完全在数学预期之内。

笔者认为：把“IV 高但增量低”当成异常，是概念混淆导致的。真正该问的是——在给定已选特征集的前提下，这个新特征的条件信息量还剩多少？这个问题 IV 回答不了，必须用条件化指标或增量实验来回答。

3.2 增量评估的三种工程实现

理论清楚了，工程上怎么落地？常见三条路径，各有取舍：

实践中推荐“条件IV 做快速筛查 + 增量AUC 做最终确认”的组合。条件IV 负责在海量候选里快速剔除明显冗余的，增量AUC 负责在小候选集上做精细决策。前者便宜，后者贵，分工明确。

3.3 一个模拟数据的直观演示

为说明问题，构造一组模拟数据（模拟数据，仅用于演示逻辑，非真实业务数据）：样本量 50000，坏样本率 8%，F1 与 F2 由同一个潜变量加不同噪声生成，相关系数约 0.89。分别计算单变量 IV 与逐步增量 AUC，结果如下表。

注意最后两行：同样的两个特征，入模顺序不同，增量差异明显（+0.002 vs +0.009）。这提醒我们，增量AUC 本身也依赖顺序，不能把它当成对称的“贡献度”。工程上要么固定一个合理的入模顺序（如按业务逻辑或 IV 降序），要么用多次随机顺序取平均，降低顺序偏差。

四、相关性度量的工具箱与选择逻辑

4.1 五种相关性度量，各管一段

判断两个特征是否冗余，不能只看一个相关系数。不同度量捕捉不同类型的关联，选错了会漏判或误判。

本文评述：很多团队只算一个 Pearson 就下结论，这在树模型场景下风险不小。树模型能捕捉非线性与交互，Pearson 为 0 不代表无关联。稳妥做法是Pearson + Spearman + 互信息三件套，任一超过阈值就进入“待核查组”，再人工看分布和业务含义。

4.2 相关系数 0.89 意味着什么

0.89 的 Pearson 相关，平方后 R²≈0.79，意味着一个特征的线性变异有约 79% 可被另一个解释。对线性模型，这几乎必然导致系数不稳、符号翻转；对树模型，影响没那么致命，但会导致重要性被随机分摊到两个特征上，单看特征重要性会误以为两者都“不太重要”，实际是信息被稀释了。

一个常被引用的经验阈值是 |r|>0.7 视为强相关、0.5–0.7 中等、<0.5 弱。但阈值不是教条。在样本量大、特征维度低的场景，0.7 可以放宽；在高维小样本场景，0.5 就该警惕。更稳的做法是结合增量实验定阈值：把相关性从高到低排序，逐对做增量AUC，找到“增量开始明显为正”的那个相关水平，作为本场景的经验分界。

4.3 相关 ≠ 冗余：三种要区分的情形

高相关不等于必须二选一，要分情形：

情形一：同源派生。F1 与 F2 都由“购买行为”派生，本质是同一潜变量的不同投影。这种冗余最彻底，通常保留一个即可，选与业务口径更稳、缺失更少的那个。

情形二：相关但方向互补。两个特征总体相关，但在某些分段上方向相反（如高金额低频 vs 低金额高频）。这种“局部互补”在树模型里可能仍有增量，值得保留并观察交互。

情形三：伪相关。由共同的时间趋势或第三方变量驱动，去掉趋势后相关消失。这种要优先处理数据本身，而不是在特征层面纠结。

五、成组处理：聚类分组—组内择优—组间增量

这是本文给出的核心操作框架。三段式，每段有明确输入输出和判断标准。

5.1 第一段：聚类分组（把“同义特征”圈到一起）

目标是把候选特征按“信息相似度”聚成若干组，组内高度冗余，组间相对独立。步骤：

Step 1 构造相似度矩阵。对连续特征算 Spearman（稳健），对离散特征算 Cramér's V 或互信息，混合类型统一离散化后算互信息。得到对称相似度矩阵。

Step 2 选聚类算法。层次聚类（average linkage）最常用，因为它不预设组数，且能输出树状图供人工判断。距离定义为 1 - 相似度。也可用 DBSCAN 处理“有些特征谁也不像”的情形。

Step 3 切树定组。在距离阈值处切树。阈值建议从 0.3（相似度 0.7）起步，结合业务人工复核。切完后每组给一个业务标签（如“购买频次类”“金额类”“浏览类”），便于后续解释。

本文评述：聚类分组的关键不是算法多高级，而是“分组结果能不能用业务语言解释”。如果一组里混进了频次和金额两类特征，说明相似度度量或阈值有问题，应回退调整，而不是硬着头皮往下走。

5.2 第二段：组内择优（每组留一个“代表”）

组内择优不是简单选 IV 最高的。要综合四个维度打分：

预测力：IV 或单变量 AUC，作为基础分。

稳定性：跨时间窗（如按月）IV 的变异系数，或 PSI。变异大的降权。

覆盖率与缺失：缺失率高、覆盖人群窄的特征，即便 IV 高也要谨慎。

可解释性：业务口径清晰、方向符合常识的优先。评分卡场景这条权重很高。

一个可操作的打分公式（权重可按场景调）：

Score = 0.4 * norm(IV)
      + 0.3 * (1 - norm(IV变异系数))
      + 0.2 * 覆盖率
      + 0.1 * 可解释性评分(1~5 归一化)

组内取 Score 最高者为代表，其余标记为“冗余候选”，暂不淘汰，留到第三段验证。这样既压缩了维度，又保留了回退余地。

5.3 第三段：组间增量验证（决定最终入模集）

各组代表进入候选池后，用前向贪心 + 增量AUC 做最终筛选。具体：

Step 1 按组代表的单变量 IV 降序排列，作为初始入模顺序。

Step 2 依次加入，记录验证集 AUC 增量。增量低于阈值（建议 0.001–0.003，视样本量定）的，标记为“可跳过”。

Step 3 对被跳过的特征，做一次“反向验证”：先放它、再放已选集，看是否仍无增量。双向都无增量，才最终剔除。

Step 4 用 5 折或时间序列交叉验证重复 Step 2–3，取增量均值与标准差，避免单次划分的偶然性。

回到开头的例子：F1 与 F2 会被聚到同一组，组内择优保留 F1（假设其稳定性更好），F2 进入“冗余候选”。组间验证时 F2 增量仅 0.002，低于阈值，最终剔除。模型维度降一，AUC 几乎不变，可解释性和稳定性反而提升。

六、可落地的工程步骤与阈值清单

6.1 完整流程清单

把上面的框架压缩成一张可执行的清单，按顺序做：

1）数据准备：划分训练/验证/时间外样本，做缺失填充与异常值处理，记录每步的样本量变化。

2）单变量初筛：算 IV、覆盖率、缺失率，剔除 IV<0.02 或缺失率>80% 的。

3）相似度矩阵：Spearman + 互信息，混合类型先离散化。

4）层次聚类分组：相似度阈值 0.7 起步，人工复核组标签。

5）组内打分择优：四维打分，保留代表，其余标记候选。

6）组间前向增量验证：增量阈值 0.001–0.003，双向验证。

7）稳定性复核：时间外样本上重跑，看入选集是否漂移。

8）文档化：记录每步剔除理由，便于复现和审计。

6.2 阈值参考表

6.3 一段可复用的伪代码

# 伪代码：三段式特征筛选
def select_features(df, y, candidates, auc_thr=0.001, sim_thr=0.7):
    # 1. 单变量初筛
    stats = {f: calc_iv(df[f], y) for f in candidates}
    pool = [f for f in candidates if stats[f] >= 0.02]
    # 2. 相似度矩阵 + 层次聚类
    sim = build_similarity(df[pool])          # Spearman + MI
    groups = hierarchical_cluster(sim, 1 - sim_thr)
    # 3. 组内择优
    reps = []
    for g in groups:
        reps.append(pick_representative(g, stats, stability, coverage))
    # 4. 组间前向增量验证
    selected, base_auc = [], 0.0
    for f in sorted(reps, key=lambda x: -stats[x]):
        auc = cv_auc(selected + [f], y)
        if auc - base_auc >= auc_thr:
            selected.append(f); base_auc = auc
    return selected

这段伪代码刻意省略了细节（如交叉验证实现、相似度计算），目的是突出流程骨架。实际落地时，建议把每一步的中间结果落盘，方便回溯。

七、前沿方法与学术预判

7.1 经典方法的现代用法

Boruta 用“影子特征”做随机森林重要性对比，天然处理冗余——相关特征会一起被保留或一起被剔除，适合做粗筛。mRMR（最小冗余最大相关）直接把“相关性”和“冗余性”写进目标函数，是本文框架的理论近亲。LASSO 通过 L1 正则做稀疏选择，但相关特征间会随机保留一个，结果不稳定，需配合稳定性选择（stability selection）多次重采样取交集。

本文评述：这些方法各有适用面，但没有一个能替代“业务复核”。算法能告诉你“这组特征冗余”，但“留哪个”往往取决于口径稳定性、合规要求和可解释性，这些是算法看不见的。

7.2 交互与条件重要性的兴起

近年 SHAP 交互值、条件置换重要性等方法逐渐进入工程视野。它们能回答“给定其他特征，这个特征的边际贡献是多少”，正好对应本文的“信息增量”概念。相比单变量 IV，这类方法计算贵，但在最终定模阶段值得投入。一个务实的做法是：粗筛用 IV，精筛用增量AUC，定模后用 SHAP 做解释与复核，三层配合。

7.3 对自动化特征筛选的冷静判断

AutoML 工具常把特征筛选做成黑盒，一键输出“重要特征列表”。这在快速原型阶段有用，但生产环境要谨慎。原因有二：其一，自动化工具的相关性处理策略不透明，可能悄悄丢掉业务上必须保留的特征；其二，筛选结果的稳定性缺乏保证，换一批数据可能大变。笔者的建议是把自动化工具当“候选生成器”，而不是“决策者”，最终名单仍走人工复核。

八、常见误区与踩坑记录

误区一：IV 越高越好。IV 过高（>0.5）往往是分箱过细或信息泄漏的信号，不是“特征特别强”。先查数据，再谈筛选。

误区二：相关就删一个。相关不等于冗余，要看是哪种相关。局部互补的特征删了可能掉点。

误区三：只看训练集增量。训练集上增量大，验证集上可能归零。增量必须在独立验证集或时间外样本上算。

误区四：忽略入模顺序。前向贪心对顺序敏感，顺序不同结论可能相反。要么固定业务顺序，要么多次随机取平均。

误区五：筛完不复查。特征筛选不是一次性动作。数据分布漂移后，昨天的“冗余”可能今天有增量，需定期重跑。

九、结语：筛选的本质是“用最少的信息换最大的判别”

回到最初的问题：筛选时到底该看“信息量”还是“信息增量”？答案不是二选一，而是分阶段用。信息量（IV）负责把明显无用的挡在门外，信息增量（条件IV、增量AUC）负责在剩下的里挑出真正互补的。单变量分数高但彼此高度冗余的特征，正确姿势是先成组、再择优、后验证，而不是在 IV 排序表上做简单的“取前 N 个”。

这套流程的价值不在于多复杂，而在于它把“凭感觉删特征”变成了“有依据的决策”。F1 与 F2 的例子会不断重演，但只要手里有分组、有增量、有稳定性三条尺子，就不会被单变量分数牵着走。

主要参考文献