共形预测的校准集太小导致覆盖率不稳，α<1/(n+1)时根本给不出保证，小样本下CP还能不能用？

目录

一、引言：一个被忽略的边界条件

共形预测在过去十年从统计学习理论的小众工具，成长为不确定性量化（UQ）工程实践的主流方案之一。它的吸引力在于一句极简的承诺：只要数据可交换（exchangeable），无论底层模型多复杂、数据分布多未知，构造出的预测集合都能以不低于 1−α 的概率覆盖真实标签。这个承诺在回归、分类、分割乃至大模型输出筛选上被反复引用。然而工程落地时，一个反复出现的问题会让这句承诺瞬间“失重”：校准集太小。

具体地说，标准分割共形需要在 n 个校准样本上取经验分位数，其有限样本保证的形式是 1−α ≤ 1−α + 1/(n+1)，而当目标 α 小于 1/(n+1) 时，所需的经验分位数落在样本之外，只能取到 +∞，预测集合退化为全空间。此时“覆盖保证”在数学上仍然成立，但它是平凡的、无信息量的。本文评述：这不是实现 bug，而是有限样本分位数估计的内禀限制——你无法用 n 个点可靠地估计第 1−α 分位，当 1−α 超出样本能分辨的尾部时。

因此真正的问题不是“CP 还能不能用”，而是“在小样本、小 α 的双重约束下，如何重新定义可交付的保证”。本文围绕这条主线展开：先厘清保证的精确含义，再拆解失效机理，随后给出五类可操作路径及其代价，最后对前沿方向作出研判。文中所有数值示例若无特别说明，均为基于公开方法复现的模拟结果，用于说明机制而非宣称普适结论。

二、背景与问题定义：覆盖保证究竟保证了什么

2.1 分割共形的最小定义

设校准集为 {(X_i, Y_i)}_{i=1..n}，与测试点 (X_{n+1}, Y_{n+1}) 可交换。给定一个点预测模型 f，定义非一致性得分 s_i = s(X_i, Y_i; f)，通常取绝对残差 |Y_i − f(X_i)|。令 q̂ 为得分集合 {s_i} 的经验 1−α 分位数（采用保守的 ceil((n+1)(1−α))/n 取序），则预测集合 C(X) = {y : s(X,y) ≤ q̂} 满足 P(Y_{n+1} ∈ C(X_{n+1})) ≥ 1−α。这是 Vovk 等人早期工作与 Lei 等（2018）系统化后的标准表述。

关键在于 q̂ 的取序规则：需要第 ⌈(n+1)(1−α)⌉ 小的得分。当 (n+1)(1−α) > n，即 α < 1/(n+1) 时，该序号超出样本范围，q̂ 只能取 +∞。这就是标题所指的边界。本文评述：很多工程实现（如部分开源库的早期版本）在此处静默取最大值或直接报错，前者会给出“看起来正常”但覆盖不达标的集合，后者则暴露了问题——显式失败比静默降级更可取。

2.2 边际覆盖与条件覆盖的分野

必须强调，CP 保证的是边际覆盖：在 X 的边缘分布上平均成立，而非对每个 X 的条件覆盖。小样本下这两者的差距会被放大——即便边际覆盖勉强达标，某些子群体（如高噪声区间、稀有类别）的条件覆盖可能严重不足。Barber 等（2021）关于 Jackknife+/CV+ 的工作明确指出，仅靠边际保证无法约束条件覆盖，需要额外的分层或加权机制。本文评述：工程上若业务关心的是“每个用户群都不漏”，那么单看边际覆盖率会给出虚假的安全感，这一点在小样本场景尤为危险。

2.3 可交换性假设的现实张力

所有上述保证都以可交换性为前提。时间序列、在线学习、分布漂移场景下该假设不成立，标准 CP 的保证随之失效。Tibshirani 等（2019）提出的加权共形（weighted conformal）通过似然比权重修正协变量漂移， Barber 等（2023）进一步给出漂移下可证明的覆盖界。本文评述：小样本与漂移往往同时出现（新业务冷启动），此时“样本少”与“分布变”叠加，任何单一修正都不足以兜底，必须组合使用。

三、失效机理：α<1/(n+1) 时发生了什么

3.1 分位数估计的尾部不可分辨性

从估计角度看，n 个样本最多能可靠分辨到 1/(n+1) 的尾部概率。直觉上，要估计第 1−α 分位，至少需要有一个样本落在该分位之外，否则分位数无界。形式化地，经验分位数的偏差量级约为 O(1/√n)，但在极端尾部，偏差由样本的离散性主导，而非渐近正态。本文评述：这意味着增加模型精度、换更强的 f 都无济于事——限制来自校准样本数，而非模型容量，这是很多团队误判的根源。

# 失效边界的直接演示（模拟数据）
import numpy as np
rng = np.random.default_rng(0)
n, alpha = 20, 0.02          # 1/(n+1) ≈ 0.0476 > alpha
scores = np.abs(rng.normal(size=n))
k = int(np.ceil((n + 1) * (1 - alpha)))   # k = 20
print(k, k > n)              # True -> 分位数越界，q_hat = +inf

上例中 n=20、α=0.02，所需序号 k=20 虽未严格超过 n，但 (n+1)(1−α)=20.58，向上取整为 21，已越界。工程实现中若用 floor 或插值，会得到“有限但覆盖不足”的 q̂，这正是静默降级的典型形态。本文评述：建议在代码层显式断言 k ≤ n，否则应抛出可诊断的异常，而非返回一个看似合理的数。

3.2 覆盖率的“保证”与“实际”之间的缝隙

即便 α ≥ 1/(n+1)，有限样本保证的形式是 P(cover) ≥ 1−α，但实际覆盖率是一个随机变量，其期望约 1−α + 1/(n+1)，方差随 n 减小而增大。Angelopoulos 与 Bates（2023）的综述指出，小 n 下覆盖率的抽样波动可达数个百分点，且分布右偏。本文评述：把“≥1−α”理解为“平均而言略高于 1−α”更贴近现实，但单次部署的实际覆盖率可能低于名义值，评估时必须报告置信区间而非点估计。

3.3 分类场景的特殊性

分类任务中，非一致性得分取 1 − softmax 概率或 APS/RAPS 得分。小样本下类别不均衡会进一步恶化：稀有类别的校准样本极少，其得分分布估计更不可靠。Romano 等（2020）的 APS 通过累积概率缓解了集合过大问题，但并未消除小样本的尾部不可分辨性。本文评述：分类场景应优先检查每类的校准样本数，而非只看总数 n，否则边际覆盖达标而少数类严重漏检。

四、小样本下的覆盖率波动：经验与量化

4.1 模拟实验设计

为量化波动，构造一维回归任务：Y = sin(2πX) + ε，ε ~ N(0, 0.3)，X ~ U(0,1)。以核回归或梯度提升树为 f，分别取 n ∈ {10, 20, 50, 100, 500}，α ∈ {0.01, 0.05, 0.1}，重复 2000 次独立划分，统计测试集（1000 点）上的实际覆盖率。以下为模拟数据，仅用于说明趋势。

表中可见两点：其一，当 α 接近或低于 1/(n+1) 时，覆盖率要么不可定义，要么显著低于名义值；其二，即便 α 略高于边界，标准差仍可达 0.05 以上，单次划分的结果不可信。本文评述：这张表最有价值的不是具体数字，而是“标准差列”的缺失——很多论文只报均值，工程评估应强制报告波动区间。

4.2 集合大小的代价

小样本的另一个隐性代价是集合宽度膨胀。为达到名义覆盖，q̂ 往往被推高，导致预测区间过宽、可用性下降。在分类中表现为集合包含过多类别。本文评述：覆盖率与集合效率是一对张力，小样本下二者同时恶化，因此不能只盯覆盖率指标，应联合评估平均集合大小（如回归的区间宽度、分类的平均类别数）。

4.3 何时“不能用”而非“不好用”

判定标准应分三层：若 α < 1/(n+1) 且无任何数据复用或分层机制，标准分割共形不可用，因为保证为空；若 α 略高于边界但 n < 50，属于勉强可用，需配合交叉共形与波动报告；若 n ≥ 100 且 α ≥ 0.05，通常可用，但仍需检查条件覆盖。本文评述：这个三层判定比“能用/不能用”的二元判断更贴近工程决策，也便于写入上线检查清单。

五、可操作路径：从扩容到交叉共形

5.1 路径一：校准集扩容与数据复用

最直接的办法是增大 n。工程上可从三处挖潜：一是把原本用于早停的验证集并入校准集（需保证与训练集不重叠）；二是采用交叉拟合，把训练数据轮换用作校准，等效扩大可用校准信息；三是主动学习式采样，优先标注得分分布尾部附近的样本。本文评述：数据复用会引入依赖，破坏严格可交换性，需用交叉共形（见 5.3）来恢复保证，不能简单拼接后套用标准公式。

# 交叉拟合 + 校准的骨架（K 折）
for k in range(K):
    train_idx = folds != k
    cal_idx   = folds == k
    f_k = fit_model(X[train_idx], y[train_idx])
    scores[cal_idx] = |y[cal_idx] - f_k(X[cal_idx])|
q_hat = quantile(scores, 1 - alpha)   # 用全部 n 个得分

5.2 路径二：分层与 Mondrian 校准

当总体 n 不小但子群体样本少时，应按关键维度（类别、地区、设备型号）分层，每层独立校准。Mondrian 共形保证每层内的边际覆盖。代价是每层样本更少，α 的有效下界变为 1/(n_k+1)，需权衡分层粒度。本文评述：分层不是免费的午餐，层数越多，单层越接近“不可用”区，实践中建议层内 n_k ≥ 50 再分层，否则回退到全局校准并加权重。

5.3 路径三：交叉共形 CV+ 与 Jackknife+

CV+ 用 K 折交叉拟合得到每个样本的“留出”得分，再构造预测集合；Jackknife+ 是 K=n 的极端情形。Barber 等（2021）证明二者在无额外假设下给出 ≥1−2α 的覆盖下界，且在稳定性条件下可接近 1−α。本文评述：这是小样本场景性价比最高的改造——它把“校准集太小”转化为“用全部数据做校准”，代价是 K 倍训练成本。工程上 K 取 5–10 通常足够，且可与缓存复用结合。

5.4 路径四：保形风险控制（CRC）

当目标不是覆盖率而是某个风险指标（如漏检率、误报率）时，Angelopoulos 等（2022/2023）的 CRC 框架允许在有限样本下控制期望风险，且对损失函数形式要求宽松。其核心是用经验风险的上置信界选取阈值。本文评述：CRC 把问题从“覆盖率的尾部估计”转为“风险的经验估计”，在小样本下往往比直接追求 1−α 覆盖更稳健，尤其适合 α 极小的场景。

5.5 路径五：自适应与在线共形

Gibbs 与 Candès（2021）的自适应共形通过在线更新分位数，适应分布漂移；其保证是长期平均覆盖而非单步覆盖。本文评述：小样本冷启动阶段可先用保守的宽区间，随样本累积逐步收紧，这种“先保覆盖、再提效率”的策略比一次性追求最优更符合工程节奏。

5.6 操作清单

拓展阅读可参考 Angelopoulos 与 Bates 的综述教程（arxiv.org/abs/2107.07511）以及 MAPIE 库的官方文档与示例（mapie.readthedocs.io），后者提供了 CV+、Jackknife+ 与 CRC 的可运行实现。

六、对比、局限与边界条件

上表揭示一个常被忽视的权衡：CV+/Jackknife+ 的保证是 ≥1−2α 而非 ≥1−α，在 α 很小时这一差距不可忽略。本文评述：若业务硬性要求 1−α，需在 CV+ 基础上再留安全裕度（如把目标 α 减半），或改用带稳定性修正的变体。此外，所有方法都默认可交换性，漂移场景下的保证需另行论证。

另一个边界是计算与延迟。Jackknife+ 需 n 次重训，在线服务中不可行；CV+ 的 K 折可离线预计算，但模型更新时需重跑。本文评述：工程上应把“保证强度”与“更新频率”一起设计，例如高频更新的模型用 Split CP 加保守裕度，低频更新的模型用 CV+ 换更强保证。

七、结论与展望

回到标题的问题：小样本下 CP 还能不能用？答案是分层的。α < 1/(n+1) 且不做任何改造时，标准分割共形的保证为空，应判定为不可用；但通过交叉共形、分层校准、CRC 与自适应机制，可以在小样本下获得可交付的、有明确边界的保证。核心认识是：限制来自“有效校准信息量”，而非方法本身，扩容、复用与换目标是三条并行的解法。

展望方面，笔者认为三个方向值得关注：其一，弱监督与半监督校准，利用未标注数据扩充有效样本；其二，漂移下的联合保证，把可交换性检验与共形结合，做到“先检测、再修正”；其三，与大模型输出筛选结合，用 CRC 控制幻觉率等业务风险指标，而非执着于覆盖率的尾部。这些方向都要求把统计保证与工程约束放在同一张表里权衡，而非单点追求理论最优。

主要参考文献