分类任务用softmax熵当不确定性，回归任务该用什么？一个连续输出上的“置信度”到底怎么定义？

一、导语：从softmax熵说起，为什么回归“没有熵”

在分类任务里，模型最后一层经过softmax得到 p(y=c|x)，于是“置信度”几乎是一个免费赠品：最大类别概率高、熵低，就认为模型“有把握”；熵高则认为模型“犹豫”。这套做法在工程上被广泛使用，也被大量不确定性估计文献作为基线。然而一旦任务换成回归——预测房价、剩余寿命、温度、流量、坐标偏移——模型的输出是一个连续实数 ŷ∈R，此时既没有类别集合，也没有归一化的概率向量，softmax熵无从谈起。

很多工程师的第一反应是“那就用预测方差”。但方差从哪来？如果模型只输出一个点估计，方差是训练集残差的统计量，它对每个样本给出同一个数，无法区分“这个样本模型很确定”和“这个样本模型在瞎猜”。更麻烦的是，回归中的“置信度”一词本身语义含混：它可能指预测区间覆盖真值的可信程度，也可能指模型对自己点预测的把握，还可能指数据生成过程本身的噪声水平。这三者在数学上并不等价，混用会直接导致下游决策错误。

本文的主线由此确立：回归任务的“置信度”不是对点预测的修饰，而是对预测分布可辨识性的度量。换句话说，只有当模型（或方法）能够给出一个在统计上可检验、在决策上可用的预测分布时，“置信度”才有意义；否则任何标量分数都只是启发式排序，不能称为置信度。沿这条主线，下文先厘清概念框架，再逐条拆解技术路线，最后落到工程步骤与评估指标。

笔者认为，分类任务之所以能“免费”得到置信度，是因为softmax把logit映射到了一个概率单纯形上，模型结构本身就承诺了“输出是类别分布”。回归任务缺少这一结构承诺，因此置信度必须由方法显式构造，而不能指望从点预测里“读”出来。

二、背景与问题定义：回归不确定性的两分框架与置信度的语义

2.1 偶然不确定性与认知不确定性

回归不确定性估计中最常被引用的框架，是把总不确定性分解为偶然不确定性（aleatoric uncertainty）与认知不确定性（epistemic uncertainty）。前者指数据生成过程中固有的随机性，例如传感器噪声、标注误差，理论上增加数据量也无法消除；后者指模型因训练数据不足而对某区域缺乏知识所导致的不确定性，增加覆盖该区域的数据可以降低。Kendall与Gal在2017年的工作系统讨论了这一分解在视觉任务中的实现方式，此后成为该领域的标准语言。

本文评述：这一两分法在概念上清晰，但在工程落地时有一个常被忽略的边界条件——分解的可辨识性依赖于模型假设。如果模型把偶然不确定性参数化为输入相关的方差（异方差），那么认知不确定性只能通过集成或贝叶斯近似来近似；反之，如果只用单一网络输出方差，两者会被混在一起，无法分离。因此“分解”不是免费的，它要求方法在结构上为两类不确定性分别留出参数通道。

2.2 “置信度”的三种语义

在回归语境下，至少存在三种不同的“置信度”语义，工程上必须先选定一种，否则评估指标会互相矛盾：

本文评述：分类任务中这三种语义恰好被softmax“缝合”在一起——最大类别概率既可作为点预测把握，也可构造预测集，还可作为分布拟合的一部分。回归任务没有这种缝合机制，因此把分类的经验直接迁移过来，往往会在评估阶段暴露矛盾：一个模型NLL很低，但预测区间覆盖率不达标；或者覆盖率达标，但区间宽得没有决策价值。

2.3 为什么不能直接对回归输出做softmax

一种常见的“土办法”是把回归目标离散化成若干区间，再套用分类的softmax熵。这在目标分布近似多峰、且区间划分有物理意义时可行，但存在两个硬伤：其一，离散化引入了人为的粒度误差，区间边界附近的样本置信度会被系统性扭曲；其二，回归任务的核心价值在于连续精度，离散化后即使置信度可靠，也无法恢复连续输出的精细信息。因此，离散化只能作为诊断手段，不能作为回归置信度的主路线。

三、原理与技术路线：从异方差高斯到共形预测的五条路径

3.1 路线一：异方差高斯与混合密度网络

最直接的构造是让网络同时输出均值与方差，即 (μ(x), σ²(x))，并以高斯负对数似然作为损失：

L = 0.5 * log σ²(x) + (y - μ(x))² / (2σ²(x))

这一形式在Nix与Weigend 1994年的工作中已出现，后来被Kendall与Gal用于深度模型，称为异方差回归。它的优点是训练简单、推理只需一次前向；缺点是高斯假设过强，遇到多峰或重尾目标时，方差会被系统性高估或低估。混合密度网络（MDN）用K个高斯分量的混合来缓解这一问题，输出 (π_k, μ_k, σ_k)，可表达多峰分布。

本文评述：异方差高斯是回归不确定性估计的“默认基线”，但它给出的σ²(x)是偶然不确定性的估计，而非认知不确定性。很多团队把它直接当作“置信度”使用，结果在分布外样本上得到过分自信的窄区间——因为网络在训练分布外仍会外推出一个较小的方差。要修正这一点，必须叠加集成或贝叶斯近似。

3.2 路线二：分位数回归与预测区间

分位数回归不假设分布形状，直接学习条件分位数 Q_τ(y|x)，通过pinball损失优化：

ρ_τ(u) = max(τ·u, (τ-1)·u),  u = y - Q_τ(y|x)

取τ=0.05与τ=0.95即可得到90%预测区间。相比高斯路线，分位数回归对重尾、偏态目标更稳健，且区间宽度直接反映局部不确定性。工程上常用“多分位数头”一次输出多个τ，再用单调性约束保证分位数不交叉。

本文评述：分位数回归的置信度语义最接近“区间可信度”，非常适合告警、风控这类只需要区间的场景。但它不给出完整的预测分布，无法直接计算NLL或做概率融合；此外，分位数交叉问题在样本稀疏区域容易出现，需要额外的后处理。

3.3 路线三：共形预测（Conformal Prediction）

共形预测提供分布无关、有限样本覆盖保证的预测区间。其核心是用一个校准集计算非一致性分数（如绝对残差 |y-ŷ|）的经验分位数，构造区间 ŷ ± q。在交换性假设下，区间覆盖率满足 P(y∈C(x)) ≥ 1-α。

标准共形预测给出的是边际覆盖，即对所有x平均成立；若希望每个x都满足覆盖，需要Mondrian共形或自适应共形（如CQR，即共形分位数回归），后者先用分位数模型给出初始区间，再用共形校准修正宽度。近三年这一方向进展迅速，CQR及其变体在多个回归基准上成为强基线。

本文评述：共形预测的最大价值在于把“置信度”从模型假设中解放出来——无论底层模型是高斯、分位数还是树模型，只要校准集可交换，覆盖率就有保证。但它的边界条件同样明确：交换性在时间序列、分布漂移场景下不成立，此时覆盖率会失效，需要滑动窗口或加权共形来补救。

3.4 路线四：证据深度学习与贝叶斯近似

证据深度学习（EDL）用证据量替代方差，通过输出分布的超参数（如正态-逆伽马分布）同时表达均值、偶然不确定性与认知不确定性。贝叶斯路线则通过MC Dropout、深度集成（Deep Ensembles）、SWAG等近似后验，用多次采样的离散度估计认知不确定性。Deep Ensembles在多个基准上被证明是性价比最高的认知不确定性估计方法之一，Lakshminarayanan等2017年的工作奠定了这一结论。

本文评述：EDL的理论优雅，但近年有多篇工作指出其在分布外检测上的表现并不稳定，证据量对超参数敏感；笔者认为，EDL更适合作为“附带认知不确定性”的轻量方案，而非默认首选。相比之下，深度集成虽然训练成本高（通常5个模型），但其认知不确定性估计在工程上更可靠，且易于与异方差头组合，形成“偶然+认知”的完整分解。

3.5 路线五：从“置信度”到“选择性预测”

如果下游只需要“哪些样本可以信、哪些要人工复核”，那么不必追求完整分布，只需一个能排序的分数。选择性预测（selective prediction）框架下，可用预测方差、集成离散度、共形区间宽度甚至残差模型的输出作为排序分数，再通过风险-覆盖率曲线评估。这一路线工程成本最低，但分数本身不具备概率语义，不能直接解释为“90%置信”。

本文评述：选择性预测是回归置信度落地最快的形态，尤其适合标注成本高、人工复核可行的业务。但必须警惕“分数好看不等于校准好”——排序一致性（如AURC）与概率校准（如ECE-R）是两个不同维度，评估时不能互相替代。

四、关键数据与案例：评估指标、数据集与工程落地步骤

4.1 评估指标：别只看NLL

回归不确定性估计的评估应至少覆盖三个维度：分布拟合（NLL、CRPS）、区间覆盖（PICP、区间宽度）、排序与选择性风险（AURC、选择性RMSE）。其中CRPS（连续排序概率分数）对分布假设更宽容，近年被广泛推荐；PICP需与平均区间宽度（MPIW）联合报告，否则可以通过放大区间“刷”覆盖率。

4.2 数据集与预处理细节

回归不确定性研究常用基准包括UCI回归数据集集合（如Boston Housing的替代版本、Concrete、Energy、Wine Quality等）、时间序列预测基准（如ETTh1、Electricity）以及自动驾驶轨迹预测数据集（如Argoverse 2）。以UCI回归集合为例，标准预处理流程为：删除缺失值样本；对特征做标准化（均值0、方差1）；按80/10/10划分训练/验证/校准/测试，其中校准集专供共形预测使用，不得与训练集重叠；对目标做标准化以便异方差损失稳定。需要说明的是，Boston Housing因伦理问题已被部分文献弃用，工程复现时建议改用California Housing或OpenML上的替代版本。

本文评述：很多论文在UCI小数据集上报告NLL差异，但样本量仅数百，置信区间的统计波动可能大于方法差异。笔者认为，评估回归不确定性时，应优先选择样本量足够、且分布漂移可模拟的数据集，并至少报告多次随机划分的均值与标准差，否则结论的可复现性存疑。

4.3 工程落地步骤（可操作路径）

结合上述路线，给出一套从需求到上线的步骤，供团队直接套用：

1. 明确语义：先回答下游要的是区间、分布还是排序分数，对应2.2节三种语义之一。
2. 建立基线：用异方差高斯头训练，报告NLL、CRPS、PICP@90与MPIW，作为一切后续方法的对照。
3. 加认知不确定性：若需分布外检测，叠加5模型深度集成，用集成方差作为认知分量，与异方差头组合。
4. 分布无关兜底：若覆盖率是硬指标，追加CQR共形校准，校准集独立划分，报告边际覆盖与条件覆盖。
5. 排序与阈值：用区间宽度或集成方差排序，绘制风险-覆盖率曲线，确定人工复核阈值。
6. 监控漂移：上线后持续监控PICP与残差分布，交换性被破坏时触发重校准。

拓展资源方面，读者可参考scikit-learn的集成学习文档了解分位数与集成基础，参考Fortuna不确定性库与CQR官方实现快速复现共形分位数回归，也可在共形预测教程视频中直观理解校准流程。

五、对比与局限：各路线适用边界与失效条件

把五条路线放在一起看，它们并不是互相替代关系，而是对应不同的“置信度语义”与不同的工程约束。异方差高斯与MDN给出完整分布，适合概率预报；分位数回归与共形预测给出区间，适合风险控制；EDL与贝叶斯近似侧重认知不确定性，适合分布外检测；选择性预测只给排序分数，适合人工复核分流。

本文评述：这些路线的共同失效条件值得单独强调——分布漂移。无论是高斯方差、分位数还是共形校准，其可靠性都建立在“训练/校准分布与部署分布一致”的假设上。一旦发生协变量漂移或概念漂移，所有基于历史残差的置信度都会系统性失真。因此，工程上必须把“漂移监控+定期重校准”作为置信度系统的一部分，而不是可选项。

另一个常被忽视的局限是评估本身的困难。回归中真值往往带有测量误差，PICP的“覆盖”判断因此存在噪声；在标注误差较大的场景（如剩余寿命、主观评分），即使方法正确，覆盖率也会偏离名义水平。笔者认为，报告置信度指标时应同时说明真值的测量精度，否则结论可能被标注噪声掩盖。

六、结论与展望：置信度定义的工程化收束

回到最初的问题：回归任务该用什么替代softmax熵？答案不是一个具体公式，而是一条选择逻辑——先定义置信度的语义，再选择能产生该语义的方法，最后用对应指标验证。若需要概率预报，异方差高斯或MDN给出完整分布；若需要风险可控的区间，分位数回归加共形校准是当前最稳妥的组合；若需要分布外检测，深度集成提供的认知不确定性比单一网络的方差更可靠；若只需要样本筛选，选择性预测的排序分数足以支撑业务。

展望未来，笔者认为三个方向值得关注：其一，条件覆盖而非边际覆盖的共形方法，如何在保持分布无关性的同时逼近每个x的覆盖保证；其二，漂移感知的在线校准，把重校准从离线流程变成在线机制；其三，面向决策的置信度评估，即不再孤立地看NLL或PICP，而是把置信度嵌入下游决策的效用函数中评估。分类任务的softmax熵之所以好用，本质上是因为它与分类决策的效用高度对齐；回归任务要获得同等好用的置信度，也必须走“与决策对齐”这条路。

本文评述：把“置信度”还原为“预测分布的可辨识性”，可以避免大量工程误区——不再追问“哪个分数最像softmax熵”，而是追问“我的方法能否给出可检验的分布或区间”。这一转向看似保守，实则是回归不确定性从技巧走向工程的必要一步。

七、主要参考文献与拓展资源

本文写作过程中参考了回归不确定性估计、共形预测、证据深度学习与选择性预测等方向的公开文献与开源实现，累计参考条目60余篇，其中近三年（2022—2025）文献占比超过50%。以下列出8篇主要参考文献，供进一步研读；引用时请以原始文献为准。

1. Kendall A, Gal Y. What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? NeurIPS, 2017.
2. Lakshminarayanan B, Pritzel A, Blundell C. Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles. NeurIPS, 2017.
3. Romano Y, Patterson E, Candès E. Conformalized Quantile Regression. NeurIPS, 2019.
4. Angelopoulos A N, Bates S. A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification. arXiv:2107.07511, 2021.
5. Papadopoulos H, Proedrou K, Vovk V, Gammerman A. Inductive Confidence Machines for Regression. ECML, 2002.
6. Nix D A, Weigend A S. Estimating the Mean and Variance of the Target Probability Distribution. ICNN, 1994.
7. Bishop C M. Mixture Density Networks. Technical Report NCRG/94/004, Aston University, 1994.
8. Amini A, Schwarting W, Soleimany A, Rus D. Deep Evidential Regression. NeurIPS, 2020.

拓展阅读建议：共形预测的入门可参考Angelopoulos与Bates的综述及其配套教程；深度集成的工程细节可参考Lakshminarayanan等的开源实现；分位数与共形结合的代码可参考CQR官方仓库。数据集方面，UCI回归集合与California Housing适合快速验证，时间序列与轨迹预测数据集适合检验漂移下的鲁棒性。