摘要：不确定性量化（Uncertainty Quantification, UQ）方法在OOD基准上常取得接近饱和的AUROC/AUPR成绩，但部署到真实业务分布后，选择性预测覆盖率、风险控制与拒答阈值几乎全面失准。本文提出一条贯穿全文的分析主线：UQ的“泛化”缺口本质上是分布契约（distributional contract）的隐性违约——基准数据把“不确定性应当与误差同构”这一强假设写进了数据构造流程，而真实业务分布并不履行该契约。文章从契约的四个维度（协变量、标签、概念、评估协议）拆解失效机制，给出可落地的诊断流水线与工程补救路径，并对前沿方向作出审慎预判。
目录
一、导语：一个被反复复现的“AUC幻觉”
过去五年，不确定性量化从学术边缘走向工程前台。一个典型场景是：团队在CIFAR-10 vs SVHN、ImageNet vs ImageNet-O、或某个公开的OOD检测基准上训练并评估UQ方法，AUROC轻松做到0.90以上，AUPR甚至接近0.95。报告写得漂亮，评审也认可。然而模型上线两周，业务方反馈“置信度低的样本里照样藏着大量错判，置信度高的样本里也有明显错误”，选择性预测的风险-覆盖率曲线与离线评估严重偏离。
这不是个别团队的偶发事故。笔者在多个工业场景的复盘中观察到高度一致的模式：离线UQ指标越好，线上失准的落差往往越大。原因不在于方法“实现错了”，而在于评估协议与真实部署之间存在着系统性的结构差异。基准数据集为了可比较性，对分布偏移做了高度理想化的构造；真实业务分布则是多源、时变、带反馈回路的。把前者训练出的分数直接当作后者的风险度量，本质上是一次未经检验的外推。
本文的核心主张是：UQ的泛化缺口不是“模型不够强”或“数据不够多”的问题，而是分布契约违约的问题。所谓分布契约，指UQ方法在训练与评估阶段默认成立、但极少被显式声明的一组假设。基准数据在构造时无意中“履行”了这些假设，真实业务则不会。理解契约、检测违约、修复契约，才是让UQ真正可用的路径。
二、背景与问题定义：UQ究竟在量化什么
2.1 两类不确定性的经典划分
按Kendall与Gal（2017）的划分，预测不确定性可分解为偶然不确定性（aleatoric uncertainty）与认知不确定性（epistemic uncertainty）。前者源于数据生成过程本身的噪声，理论上不可通过增加数据消除；后者源于模型对数据分布的无知，可通过更多数据或更充分的贝叶斯近似降低。这一划分之所以重要，是因为它直接决定了UQ分数在业务上应当被如何使用：偶然不确定性高意味着“这个问题本身没有确定答案”，适合转人工或降级处理；认知不确定性高意味着“模型没见过这类输入”，适合触发分布外告警。
本文评述：这一二分在概念上清晰，但在工程上极易被误用。真实业务中两类不确定性往往纠缠在一起，且分解本身依赖强假设（如异方差回归的噪声建模形式）。更关键的是，分解的正确性只在训练分布内可验证，一旦发生协变量偏移，分解出的两个分量都可能失真，而失真的方向并不一致。因此把“偶然/认知”当作可直接映射到业务动作的标签，是一种过度简化。
2.2 UQ的三种输出形态
工程上，UQ方法的输出大致有三类：逐样本分数（如softmax置信度、能量分数、MC Dropout方差）、校准后的概率（经温度缩放、直方图分箱等后处理）、以及预测集合/区间（如conformal prediction的预测集、分位数回归区间）。三者的评估口径不同：分数类看排序质量（AUROC/AUPR），校准类看概率与频率的一致性（ECE、Brier），集合类看覆盖率与集合大小的权衡。
问题在于，业务方真正关心的是决策层指标：在给定拒答率下，被接受样本的错误率是多少？在给定风险预算下，能覆盖多少流量？这些指标对UQ分数的绝对尺度敏感，而基准评估大多只检验相对排序。排序好不等于尺度对，这是“AUC幻觉”的第一个技术根源。
2.3 泛化缺口的操作性定义
为避免空泛讨论，本文把UQ泛化缺口定义为：在源分布 $P_S$ 上估计的UQ映射 $u_S(x)$，迁移到目标分布 $P_T$ 后，决策层指标 $\mathcal{M}$ 的相对退化量：
Gap(M) = [ M(u_S; P_T) - M(u_T; P_T) ] / M(u_T; P_T)
其中 u_T 为目标分布上的“理想”UQ映射（实践中用目标域标注近似），
M 可取：选择性风险、覆盖率偏差、风险-覆盖率AUC、拒答后错误率等。这个定义的价值在于，它把“泛化”从抽象的分布距离，转化为可测量的决策退化。笔者认为，任何声称“UQ泛化好”的工作，都应当报告至少一个决策层指标的跨分布退化量，而非仅报告AUROC。
三、主线：分布契约的四个维度与违约机制
本文的独创性分析主线是：UQ方法的有效性依赖一份隐性的分布契约，契约包含四个维度。基准数据在构造时系统性地满足了这四个维度，真实业务则在不同程度上违约。失效不是随机的，而是沿着违约最严重的维度集中爆发。
3.1 维度一：协变量契约
协变量契约要求：目标分布的输入支撑集（support）与源分布有足够重叠，或偏移是“平滑”的。基准OOD数据集（如SVHN作为CIFAR-10的OOD）在像素统计上与源域差异显著但语义上相对干净，偏移方向单一。真实业务的协变量偏移则是多方向叠加的：设备更换导致图像色调漂移、上游特征工程改版导致数值分布跳变、用户结构变化导致文本长度分布右移。
本文评述：单一方向的偏移让基于距离或密度的UQ分数（如Mahalanobis距离、能量分数）容易“抓住”信号，因为偏移在特征空间里表现为一个可分离的方向。多方向叠加时，这些分数会把“正常但罕见”的样本误判为高不确定性，同时把“异常但落在高密度区”的样本漏判。这是密度类UQ方法在真实业务中假阳性率偏高的结构性原因。
3.2 维度二：标签契约
标签契约要求：标签噪声是随机的、与输入无关的（即经典的无偏噪声假设）。基准数据集的标签多经人工清洗，噪声率低且近似均匀。真实业务的标签往往与输入相关：标注员对模糊样本更容易出错，众包标注在长尾类别上系统性偏差，业务反馈标签存在“确认偏误”（只对模型高置信的样本回标）。
笔者认为，相关噪声是UQ失效最隐蔽的来源。当噪声与输入相关时，模型学到的“高置信”恰恰对应那些标注一致但可能错误的样本，UQ分数会系统性地低估这些样本的风险。更麻烦的是，这种偏差无法通过简单的校准后处理消除，因为校准假设噪声与分数独立。
3.3 维度三：概念契约
概念契约要求：输入到标签的条件分布 $P(y|x)$ 在源域与目标域之间保持不变。基准OOD评估通常只改变 $P(x)$，保持 $P(y|x)$ 不变（所谓covariate shift设定）。真实业务中，概念漂移是常态：促销期间“点击”的含义变了，风控场景中欺诈手法演化导致 $P(y|x)$ 整体迁移，医疗场景中诊断标准更新。
本文评述：概念漂移对UQ的打击是根本性的，因为它直接破坏了“不确定性应与误差同构”的前提。在纯协变量偏移下，一个足够好的密度估计器原则上可以恢复理想的UQ；但在概念漂移下，即使输入完全在支撑集内，UQ分数也可能完全失去与误差的相关性。这解释了为什么许多在OOD基准上表现优异的方法，在真实概念漂移场景中退化到接近随机。
3.4 维度四：评估协议契约
评估协议契约要求：评估所用的OOD样本、阈值选择、以及指标聚合方式，与部署时的实际使用方式一致。基准评估通常做全局阈值选择（在测试集上扫阈值取最优），而部署时必须用源域上选定的固定阈值。基准评估的OOD样本是“纯”OOD（全部为异常），而真实业务是混合流（正常与异常按未知比例混合，且比例时变）。
这一维度的违约最容易被忽视，却对决策层指标影响最大。全局阈值在目标域上重选，等于偷看了测试标签；混合流下的AUROC会被基率（base rate）严重扭曲。笔者认为，任何UQ评估若不报告“固定阈值下的跨域退化”，其结论的可迁移性都应被打上问号。
| 契约维度 | 基准数据默认 | 真实业务常见 | 主要失效表现 |
|---|---|---|---|
| 协变量 | 单方向、语义干净 | 多方向叠加、时变 | 密度类分数假阳性高 |
| 标签 | 低噪声、近似均匀 | 与输入相关、确认偏误 | 系统性低估风险 |
| 概念 | P(y|x) 不变 | 概念漂移常态化 | 分数与误差脱钩 |
| 评估协议 | 全局阈值、纯OOD | 固定阈值、混合流 | 决策指标严重偏离 |
表1：分布契约四维度与违约表现对照（本文整理，基于公开基准构造方式与工业复盘经验的归纳，非单一文献数据）
四、技术路线：从分数到决策的UQ方法谱系
4.1 四类主流方法及其契约依赖
按技术机制，主流UQ方法可分为四类：贝叶斯近似类（MC Dropout、深度集成、SWAG）、确定性分数类（softmax置信度、能量分数、Mahalanobis距离、kNN距离）、校准后处理类（温度缩放、矩阵缩放、直方图分箱、isotonic回归）、集合预测类（split conformal、自适应conformal、分位数回归）。
本文评述：这四类方法对四个契约维度的依赖强度截然不同。贝叶斯近似类主要依赖协变量契约（集成多样性在偏移下会退化）；确定性分数类对协变量契约最敏感，对标签契约相对鲁棒；校准后处理类强依赖标签契约与评估协议契约（校准集必须与部署分布同分布）；集合预测类则强依赖可交换性假设，而可交换性在真实业务中几乎必然被违反。理解这一依赖图谱，比笼统比较“哪种方法更好”更有工程价值。
4.2 从分数到决策的映射链
UQ分数要转化为业务动作，需经过一条映射链：分数 → 阈值 → 拒答/转人工 → 风险控制。每一环都有独立的失效点。分数环节的失效是排序或尺度问题；阈值环节的失效是阈值选择协议问题；决策环节的失效是成本矩阵与基率变化问题。
# 决策层风险控制的简化示意（伪代码）
# 关键：阈值在源域校准集上选定后冻结，跨域只监控不重选
tau = select_threshold(calib_scores, calib_labels, risk_budget=0.01)
def serve(x):
u = uq_score(x)
if u > tau:
return "reject_to_human"
return model_predict(x)
# 线上监控：分桶统计实际错误率 vs 预期风险
# 若某桶实际错误率持续超过预算的1.5倍，触发契约违约告警笔者认为，工程上最常见的错误是把阈值选择也做成“在线自适应”。看似聪明，实则把评估协议契约的违约从离线搬到了线上：阈值随分布漂移而漂移，风险预算失去意义。正确做法是阈值冻结、风险监控、违约告警、人工介入重校准，形成闭环而非自动漂移。
4.3 可交换性与真实业务的张力
Conformal prediction的覆盖率保证建立在可交换性（exchangeability）之上：校准集与测试点联合分布对置换不变。真实业务的流式数据天然违反可交换性——时间顺序不可置换，分布时变。近年来的加权conformal、自适应conformal试图在局部可交换性下恢复保证，但其保证是条件性的、渐近的，且对权重估计的准确性高度敏感。
本文评述：把conformal的覆盖率保证当作“无条件安全”是危险的误读。它的保证是边际的（marginal），不是条件的（conditional）；在混合流与概念漂移下，边际覆盖率可能仍然达标，但特定子群（如长尾类别、新用户群）的覆盖率可能严重不足。工程上必须做子群覆盖率审计，而不能只看总体数字。
五、关键数据与案例：基准与真实的落差
5.1 公开基准上的典型量级
在OOD检测的公开评测中，基于ImageNet预训练特征的Mahalanobis距离、能量分数等方法在ImageNet vs ImageNet-O设定下AUROC普遍在0.85–0.95区间（具体数值随骨干网络与预处理而异，参见OpenOOD基准的持续更新报告）。这些数字常被直接引用为“方法有效”的证据。
然而，同一批方法在带有多方向偏移的真实数据上，决策层指标往往大幅退化。以选择性预测为例，源域上选定的阈值在目标域上可能导致实际错误率超出预算数倍。需要说明的是，这类跨域退化量高度依赖具体业务分布，公开文献中缺乏统一口径的系统测量，本文不虚构具体百分比，只强调退化方向与机制的一致性。
5.2 一个可复现的模拟实验设计
为让读者自行验证契约违约的影响，本文给出一个可复现的模拟实验设计（模拟数据，非真实业务数据）：在二维高斯混合分类任务上，分别构造(a)单方向协变量偏移、(b)相关标签噪声、(c)概念漂移三种违约，比较能量分数与MC Dropout的选择性风险退化。
| 违约类型 | 能量分数AUROC变化 | MC Dropout AUROC变化 | 固定阈值下错误率超预算 |
|---|---|---|---|
| 单方向协变量偏移 | 小幅下降 | 小幅下降 | 轻度超标 |
| 相关标签噪声 | 基本不变 | 基本不变 | 显著超标（分数低估风险） |
| 概念漂移 | 大幅下降 | 大幅下降 | 严重超标 |
表2：模拟实验设计下的定性预期（模拟数据设定，用于说明机制方向，具体数值随参数变化，不构成定量结论）
这个设计的要点是：AUROC对标签契约违约不敏感，但决策层指标敏感。这正好解释了为什么许多团队在离线AUROC上看不出问题，上线后才暴露。笔者认为，任何UQ评估套件都应把“相关标签噪声”作为必测项，而非只测协变量偏移。
5.3 工业复盘的共性模式
综合公开的工程分享与笔者接触的案例（已脱敏，不涉及具体企业数据），共性模式有三：其一，离线评估的OOD样本是“精选”的，线上是“自然混合”的，基率差异导致AUPR虚高；其二，阈值在离线测试集上扫描得到，线上无法复现；其三，模型更新后UQ分数尺度漂移，但阈值未同步重校准。三者叠加，使得“AUC很高”与“线上不可用”并存。
六、诊断流水线：六步定位泛化缺口
诊断的目标不是笼统地说“泛化不好”，而是定位到具体哪个契约维度违约、违约程度多大、对哪个决策指标影响最大。以下六步构成一条可操作的流水线。
6.1 第一步：冻结评估协议
在源域校准集上选定阈值与UQ方法配置，冻结后不再改动。所有跨域评估都使用这套冻结配置。这一步是整个诊断的前提，否则后续所有比较都失去意义。
6.2 第二步：分层报告决策指标
不要只报AUROC。至少报告：固定阈值下的接受率、接受样本错误率、拒答样本占比、以及按预测类别/用户群分层的子群覆盖率。分层是发现“边际达标但子群失守”的关键。
6.3 第三步：协变量偏移探测
用简单的双样本检验（如KS检验、MMD）在特征空间逐维或逐子空间探测偏移，定位偏移最强的维度。若偏移集中在少数维度，可优先考虑特征层面的稳健化；若弥散在全空间，密度类方法大概率不可靠。
6.4 第四步：标签噪声相关性检验
在有重复标注或审计样本的条件下，估计噪声率与模型置信度的相关性。若高置信样本的噪声率显著高于低置信样本，说明存在相关噪声，UQ分数存在系统性低估。没有审计样本时，可用“模型高置信但人工复核错误”的比例作为代理指标。
6.5 第五步：概念漂移监控
监控 $P(y|x)$ 的代理信号：在固定输入分布下，模型输出的类别比例、置信度分布、以及业务结果率的时序变化。概念漂移的典型征兆是“输入分布稳定但结果率漂移”，这与协变量偏移的征兆（输入分布漂移）可区分。
6.6 第六步：违约归因与优先级排序
把前五步的发现映射回四个契约维度，估计每个维度对决策指标退化的贡献占比，据此排序修复优先级。工程资源有限时，优先修复贡献最大的维度，而非追求“全面鲁棒”。
提示：这条流水线的价值在于可复现与可审计。建议把它固化为上线前的检查清单，任何UQ方法进入生产前必须通过六步诊断，并留存诊断报告。可参考scikit-learn的概率校准文档与不确定性评估实践仓库作为工具起点。
七、工程补救：可操作的契约修复方案
7.1 协变量契约的修复：稳健化与域自适应
针对多方向协变量偏移，单纯依赖密度估计不够。可操作路径包括：特征层面的标准化与去相关（降低对偏移方向的敏感度）、训练时的分布鲁棒优化（DRO，对最坏子群优化）、以及轻量域自适应（如CORAL对齐二阶统计量）。本文评述：DRO在理论上优美，但组划分的定义直接决定效果，工程上需要业务知识介入，不能自动完成。
7.2 标签契约的修复：噪声建模与审计闭环
针对相关标签噪声，可在训练中引入噪声转移矩阵建模（如forward correction），或采用置信学习（confident learning）识别并降权可疑样本。更重要的是建立审计闭环：对高置信样本做定期抽样复核，把复核结果反馈到噪声估计中。笔者认为，审计闭环是修复标签契约最被低估的手段，它把“假设噪声随机”替换为“测量噪声结构”。
7.3 概念契约的修复：在线监控与快速重校准
概念漂移无法通过一次性训练消除，只能通过监控与快速响应缓解。可操作路径：建立结果率的时序监控与变点检测（change point detection），一旦检测到显著漂移，触发小样本重校准（用近期标注数据重估温度参数或阈值），并评估是否需要重训练。本文评述：重校准比重训练快得多，但只能修复尺度，不能修复排序；若漂移导致排序也失效，必须重训练。
7.4 评估协议契约的修复：固定阈值与混合流评估
把评估从“全局阈值+纯OOD”改为“固定阈值+混合流+分层报告”。混合流的基率应覆盖业务可能的范围（如异常率0.1%到10%），并报告基率敏感性。这一步不需要新方法，只需要改评估脚本，但收益最大。
| 修复维度 | 核心手段 | 实施成本 | 预期收益 |
|---|---|---|---|
| 协变量 | DRO、CORAL、特征稳健化 | 中 | 降低假阳性 |
| 标签 | 噪声建模、置信学习、审计闭环 | 中高 | 纠正系统性低估 |
| 概念 | 变点检测、小样本重校准 | 低 | 快速恢复尺度 |
| 评估协议 | 固定阈值、混合流、分层 | 低 | 消除虚高、暴露真实风险 |
表3：四个契约维度的修复手段与成本收益对照（本文归纳，成本与收益为工程经验判断，非量化测量）
八、对比与局限：没有免费的校准
8.1 方法对比的维度重构
传统对比按“AUROC高低”排序，本文主张按“契约鲁棒性”排序。具体可从四个维度打分：对协变量偏移的鲁棒性、对相关噪声的鲁棒性、对概念漂移的响应速度、以及在固定阈值下的尺度稳定性。按此重构，很多在基准上领先的方法并不占优，而一些“朴素”方法（如简单的温度缩放+固定阈值+监控）在工程上反而更稳。
本文评述：这不是否定先进方法的价值，而是强调评估维度决定方法选择。如果评估只看AUROC，优化方向必然偏向排序；如果评估看决策层指标，优化方向会自然转向尺度与鲁棒性。笔者认为，UQ领域当前最需要的不是更强的方法，而是更诚实的评估协议。
8.2 局限与边界条件
本文的分析主线也有边界。第一，它假设业务方能够获得一定程度的目标域标注用于诊断与重校准；在完全无标注的场景下，只能依赖代理信号，诊断精度下降。第二，契约四维度的划分是分析工具，现实中四者相互耦合，归因可能存在混淆。第三，本文引用的公开基准数值随实现与预处理变化，不应被当作固定常数。
笔者认为，承认这些局限比掩盖它们更重要。UQ的工程化本质上是一个持续测量与修正的过程，而非一次性交付的方法。任何声称“一次训练、处处可用”的UQ方案，都值得警惕。
九、结论与展望
回到标题的问题：UQ的“泛化”到底缺了什么？本文的答案是：缺的不是模型容量，也不是数据规模，而是对分布契约的显式管理与持续验证。基准数据集在构造时无意中履行了协变量、标签、概念、评估协议四重契约，真实业务则不会。失效沿着违约最严重的维度集中爆发，且往往在AUROC上看不出来，只在决策层指标上暴露。
工程上可操作的路径已经清晰：冻结评估协议、分层报告决策指标、六步诊断定位违约、按维度修复契约、建立监控与重校准闭环。这条路径不依赖某个“银弹方法”，而是把UQ从“离线指标竞赛”拉回“在线风险管理”。
展望未来，笔者认为三个方向值得投入：其一，契约感知的评估基准，即在基准中显式引入相关噪声、多方向偏移与混合流，让评估更接近部署；其二，子群条件的UQ保证，把边际覆盖率推进到可审计的条件覆盖率；其三，UQ与业务决策的联合优化，把成本矩阵、基率变化、人工审核容量纳入统一框架。前沿研究可关注OpenOOD基准论文与OOD检测综述的持续更新，以及相关技术讲座中的工程实践分享。
最后需要强调：UQ的价值不在于给出一个漂亮的数字，而在于让决策者在不确定时知道“该不该信、信多少、何时求助”。把这一点做实，比在基准上再刷高零点几个点更有意义。
主要参考文献
[1] Kendall A, Gal Y. What uncertainties do we need in Bayesian deep learning for computer vision? NeurIPS, 2017.
[2] Lakshminarayanan B, Pritzel A, Blundell C. Simple and scalable predictive uncertainty estimation using deep ensembles. NeurIPS, 2017.
[3] Guo C, Pleiss G, Sun Y, Weinberger K Q. On calibration of modern neural networks. ICML, 2017.
[4] Hendrycks D, Gimpel K. A baseline for detecting misclassified and out-of-distribution examples in neural networks. ICLR, 2017.
[5] Lee K, Lee K, Lee H, Shin J. A simple unified framework for detecting out-of-distribution samples and adversarial attacks. NeurIPS, 2018.
[6] Liu W, Wang X, Owens J, Li Y. Energy-based out-of-distribution detection. NeurIPS, 2020.
[7] Angelopoulos A N, Bates S. A gentle introduction to conformal prediction and distribution-free uncertainty quantification. arXiv:2107.07511, 2021.
[8] Yang J, Zhou K, Li Y, Liu Z. Generalized out-of-distribution detection: a survey. arXiv:2110.11334, 2021.
[9] Zhang J, Yang J, Wang P, et al. OpenOOD: benchmarking generalized out-of-distribution detection. NeurIPS Datasets and Benchmarks, 2023.
[10] Northcutt C G, Jiang L, Chuang I L. Confident learning: estimating uncertainty in dataset labels. JAIR, 2021.
[11] Ovadia Y, Fertig E, Ren J, et al. Can you trust your model's uncertainty? Evaluating predictive uncertainty under dataset shift. NeurIPS, 2019.
[12] Koh P W, Liang P, et al. WILDS: a benchmark of in-the-wild distribution shifts. ICML, 2021.
[13] Sagawa S, Koh P W, Hashimoto T B, Liang P. Distributionally robust neural networks for group shifts. ICLR, 2020.
[14] Barber R F, Candès E J, Ramdas A, Tibshirani R J. Predictive inference with the jackknife+. Annals of Statistics, 2021.
[15] Gama J, Žliobaitė I, Bifet A, et al. A survey on concept drift adaptation. ACM Computing Surveys, 2014.
[16] Abdar M, Pourpanah F, Hussain S, et al. A review of uncertainty quantification in deep learning: techniques, applications and challenges. Information Fusion, 2021.
[17] Gawlikowski J, Tassi C R N, Ali M, et al. A survey of uncertainty in deep neural networks. Artificial Intelligence Review, 2023.
[18] Zhou K, Liu Z, Qiao Y, et al. Domain generalization: a survey. IEEE TPAMI, 2023.
[19] Wang H, Huang R, et al. Rethinking out-of-distribution detection: a survey of recent advances. arXiv, 2024.
[20] Sun Y, Ming Y, Zhu X, Li Y. Out-of-distribution detection with deep nearest neighbors. ICML, 2022.
[21] Djurisic A, Bozanic N, et al. A benchmark for outlier detection in tabular data. NeurIPS Datasets and Benchmarks, 2023.
[22] Kim J, et al. Calibration under distribution shift: a survey. arXiv, 2024.
[23] Wang P, et al. Uncertainty-aware selective prediction in deployment. arXiv, 2023.
[24] Angelopoulos A N, Bates S, et al. Conformal risk control. ICLR, 2023.
[25] Teney D, et al. Evidential deep learning revisited. NeurIPS, 2023.
[26] Nado Z, et al. Uncertainty baselines for deep learning. arXiv, 2021.
[27] Band N, et al. Benchmarking the reliability of deep learning under distribution shift. TMLR, 2023.
[28] Zhang L, et al. Rethinking calibration under label noise. CVPR, 2023.
[29] Chen J, et al. Subgroup-aware uncertainty quantification. arXiv, 2024.
[30] Liu Z, et al. Open-set recognition and uncertainty: a unified view. TPAMI, 2024.
[31] Huang R, et al. Test-time adaptation for uncertainty estimation. ICLR, 2024.
[32] Wang S, et al. Distribution shift monitoring in production ML systems. MLSys, 2023.
[33] Sculley D, et al. Hidden technical debt in machine learning systems. NeurIPS, 2015.
[34] Breck E, et al. The ML test score: a rubric for ML production readiness. IEEE Big Data, 2017.
[35] Paleyes A, et al. Challenges in deploying ML in the real world. ACM Computing Surveys, 2022.
[36] Zhang Y, et al. A survey on label noise in deep learning. IEEE TPAMI, 2022.
[37] Lu Y, et al. Learning with correlated label noise. ICML, 2023.
[38] Zhao Z, et al. Concept drift detection: methods and benchmarks. ACM Computing Surveys, 2023.
[39] Gama J, et al. Change point detection for streaming data. IEEE TKDE, 2022.
[40] Kpotufe S, et al. Transfer learning under covariate shift: theory and practice. JMLR, 2023.
[41] Sugiyama M, et al. Density ratio estimation in machine learning. Cambridge University Press, 2012.
[42] Gretton A, et al. A kernel two-sample test. JMLR, 2012.
[43] Rabanser S, et al. Failing loudly: an empirical study of methods for detecting dataset shift. NeurIPS, 2019.
[44] Koh P W, et al. Concept bottleneck models. ICML, 2020.
[45] Duchi J, et al. Distributionally robust optimization. Mathematical Programming, 2021.
[46] Sun B, Saenko K. Deep CORAL: correlation alignment for deep domain adaptation. ECCV Workshops, 2016.
[47] Maddox W J, et al. SWAG: a simple baseline for Bayesian uncertainty in deep learning. NeurIPS, 2019.
[48] Gal Y, Ghahramani Z. Dropout as a Bayesian approximation. ICML, 2016.
[49] Sensoy M, et al. Evidential deep learning to quantify classification uncertainty. NeurIPS, 2018.
[50] Kuleshov V, et al. Accurate uncertainties for deep learning using calibrated regression. ICML, 2018.
[51] Zhao S, et al. Improving calibration under distribution shift. ICLR, 2023.
[52] Wang Y, et al. Test-time calibration for reliable deployment. NeurIPS, 2023.
[53] Zhou A, et al. Uncertainty in deep learning: a practitioner's guide. arXiv, 2024.
[54] Liu J, et al. Selective classification under distribution shift. ICML, 2023.
[55] Geifman Y, El-Yaniv R. Selective classification for deep neural networks. NeurIPS, 2017.
[56] Charoenphakdee N, et al. Classification with rejection: a survey. arXiv, 2023.
[57] Zhang H, et al. Risk-controlling prediction sets. JACM, 2023.
[58] Bates S, et al. Distribution-free, risk-controlling prediction sets. JACM, 2021.
[59] Wang X, et al. Uncertainty quantification in production: lessons learned. arXiv, 2024.
[60] Chen Y, et al. A roadmap for trustworthy uncertainty quantification. TMLR, 2024.
[61] Zhang Q, et al. Evaluating uncertainty under mixed-stream deployment. arXiv, 2024.
[62] Li M, et al. Subgroup calibration for long-tailed recognition. CVPR, 2023.
文章声明：本文内容仅为作者学习、思考、经验、笔记的总结，仅供技术交流与参考。文中观点仅代表笔者个人思辨，不构成任何学术建议、商业建议或专业建议。所有数据来源已标注，引用时请以原始文献为准。
涉及数据集说明：文中提及的CIFAR-10、SVHN、ImageNet、ImageNet-O等均为公开基准数据集，其预处理细节（如归一化参数、分辨率、OOD划分方式）请以各基准原始论文与官方仓库为准；本文表2为模拟实验设计，非真实业务数据。
内容仅供学习参考。如需引用，请以原始文献为准。 全文约12800字 | 参考文献62篇（主要）。
贵公网安备 52010302001819号
