高光谱开集目标识别中的“拒绝”语义：框级拒识与标签级弃权的双层决策框架

ABSTRACT 摘要

CONTENTS 目录

PROLOGUE 1　导语：一个被指标掩盖的语义问题

先看一个在遥感解译项目中反复出现的场景。某型高光谱载荷对地观测，任务是在影像中检出若干已知目标（例如特定材质屋顶、特定植被类型、特定人工设施），同时不可避免地会遇到训练集中从未出现的类别。工程团队采用开集识别方案：分类头输出已知类后验，并设置一个“未知”通道，当最大后验低于阈值时判为未知。离线评估时，开集指标看起来不错；上线后却出现两类投诉：一是大量背景区域被框成“目标但未知”，二是真正的未知目标被检出后又被强行归入某个已知类。前者是框级误报，后者是标签级误判，而离线指标把二者混在一个“未知类召回率”里，掩盖了问题的真实结构。

这不是个别团队的失误，而是开集识别在检测任务上形式化不足的必然结果。经典开集识别（Open-Set Recognition, OSR）定义在分类任务上：给定已知类集合 \( \mathcal{Y}_{k} \) 与未知类集合 \( \mathcal{Y}_{u} \)，模型需对输入 \( x \) 输出 \( \hat{y} \in \mathcal{Y}_{k} \cup \{\text{unknown}\} \)。这个定义隐含一个前提——输入本身是“一个待分类的样本”。但在目标检测中，输入是整幅影像，输出是若干候选框及其类别。此时“unknown”到底修饰谁？是修饰框（这个框不是任何目标），还是修饰标签（这个框是目标，但不属于任何已知类）？

笔者认为，这个区分之所以重要，不仅因为它在工程上决定误报与漏报的归因，更因为它在学习理论上对应两种不同的统计对象：框级拒识本质上是一个二分类的密度估计问题（目标 vs 背景，且背景中包含未知目标带来的“伪背景”），标签级弃权则是一个多分类的置信度校准与分布外检测问题。二者的可学习信号、样本构造方式、评估指标都不相同。把它们混为一谈，是当前不少“开集检测”工作指标好看但难以复现部署效果的技术根源。

BACKGROUND & PROBLEM 2　背景与问题定义：开集识别、PU学习与检测任务的三角关系

2.1 开集识别的形式化与其在遥感中的弱化前提

开集识别的研究脉络可以追溯到 Scheirer 等人 2013 年提出的开集识别框架，其核心是“开放空间风险”（open space risk）：模型在特征空间中为已知类划定的决策区域，应尽可能不侵占未知类可能出现的空间。此后基于极值理论（EVT）的 OpenMax、基于生成模型的对抗式开集、基于原型学习的互斥损失等方法相继出现。这些方法的共同假设是：未知样本在特征空间中与已知类存在可分离的统计差异，且这种差异在训练阶段可以通过已知类的边界结构间接刻画。

遥感场景对这一假设构成三重弱化。第一，类间光谱相似性高：高光谱虽波段众多，但不同地物在特定波段组合下可能高度重叠，未知类未必落在已知类流形之外，而可能嵌入已知类之间的缝隙。第二，未知类先验缺失：遥感中的未知类往往是“尚未被标注体系覆盖”的地物，其出现具有随机性和地域性，无法像图像分类基准那样人为构造一个封闭的未知类集合。第三，分布漂移：季节更替、物候变化、大气条件、传感器老化都会改变同一类别的光谱响应，使“已知类”的边界本身随时间移动。

2.2 PU学习的适用性与陷阱

PU学习（Positive-Unlabeled Learning）指训练集中只有正类样本被标注，其余样本未标注（可能含正类也可能含负类）。其经典结论是：在“完全随机选择”（SCAR）假设下，未标注集中的正类比例是一个可估计的常数，风险可以用正类与未标注类的经验风险无偏估计。将这一框架迁移到开集检测，自然的映射是：已知类目标作为正类（P），野生数据中其余部分作为未标注（U），U 中混合了背景与未知类目标。

这里存在一个容易被忽视的陷阱。PU学习的标准假设是“未标注样本的类别标签随机缺失”，而遥感野生数据的“未标注”并非随机缺失，而是系统性缺失：未知类之所以未标注，恰恰因为它不在标注体系内；背景之所以未标注，是因为它本就不是目标。这意味着 U 集内部存在结构化的异质性，直接套用 SCAR 假设会引入偏差。更合理的建模是把 U 进一步分解为“疑似目标但类别未知”与“疑似背景”两个子集，而这正是双层决策框架的动机之一。

2.3 高光谱目标检测的特殊性

与 RGB 目标检测相比，高光谱检测的输入是三维数据立方体 \( X \in \mathbb{R}^{H \times W \times B} \)，其中 \( B \) 通常为数十到数百个波段。这带来两个直接影响开集决策的特性。其一是光谱可分性与空间可分性的耦合：一个目标的“是目标”判断可以主要依赖空间纹理与形状，而“属于哪一类”的判断更依赖光谱曲线。这为双层解耦提供了物理基础——框级拒识可以更多依赖空间与低层光谱统计，标签级弃权则依赖精细光谱特征。其二是混合像元：低空间分辨率下，一个像素可能由多种地物混合而成，线性混合模型下像素光谱是端元光谱的凸组合。混合像元使得“未知”可能表现为“已知端元的未知比例组合”，进一步模糊了未知类与已知类的边界。

SEMANTICS 3　“拒绝”的两种语义：框级拒识与标签级弃权

3.1 定义与形式化

设检测器对影像输出候选框集合 \( \mathcal{B} = \{b_i\} \)，每个框对应特征 \( f_i \)。定义两个决策函数：

框级拒识：  g_box(f_i) → {target, non-target}
标签级弃权：g_cls(f_i | target) → {c_1, ..., c_K, abstain}

联合决策：
  b_i 被判为“未知目标”  ⇔  g_box = target  且  g_cls = abstain
  b_i 被判为“已知类 c_k” ⇔  g_box = target  且  g_cls = c_k
  b_i 被丢弃            ⇔  g_box = non-target

这一形式化的关键点在于：“未知”不是第三类，而是框级通过、标签级弃权的联合状态。它与“背景”在语义上截然不同——背景是框级未通过，未知目标是框级通过但标签级弃权。把二者都塞进一个“unknown”类别，是许多实现的做法，但会带来两个后果：一是训练时无法为两个决策分别构造监督信号；二是评估时无法区分“把背景误判为未知”与“把未知目标误判为已知”，而这两类错误的工程代价完全不同。

3.2 为什么必须分层：错误代价的不对称性

在遥感应用中，两类错误的代价结构差异显著。框级误报（把背景判为目标）会直接增加人工复核工作量，在广域筛查任务中可能使复核成本呈数量级上升；框级漏检（把目标判为背景）则可能导致关键目标丢失。标签级误纳（把未知目标归入已知类）的危害在于污染已知类的统计与后续决策——例如把一种未知材质误判为已知的某种金属屋顶，会误导资源调查结论；标签级弃权过多则使系统“检出但不可用”，降低自动化率。

由于代价不对称，两个决策的阈值不应由同一个超参数控制。框级阈值应偏向控制误报率（在可接受漏检下最大化精确率），标签级弃权阈值应偏向控制误纳率（在可接受弃权率下最大化已知类准确率）。这一分离在工程上是可操作的，而在单一“未知分数”框架下几乎无法实现。

3.3 与相关概念的辨析

需要与几个邻近概念划清界限。开集识别关注类别空间的开放性；分布外检测（OOD Detection）关注输入是否来自训练分布，其“拒绝”通常指样本级拒绝；选择性分类（Selective Classification）允许模型弃权以换取精度，其弃权发生在分类层；异常检测通常只有正常类标注，目标是发现偏离正常的样本。本文的双层框架可以看作：框级拒识接近 OOD 检测在“目标/背景”二值上的特化，标签级弃权接近选择性分类在开集类别空间上的推广。本文评述：这种“拼装式”的概念定位并非文字游戏，它决定了每一层可以借用哪一支文献的方法与理论保证，避免在错误的理论工具箱里找工具。

METHODOLOGY 4　技术路线：从野生数据到双层决策器

4.1 总体流程

下面给出一个可落地的六阶段流程。它不是唯一解，但每一步都对应明确的可验证目标，便于工程团队按阶段验收。

4.2 阶段一：野生数据的结构化预处理

野生数据不能直接喂给 PU 损失。建议按以下步骤处理：

1. 辐射与几何一致性检查。剔除云覆盖、坏波段、几何配准误差超限的样本。高光谱数据常见条带噪声与坏像元，需在进入训练前完成修复，否则噪声会被误学为“未知”信号。
2. 背景粗筛。用一个在已知类上训练的轻量 objectness 模型（或传统光谱指数规则）对野生数据打分，把低分样本标记为“疑似背景”，在 PU 风险估计中降权。注意：粗筛模型本身不应参与最终决策，只用于数据分层，以避免把粗筛偏差固化进主模型。
3. 疑似目标池构建。粗筛高分样本构成“疑似目标池”，其中混合了已知类目标与未知类目标。这一步的召回率优先于精确率，宁可多纳入背景，也不要漏掉未知目标。
4. 混合像元标记。对疑似目标池中的像素做线性混合模型拟合，记录重构误差与端元丰度熵。高误差或高熵样本在标签级分支中作为“低置信样本”降权，因为它们的光谱本就介于类别之间。

4.3 阶段二：共享骨干与双分支结构

骨干网络建议采用光谱-空间联合结构：对高光谱立方体先做 PCA 或波段选择降维，再用 3D 卷积或光谱注意力模块提取空谱特征，最后经空间池化得到框级特征。双分支共享骨干，但各自有独立的轻量头：框级头输出 objectness 标量，标签级头输出 \( K \) 个已知类后验加一个弃权分数。

这里有一个设计选择值得讨论：标签级分支的输入应该是“框级特征”还是“框内像素级光谱特征”？笔者认为，对于高光谱任务，标签级分支应保留像素级或超像素级的光谱聚合信息，因为类别判别主要依赖光谱曲线，而框级池化会损失光谱细节。一种可行做法是：框级分支用池化特征，标签级分支用框内像素特征的注意力聚合，二者通过共享骨干保持一致性。

# 伪代码：双分支前向与损失组合（示意，非可运行实现）
h = backbone(x_hsi)                 # 空谱共享特征
f_box = pool(h, boxes)              # 框级池化特征
f_pix = attention_pool(h, boxes)    # 像素级光谱聚合特征

s_obj  = box_head(f_box)            # objectness 标量
logits = cls_head(f_pix)            # K 个已知类后验
s_abs  = abstain_head(f_pix)        # 弃权分数（越高越倾向弃权）

L = L_box_pu(s_obj, P, U) \
  + L_cls_ce(logits, P) \
  + L_abs_rank(s_abs, P, U_target) \
  + lambda * L_consist(f_box, f_pix)  # 一致性正则，防止两分支漂移

损失设计上，框级分支采用 PU 风险估计：正类为已知类目标框，未标注为疑似目标池。标签级分支采用已知类交叉熵加弃权排序损失：已知类目标的弃权分数应低于未知目标。一致性正则项用于约束两个分支的特征不要各自漂移，这一点在多任务学习中已被反复验证其必要性。

4.4 阶段三：PU 风险估计的工程化

PU 学习的核心是估计未标注集中的正类比例 \( \pi \)。常用方法包括类先验估计（如 Elkan-Noto 方法）、基于核的分布匹配、以及近年基于对比学习的 PU 方法。在遥感场景中，笔者建议采用“双估计交叉验证”：用两种独立方法估计 \( \pi \)，若二者差异超过阈值，则说明 SCAR 假设可能不成立，应转向更保守的加权方案。

具体地，设 \( g \) 为框级打分函数，PU 风险可写为：

R_PU(g) = π · E_P[ℓ(g(x), +1)] + E_U[ℓ(g(x), -1)] - π · E_P[ℓ(g(x), -1)]

其中 \( \ell \) 为任意凸损失。工程上更常用的是其非负版本（nnPU），以避免经验估计中的负风险问题。本文评述：nnPU 的非负修正虽然提升了稳定性，但也引入了“过度保守”的倾向——当 \( \pi \) 估计偏低时，模型会低估正类密度，导致框级召回下降。因此在工程中应把 \( \pi \) 的估计区间而非点估计纳入训练，例如用区间中点做损失、用区间宽度做不确定性加权。

4.5 阶段四：标签级弃权的实现路径

标签级弃权有三种主流实现路径，各有适用边界：

笔者认为，在高光谱场景中，距离/原型路径与置信度路径的组合往往比单一生成路径更稳健。原因在于高光谱的类别判别信息集中在少数判别性波段，原型方法可以显式利用这些波段，而生成模型在高维小样本下容易学到与类别无关的重构模式。一种务实的组合是：以原型距离作为主弃权信号，以温度标定后的最大后验作为辅助信号，二者取“或”逻辑——任一超限即弃权，以控制误纳率。

DATA & CASES 5　关键数据与案例：公开数据集上的可验证观察

5.1 数据集与预处理细节

为避免虚构实验，本节只引用公开数据集的已知属性与社区普遍报告的观察，并明确标注哪些是文献结论、哪些是本文的整合性推断。

说明：上表属性来自各数据集官方说明与社区常用配置，预处理细节为工程实践中的常见做法汇总，非某一文献的单一实验设置。开集适用性一列为本文基于数据特性的判断。

5.2 一个可复现的评估协议

由于双层框架把“拒绝”拆成两层，评估也必须分层。建议采用如下协议，所有指标均可在公开数据上复现：

1. 构造未知类。从数据集中留出 1–3 个类别作为未知，训练时完全不使用其标签。注意：留出的类别应具有代表性，避免只留“容易区分”的类。
2. 框级评估。在验证集上计算 objectness 的 ROC-AUC 与 PR-AUC，正类为所有目标框（含未知类），负类为背景。这一指标衡量“框级拒识”的纯能力，与类别无关。
3. 标签级评估。在框级通过的目标上，计算已知类分类准确率、未知类弃权率（未知目标被正确弃权的比例）、已知类误弃权率。三者需同时报告，单独看任何一个都可被操纵。
4. 联合评估。报告“未知目标端到端检出率”（框级通过且标签级弃权）与“已知类端到端正确率”（框级通过且标签级正确）。这两个指标才对应真实业务效果。
5. 漂移压力测试。按时间或空间划分训练/测试，模拟分布漂移，观察弃权率与误纳率的变化曲线。

5.3 社区观察与本文整合推断

近年开集识别与 PU 学习的交叉研究明显增多，社区普遍报告两个现象：其一，在类别数较多、类间相似度高的数据上，纯置信度阈值的弃权效果显著下降；其二，引入无标签数据后，若未做背景粗筛，PU 风险估计会被大量易分背景主导，导致模型对“难样本”欠拟合。这两点与本文的双层框架判断一致：前者说明标签级弃权需要几何或密度信号辅助，后者说明框级预处理不可省略。

本文评述：需要警惕把“引入无标签数据一定提升性能”当作默认结论。PU 学习的收益依赖于未标注集与目标分布的重叠程度以及 SCAR 假设的近似成立。在遥感中，若野生数据与已知类分布差异过大（例如不同传感器、不同季节），无标签数据可能引入负迁移。工程上应以消融实验验证收益，而非默认采用。

COMPARISON & LIMITS 6　对比与局限：双层框架的边界条件

6.1 与单层“未知类”方案对比

6.2 框架的局限

必须诚实地指出，双层框架并非万能。第一，它假设框级与标签级可以相对解耦。当未知类目标在空间形态上与背景高度相似（例如某种与裸土纹理接近的未知地物），框级分支本身就会失效，此时标签级再精确也无济于事。第二，PU 风险估计依赖 SCAR 近似，而遥感野生数据的缺失机制是系统性的，这一偏差无法通过算法完全消除，只能通过数据分层缓解。第三，双阈值带来标定成本，在标注样本稀缺的场景下，分层 ROC 的估计方差可能很大。第四，混合像元使“一个框内多个类别”成为常态，标签级弃权在框粒度上可能过于粗糙，未来需要考虑像素级或子区域级的弃权。

ENGINEERING 7　工程落地：阈值标定、监控与回滚

7.1 分层阈值标定步骤

1. 确定业务代价矩阵。与业务方确认框级误报、框级漏检、标签级误纳、标签级弃权四类事件的相对代价。这一步不能由算法团队单方面决定。
2. 框级阈值标定。在验证集上扫描 objectness 阈值，绘制误报率-漏检率曲线，按代价矩阵选取工作点。建议保留 10%–20% 的召回余量，避免漂移后漏检骤增。
3. 标签级阈值标定。固定框级阈值，在通过的目标上扫描弃权阈值，绘制误纳率-弃权率曲线，按业务可接受的自动化率选取工作点。
4. 联合验证。在独立测试集上验证端到端指标，特别关注“未知目标端到端检出率”是否满足要求。
5. 固化与版本化。把阈值、标定数据版本、指标曲线一并归档，任何模型更新都需重新标定并对比。

7.2 在线监控指标

部署后应持续监控以下指标，任一越界即触发告警：

• 框级通过率：单位面积内通过框级阈值的候选数。突增可能意味着背景分布变化或传感器状态异常。
• 标签级弃权率：通过框中被判弃权的比例。持续上升是未知类增多的早期信号。
• 已知类后验熵：已知类预测的平均熵。熵升高说明特征分布漂移。
• 特征漂移指标：对骨干特征做滑动窗口的分布距离（如 MMD 或 PSI），监控整体漂移。

7.3 回滚与增量更新

当监控确认漂移已影响业务指标时，应有明确的回滚路径：保留上一稳定版本的模型与阈值，新版本先在影子模式下并行运行，对比分层指标后再切换。对于持续出现的未知类，可启动“增量标注—重训练—重标定”闭环，但需注意：新标注的未知类一旦被纳入已知类集合，原先的弃权阈值需要重新标定，因为类别空间发生了变化。

CONCLUSION 8　结论与展望：走向可演化的开集识别

回到开篇的问题：在目标检测场景下，“拒绝”到底该定义在框上还是标签上？本文的答案是——两者都要，但必须分开定义、分开训练、分开评估。框级拒识回答“是不是目标”，标签级弃权回答“是不是已知类”，二者的联合状态才构成“未知目标”。把二者压缩为单一“未知分数”，在未知类分布未知且漂移的现实条件下，会系统性地掩盖错误结构、阻碍阈值调优、削弱漂移监控能力。

本文评述：这一结论的更深层含义是，开集识别在遥感中的落地瓶颈，正在从“算法不够强”转向“问题定义不够细”。过去几年大量工作集中在设计更强的 OOD 分数或更复杂的生成模型，但若评估协议仍把背景误报与未知误纳混为一谈，算法进步就难以转化为部署收益。双层框架的首要贡献不是新算法，而是把问题拆到可被独立优化和独立验证的粒度。

展望未来，有三个方向值得投入。其一是像素级/子区域级弃权，以应对混合像元与多类别框；其二是持续开集识别，让模型在无标签数据流中在线更新弃权边界，而非依赖离线重训练；其三是与主动学习的闭环，把高弃权样本优先送人工标注，使未知类逐步转化为已知类，形成可演化的类别体系。这三者都建立在同一个前提上：拒绝的语义必须清晰。语义不清，再强的模型也只是在优化一个错误的目標。

REFERENCES 参考文献与拓展资源

主要参考文献（8–9 篇）

1. Scheirer W J, de Rezende Rocha A, Sapkota A, Boult T E. Toward open set recognition. IEEE TPAMI, 2013, 35(7): 1757–1772.
2. Bendale A, Boult T E. Towards open set deep networks. CVPR, 2016: 1563–1572.
3. du Plessis M C, Niu G, Sugiyama M. Analysis of learning from positive and unlabeled data. NeurIPS, 2014: 703–711.
4. Kiryo R, Niu G, du Plessis M C, Sugiyama M. Positive-unlabeled learning with non-negative risk estimator. NeurIPS, 2017: 1675–1685.
5. Geng C, Huang S J, Chen S. Recent advances in open set recognition: a survey. IEEE TPAMI, 2021, 43(10): 3614–3631.
6. Salehi M, Mirzaei H, Hendrycks D, et al. A unified survey on anomaly, novelty, open-set, and out-of-distribution detection. ACM Computing Surveys, 2022, 55(5): 1–38.
7. Yang J, Wang P, Wang H, et al. Open-set recognition in hyperspectral image classification: a review. IEEE JSTARS, 2023