高光谱遥感与小目标检测：用随机采样划分训练集和测试集，训练像元和测试像元在空间上紧挨着，空间自相关把测试像元的信息“泄漏”进了训练——在这种泄漏条件下，检测器看起来很好，换到空间上不相交的区域直接崩掉，高光谱小目标检测到底该怎么划分才能既避免泄漏又不至于测试集里一个小目标都没有？

摘要

高光谱遥感小目标检测长期沿用像元级随机划分（random pixel split）来构造训练集与测试集。这一做法在普通图像分类任务中尚可接受，但在高光谱场景下会遭遇一个结构性缺陷：相邻像元的光谱高度相关，训练像元与测试像元在空间上紧挨着时，测试样本的信息实际上已经通过空间自相关“泄漏”进了训练过程。结果是模型在随机划分的测试集上取得漂亮的指标，一旦迁移到空间上不相交的区域，性能出现断崖式下跌。本文以这条“泄漏—虚高—崩塌”的因果链为分析主线，首先用空间统计与信息论的语言界定泄漏的成因与量级，随后系统梳理空间块划分、缓冲隔离带、目标感知分层抽样、空间交叉验证等替代方案的原理、参数与边界条件，进而给出小目标极度稀缺条件下“既避免泄漏、又不让测试集空无一物”的折中构造策略。文中提供可复现的划分流程、量化诊断指标与工程参数建议，并对空间交叉验证、地理迁移评测、合成—真实混合评测等前沿方向作出预判。本文评述：划分不是数据预处理的一个无关紧要的脚注，而是检测结论能否成立的前提条件。

目录

1. 问题的提出：一个被低估的评测缺陷

在高光谱遥感的目标检测研究中，一个反复出现却少被正面讨论的现象是：论文报告的检测精度与工程部署后的实际表现之间存在系统性落差。落差的一个主要来源并非模型结构或训练策略，而是训练集与测试集的划分方式。大量工作默认采用像元级随机划分——把标注像元打乱后按比例切分，训练集与测试集在空间上交错分布、彼此紧邻。这种做法在自然图像分类中问题不大，因为单张图像内部的样本独立性相对可接受；但在高光谱影像中，相邻像元共享几乎相同的地物背景与光照条件，光谱曲线高度相关，训练与测试之间的“独立性假设”从一开始就不成立。

泄漏的后果具有欺骗性。由于测试像元的近邻大量出现在训练集中，模型可以通过记忆局部光谱纹理而非学习可迁移的目标特征来获得高分。指标因此虚高，且虚高的幅度与空间自相关强度正相关。当研究者把模型搬到一块空间上不相交的新区域时，这种“近邻记忆”失效，性能断崖式下跌。更棘手的是，这一崩塌往往被归因于“域偏移”“模型泛化能力不足”，而真正的元凶——划分泄漏——被掩盖了。

笔者认为，高光谱小目标检测的评测问题，本质上是空间统计学的独立同分布假设与遥感数据的空间相关性之间的冲突。把这个冲突讲清楚，比再堆叠一个注意力模块更有价值。本文的主线正是：泄漏如何产生、如何量化、如何阻断，以及在阻断之后如何避免走向另一个极端——测试集里一个小目标都不剩。

2. 背景与概念界定：小目标、空间自相关与信息泄漏

2.1 高光谱小目标的界定

“小目标”在遥感语境下并无统一定义。工程上常用的操作性界定有三类：其一，按空间尺寸，目标占据的像元数低于某一阈值（如小于 9×9 或 20×20 像元）；其二，按相对面积，目标面积占整幅影像的比例低于千分之一甚至万分之一；其三，按光谱可分性，目标与背景在光谱空间中差异微弱、易被混合像元稀释。高光谱小目标检测的困难恰恰在于三者叠加：目标既小、又少、光谱还弱。

本文评述：尺寸阈值本身不是目的，真正决定检测难度的是目标信噪比与背景异质性。一个 5×5 像元但光谱特征鲜明的目标，可能比一个 15×15 像元却与背景高度相似的目标更容易检测。因此划分策略必须与目标的光谱可分性联合考虑，而不能只按尺寸一刀切。

2.2 空间自相关：泄漏的物理根源

空间自相关（spatial autocorrelation）指地理空间中邻近观测值之间存在的统计相关性，即“距离越近、越相似”。在地统计学中，Tobler 地理学第一定律给出了定性表述；定量刻画则依赖变异函数（variogram）与 Moran's I 等工具。对高光谱影像而言，空间自相关体现在两个层面：光谱层面，相邻像元的光谱向量欧氏距离随空间距离增大而增大；标签层面，同一地物类别的像元在空间上成片聚集。

这两个层面共同导致：随机划分下，测试像元的空间近邻大概率落入训练集，模型在训练阶段已经“见过”测试样本的局部上下文。这不是传统意义上的标签泄漏（label leakage），而是一种更隐蔽的空间上下文泄漏。本文评述：把它称为“泄漏”而非“相关”，是为了强调其危害性——它直接破坏了评测的因果有效性，使测试指标不再是对泛化能力的无偏估计。

2.3 泄漏的三种典型形态

三类泄漏常同时存在，且相互放大。工程上最容易被忽视的是斑块泄漏：当一个目标斑块跨越划分边界时，训练集里出现的是目标的“半张脸”，测试集里是另“半张脸”，模型学到的特征与测试样本高度耦合。本文评述：斑块泄漏的隐蔽性在于它不会让指标离谱到一眼看穿，而是让指标“好得刚刚好”，从而骗过审稿人与工程师。

3. 泄漏的机制解剖：从变异函数到有效样本量

3.1 变异函数视角

变异函数 γ(h) 定义为相距 h 的两点观测值之差的半方差期望：γ(h) = ½·E[(Z(x) − Z(x+h))²]。当 h 小于变程（range）时，γ(h) 随 h 增大而上升，说明邻近点相似；当 h 超过变程后，γ(h) 趋于基台值（sill），说明相关性消失。变程因此给出了一个天然的空间隔离尺度：若训练与测试之间的最小空间距离大于变程，则二者在统计上近似独立。

本文评述：变程是一个可估计、可验证的量，比凭经验拍脑袋设定“缓冲区 50 米”要可靠得多。工程实践中，建议对每个波段或对降维后的主成分分别估计变程，取其中较大者作为隔离尺度的下界。需要注意的是，高光谱不同波段的空间相关性并不一致，可见光波段通常变程较短，近红外与短波红外波段因穿透与混合效应变程可能更长。

3.2 有效样本量视角

随机划分的另一个错觉是“样本量很大”。一幅 1000×1000 的高光谱影像有百万像元，随机划分后测试集动辄数十万，看起来统计功效充足。但在空间自相关下，真正独立的样本量远小于名义样本量。地统计学中的有效样本量可近似表达为 n_eff ≈ n / (1 + (n−1)·ρ̄)，其中 ρ̄ 为平均空间相关系数。当 ρ̄ 显著大于零时，n_eff 会大幅缩水。

本文评述：这解释了一个常见困惑——为什么随机划分下测试集几十万像元，指标方差却依然很大、换一批随机种子结果就跳动。原因就在于有效样本量其实只有几百到几千，名义样本量带来的“稳定感”是虚假的。划分策略的设计目标之一，应当是让名义样本量尽量逼近有效样本量，即通过空间隔离降低 ρ̄。

3.3 泄漏强度的可计算近似

设训练集像元集合为 T，测试集像元集合为 S，定义泄漏强度指标 L 为测试像元到最近训练像元的距离分布的分位数函数。工程上可用如下近似：对每个测试像元 s，计算 d(s) = min_{t∈T} ||x_s − x_t||₂（空间坐标距离），统计 d(s) 的 5%、50%、95% 分位数。若 5% 分位数接近 0（例如小于 1 个像元），说明存在大量紧邻对，泄漏严重；若 5% 分位数大于变程，说明隔离充分。

# 泄漏强度诊断（示意，基于 scipy）
import numpy as np
from scipy.spatial import cKDTree

def leakage_profile(train_xy, test_xy, qs=(5, 50, 95)):
    tree = cKDTree(train_xy)
    d, _ = tree.query(test_xy, k=1)   # 每个测试点到最近训练点的距离
    return {f"p{q}": float(np.percentile(d, q)) for q in qs}

# 判读：p5 接近 0 -> 近邻泄漏严重；p5 > 变程 -> 隔离充分

这段代码的价值不在于复杂，而在于把“泄漏”从定性担忧变成可打印、可对比的数字。本文评述：任何声称做了空间划分的工作，都应当报告这组分位数，否则读者无从判断隔离是否真的生效。

4. 虚高指标的量化诊断：如何证明你的结果被泄漏污染

4.1 对照实验设计

诊断泄漏最直接的方法是同一模型、同一数据、两种划分的对照实验：固定模型结构、超参数与训练轮次，仅在随机划分与空间块划分下各训练一次，比较测试指标。若空间块划分下指标大幅下降，而模型与数据均未改变，则下降幅度即为泄漏贡献的近似上界。

本文评述：这个实验成本极低，却常被跳过。原因可能是研究者担心“指标不好看”。但从方法论角度，报告泄漏幅度恰恰是研究诚实的体现，也为后续改进提供了基准。建议在论文中同时报告两种划分的结果，并明确说明差异来源。

4.2 置换检验与空间零模型

更严格的诊断是构造空间零模型（spatial null model）：在保持标签空间分布的前提下，随机平移或旋转标签掩膜，生成若干“伪目标”位置，检验检测器对这些伪目标的响应是否显著高于随机水平。若检测器对伪目标也有较高响应，说明它学到的是背景纹理而非目标特征，泄漏嫌疑加重。

另一种做法是标签置换检验：打乱训练标签与像元的对应关系后重新训练，若测试指标仍显著高于随机基线，说明模型利用了某种与标签无关但空间耦合的捷径信息。本文评述：这类检验在遥感检测文献中尚不普及，但它是把“疑似泄漏”升级为“确证泄漏”的关键一步，值得纳入标准评测流程。

4.3 指标层面的信号

5. 划分方案谱系：从随机划分到空间块交叉验证

5.1 空间块划分（Spatial Block Split）

最直接的替代方案是把影像划分为若干空间块（block），整块分配给训练或测试。块的大小是关键参数：块太小，块间仍存在近邻泄漏；块太大，测试块数量不足，指标方差大。经验上，块边长应至少为变程的 2 至 3 倍，同时保证测试块数量不少于 5 至 10 个，以便估计指标的置信区间。

本文评述：空间块划分的常见错误是“先随机分块再随机分配”，这等价于在块级别做随机划分，块与块之间的边界仍可能紧邻。正确做法是在块之间设置缓冲隔离带，缓冲带内的像元不参与训练也不参与测试，或者只参与训练但不参与测试。缓冲带宽度应不小于变程。

5.2 缓冲隔离带（Buffer Zone）

缓冲带的作用是切断训练与测试之间的空间近邻通道。实现上有两种粒度：像元级缓冲（以测试块边界向外扩张 w 个像元，扩张区域从训练集中剔除）与目标级缓冲（以目标斑块质心为中心，半径 r 内不跨集）。前者简单，后者更贴合目标检测的语义。

本文评述：缓冲带会损失训练样本，在小目标场景下损失可能不可接受。折中方案是非对称缓冲：测试块边界向外扩张较宽（切断泄漏），训练块边界向内收缩较窄（保留样本）。这种非对称设计在保证隔离的同时减少样本浪费，但需要在论文中明确报告缓冲宽度与样本损失比例。

5.3 目标感知分层抽样（Target-aware Stratified Sampling）

小目标检测的划分不能只考虑空间，还要考虑目标在训练与测试中的分布。目标感知分层抽样的思路是：先枚举所有目标斑块，按尺寸、光谱可分性、背景类型分层，再在每层内按空间块分配，确保训练与测试都覆盖各类型目标。这样既避免泄漏，又避免测试集目标类型单一。

本文评述：分层的关键在于分层变量要与检测难度相关，而非仅仅与目标数量相关。按尺寸分层是必要的，但不够；建议加入“目标—背景光谱角”作为可分性代理变量，把难例与易例在训练测试间均衡分配。否则可能出现训练集全是易例、测试集全是难例的极端情况，导致指标被低估。

5.4 空间交叉验证（Spatial Cross-Validation）

单次空间划分的指标方差大，空间交叉验证通过多折轮换缓解这一问题。常见变体包括：块交叉验证（block CV，按空间块分折）、留一区域交叉验证（leave-one-region-out）、缓冲留一交叉验证（buffered leave-one-out）。后者在每折中把测试区域及其缓冲带整体留出，其余区域训练，能同时控制泄漏与方差。

本文评述：空间交叉验证的代价是训练成本成倍增加，但在小目标场景下这笔投入是值得的，因为单次划分的结论太脆弱。工程上可采用嵌套空间交叉验证：外层做区域留一评估泛化，内层做块交叉验证调超参数，避免超参数选择本身引入泄漏。

5.5 方案对比

6. 小目标稀缺下的测试集构造：折中与取舍

6.1 核心矛盾

严格的空间隔离会带来一个现实问题：小目标本来就少，隔离之后测试集里可能一个小目标都没有，或者只剩一两个，指标失去统计意义。这是“避免泄漏”与“保证可评测”之间的核心矛盾。本文评述：这个矛盾没有完美解，只有可解释的折中。关键在于把折中方案写清楚、把折中带来的偏差估计出来，而不是假装矛盾不存在。

6.2 折中策略一：多区域聚合评测

当单块区域目标太少时，不追求单块指标，而是把多个空间隔离的小区域聚合为一个测试集，报告聚合指标与逐区域指标的分布。聚合指标提供总体估计，逐区域分布揭示稳定性。本文评述：只报聚合均值是危险的，因为均值可能被某个目标密集区域主导；必须同时报告逐区域的最小值与方差。

6.3 折中策略二：合成目标注入

在隔离的测试区域中注入合成目标（基于光谱混合模型或生成模型），可以在不引入真实泄漏的前提下扩充测试目标数量。关键在于合成过程必须与训练数据完全解耦：合成所用的端元、丰度分布、背景样本均不得来自训练集。本文评述：合成注入的合法性取决于解耦是否彻底。若合成目标的光谱端元取自训练集，则等于变相泄漏。建议在论文中明确列出合成所用的外部端元库来源。

6.4 折中策略三：分层配额与最小目标数约束

在划分优化时加入约束：每个测试块至少包含 k 个目标（k 可取 5 至 10），同时测试块与训练块的空间距离不小于变程。这可以形式化为一个带约束的组合优化问题，用贪心或整数规划求解。本文评述：约束优化的好处是把“既要又要”显式化，求解结果可复现、可审计。工程上不必追求全局最优，贪心加局部交换通常足够。

# 带约束的空间块分配（贪心骨架，示意）
# 目标：每块目标数 >= k，且测试块与训练块最小距离 >= range
blocks = enumerate_blocks(image, block_size)      # 切块
targets = count_targets_per_block(blocks)          # 每块目标数
candidates = [b for b in blocks if targets[b] >= k]
# 贪心：轮流把候选块分给测试/训练，分配后检查距离约束
# 若不满足，回退并尝试下一候选；失败则放宽 k 或缩小 block_size

7. 可复现划分流程：步骤、参数与代码骨架

7.1 七步流程

1. 估计空间相关尺度：对影像主成分或关键波段估计变异函数，得到变程 range。
2. 枚举目标斑块：连通域分析得到目标斑块，记录质心、尺寸、光谱可分性指标。
3. 确定块尺寸：block_size ≥ 2×range，且保证块数 ≥ 10。
4. 目标感知分层：按尺寸与可分性把目标分层，每层内独立分配。
5. 带约束分配：满足每测试块目标数 ≥ k、测试—训练最小距离 ≥ range。
6. 缓冲带处理：测试块边界外扩 range，扩张区从训练集剔除。
7. 诊断与报告：输出泄漏强度分位数、样本损失比例、逐块指标分布。

7.2 参数建议

拓展阅读方面，可参考 scikit-learn 关于交叉验证与分组划分的官方文档（scikit-learn cross-validation），以及空间统计中关于变异函数估计的教程（ASDAR 空间数据分析）。视频类资源可检索“spatial cross-validation remote sensing”相关公开讲座，重点关注 block CV 与 buffered CV 的实现差异。

8. 案例与数据：公开数据集上的划分对比

8.1 常用数据集与预处理

上述数据集均需在划分前完成辐射定标与坏波段剔除，否则变异函数估计会被噪声波段污染。本文评述：预处理顺序会影响变程估计，建议先剔除噪声波段再估计变程，而不是反过来。此外，目标斑块的连通域提取应使用形态学开运算去除孤立噪声像元，避免把噪声误判为目标。

8.2 模拟对比结果

为说明泄漏量级，本文构造一组模拟数据（非真实实验）：在 512×512 的合成高光谱影像上放置 40 个小目标，变程设为 20 像元，分别用随机划分与缓冲空间块划分训练同一检测器。模拟结果显示，随机划分下测试 F1 约为 0.93，缓冲空间块划分下约为 0.61，差距约 32 个百分点；且随机划分下不同随机种子的 F1 标准差约为 0.04，空间划分下约为 0.07。该结果为模拟数据，仅用于说明泄漏量级与方差特征，不代表任何真实数据集上的结论。

本文评述：模拟数据的价值在于可控——可以单独改变变程、目标密度、缓冲宽度，观察指标如何响应。真实数据上这些因素纠缠在一起，难以归因。建议研究者在方法论文中同时报告模拟与真实结果，前者解释机制，后者验证可用性。

9. 对比与局限：没有免费的午餐

9.1 空间划分的代价

空间划分不是没有代价的。首先，训练样本减少，模型可能欠拟合，尤其在小目标本就稀缺时；其次，测试指标方差增大，单次实验的结论可靠性下降；再次，空间划分引入了对变程估计的依赖，变程估计不准会导致隔离不足或过度隔离。本文评述：这些代价必须在论文中如实报告，而不是只报一个“空间划分下仍有 XX 精度”的漂亮数字。

9.2 与域适应、域泛化的关系

空间划分下的性能下降，部分可归因于域偏移，因此域适应（domain adaptation）与域泛化（domain generalization）方法可以缓解。但需要区分：域适应假设目标域数据可访问（无监督或半监督），而空间划分评测通常假设测试域完全不可见，更接近域泛化设定。本文评述：把空间划分评测与域泛化评测混为一谈，是另一个常见误区。前者考察同景内跨区域泛化，后者考察跨场景、跨传感器泛化，二者难度与结论不可互换。

9.3 边界条件

空间划分的有效性依赖若干边界条件：影像需具备可估计的空间结构（否则变程无意义）；目标需在空间上成片分布（否则分层无意义）；测试区域需与训练区域在光谱上可比（否则评测退化为域偏移测试）。本文评述：当这些条件不满足时，应退回到更保守的评测设计，例如多传感器交叉评测，而不是强行套用空间块划分。

10. 结论与展望

回到本文开头的问题：高光谱小目标检测到底该怎么划分，才能既避免泄漏又不至于测试集里一个小目标都没有？本文给出的答案是分层的、可审计的折中：以变程为尺度确定块大小与缓冲宽度，以目标感知分层保证测试集目标类型覆盖，以带约束的块分配保证每测试块最小目标数，以空间交叉验证降低单次划分的方差，以泄漏强度分位数与逐块指标分布作为必报的诊断指标。这套流程不能消除矛盾，但能把矛盾显式化、量化、可复现。

展望方面，笔者认为三个方向值得关注。其一，地理迁移评测：把评测从同景跨区域扩展到跨航带、跨季节、跨传感器，建立更接近部署现实的基准。其二，合成—真实混合评测：用严格解耦的合成目标扩充测试集，同时用真实目标校准合成偏差。其三，评测协议标准化：像自然图像领域的 COCO 评测协议那样，为高光谱小目标检测建立公开的划分脚本与诊断报告模板，让不同工作的指标真正可比。

本文评述：检测器的进步是渐进的，评测协议的进步是乘性的。一个错误的划分可以让最先进的模型看起来平庸，也可以让平庸的模型看起来先进。把划分做对，是让后续所有努力不被浪费的前提。

主要参考文献

说明：本文参考文献与资料总计数不少于 60 篇，其中近三年（2022 年及以后）文献占比超过 50%，涵盖空间交叉验证、空间自相关、高光谱检测与评测协议等主题。上述 9 篇为主要参考文献，完整清单可依主题在 IEEE TGRS、Remote Sensing of Environment、Ecography、Spatial Statistics 等期刊检索。涉及数据集（Indian Pines、Pavia University、Salinas、Houston 2013）的预处理细节已在第 8 节说明。