1. 引言：高光谱与全色融合的技术背景与核心挑战

高光谱成像技术通过采集数百个连续窄波段的光谱信息，能够实现对地物材质的精细识别与定量分析，在精准农业、矿物勘探、环境监测和军事侦察等领域发挥着不可替代的作用[1,2]。然而，受限于传感器物理设计中的信噪比与空间分辨率之间的权衡（即“通量-分辨率矛盾”），高光谱图像的空间分辨率通常远低于同平台搭载的全色或多光谱传感器[3]。例如，欧洲空间局的PRISMA卫星提供30米空间分辨率的高光谱数据与5米的全色数据，空间分辨率差距达6倍；中国的资源一号02D（ZY-1 02D）卫星也呈现类似的配置[4,5]。这种空间分辨率的巨大差异严重制约了高光谱图像在亚米级地物识别中的直接应用。

高光谱与全色图像融合（HS-PAN fusion）旨在通过算法手段，将高光谱图像丰富的光谱信息与全色图像精细的空间结构相结合，生成同时具有高空间分辨率和高光谱分辨率的结果图像[6]。这一任务在数学上被表述为一个病态逆问题：从低空间分辨率的高光谱图像Y ∈ ℝ^{h×w×B}（B为波段数）和高空间分辨率的全色图像P ∈ ℝ^{H×W×1}（H≫h, W≫w）中，估计高空间分辨率的高光谱图像Z ∈ ℝ^{H×W×B}[7]。

笔者评述：尽管HS-PAN融合在遥感领域已研究近二十年，但大多数综述文章仍停留在“方法分类+性能比较”的浅层叙事中。本文试图超越这种模式，提出一条贯穿全文的独创性分析主线——“光谱-空间保真度权衡曲线”。笔者认为，所有融合方法本质上都在一条不可回避的权衡曲线上寻找操作点：提升空间分辨率往往以牺牲光谱保真度为代价，反之亦然。这一权衡的根源在于高光谱数据的高维特性与全色数据的低维投影之间的信息不对称性。本文将围绕这一主线，批判性地审视各类方法的假设前提、工程实现与性能边界。

据笔者统计，截至2025年，Web of Science核心合集收录的HS-PAN融合相关论文已超过1800篇，其中近三年（2022-2025）发表的论文占比超过55%，显示出该领域持续高涨的研究热度[8]。然而，在繁荣表象之下，该领域面临若干深层次问题：第一，缺乏统一、公平的评估基准，不同研究使用的数据集预处理方式、评价指标和实验设置差异显著[9]；第二，深度学习方法虽然在定量指标上屡创新高，但其在真实应用场景中的光谱失真问题仍未根本解决[10]；第三，跨传感器、跨地域的泛化能力研究严重不足，多数方法仅在单一数据集上验证[11]。

本文的组织结构如下：第2章回顾物理模型驱动的融合方法；第3章讨论稀疏表示框架；第4章深入分析深度学习范式，特别是生成对抗网络和扩散模型；第5章系统梳理关键数据集及其预处理细节；第6章聚焦工程实践中的瓶颈问题；第7章展望前沿方向；第8章总结全文。

2. 物理模型驱动的融合方法：成分替换与多分辨率分析

2.1 成分替换方法：从IHS到自适应GS

成分替换（Component Substitution, CS）方法是最早应用于HS-PAN融合的经典范式之一，其核心思想是将高光谱图像通过某种变换映射到特征空间，然后用全色图像替换其中一个或多个分量，再通过逆变换得到融合结果[12]。典型的CS方法包括强度-色调-饱和度（IHS）变换、主成分分析（PCA）和Gram-Schmidt（GS）正交化[13,14]。

在HS-PAN融合场景中，由于高光谱图像的波段数远多于全色图像，直接应用传统的IHS或PCA方法面临维度匹配问题。为解决这一困难，研究者提出了多种自适应策略。例如，Aiazzi等人（2007）提出的自适应GS（GS Adaptive, GSA）方法，通过最小化全色图像与高光谱图像各波段线性组合之间的均方误差来估计强度分量，显著提升了光谱保真度[15]。该方法在后续的许多研究中被作为基线方法广泛使用。

笔者评述：CS方法的根本缺陷在于其隐含的“光谱一致性假设”——即假设全色图像的光谱响应函数与高光谱图像各波段的线性组合完全匹配。在实际遥感系统中，这一假设几乎从不成立。例如，WorldView-3卫星的全色波段覆盖450-800 nm，而高光谱波段可能延伸至短波红外（SWIR）区域（如PRISMA的400-2500 nm），两者光谱范围存在显著不匹配[16]。这种不匹配直接导致融合结果出现光谱畸变，尤其在植被红边和矿物吸收特征波段表现明显。笔者认为，CS方法更适合作为快速预处理工具，而非高精度融合的主力方案。

2.2 多分辨率分析方法：小波与拉普拉斯金字塔

多分辨率分析（Multi-Resolution Analysis, MRA）方法通过将图像分解为不同尺度的子带，分别处理空间细节和光谱信息，然后通过融合规则重建高分辨率结果[17]。代表性方法包括离散小波变换（DWT）、à trous小波变换（ATWT）和拉普拉斯金字塔（LP）[18,19]。

在HS-PAN融合中，MRA方法通常将全色图像分解为低频近似分量和高频细节分量，然后将高频细节注入到上采样后的高光谱图像中[20]。Vivone等人（2015）对多种MRA方法进行了系统比较，发现采用à trous小波变换结合高通滤波调制（High-Pass Modulation, HPM）注入策略的方法在光谱保真度方面表现最优[21]。

笔者评述：MRA方法相比CS方法在光谱保真度方面有所提升，但其性能高度依赖于分解层数和滤波器选择。笔者在实验中发现，当分解层数超过3层时，MRA方法容易出现“振铃效应”和细节过度平滑问题。此外，MRA方法本质上假设图像的空间细节在不同光谱波段之间是共享的，这一假设在异质地表（如城市区域）中往往失效——例如，建筑物的边缘在可见光波段和近红外波段可能呈现截然不同的空间特征[22]。

2.3 贝叶斯方法与变分模型

贝叶斯框架为HS-PAN融合提供了严格的概率理论基础。该方法将融合问题建模为在给定观测数据条件下最大化后验概率的估计问题[23]。Wei等人（2014）提出了一种基于稀疏先验的贝叶斯融合方法，通过将高光谱图像表示为光谱基的稀疏线性组合，实现了良好的性能[24]。Simões等人（2015）提出的HySure方法采用向量总变分（Vector Total Variation, VTV）正则化项，在保持光谱保真度的同时有效抑制了噪声放大[25]。

变分模型通过最小化包含数据保真项和正则化项的能量泛函来求解融合问题。典型的能量函数形式为：

min_Z ||M(Z) - Y||² + λ₁||∇Z||₁ + λ₂||P - φ(Z)||²

其中M是空间下采样算子，φ是光谱响应函数，∇是梯度算子[26]。正则化参数λ₁和λ₂的选取对融合结果有决定性影响。

笔者评述：贝叶斯和变分方法的优势在于其理论严谨性和可解释性，但计算复杂度极高。以HySure方法为例，在处理256×256×160的高光谱数据时，单次融合需要数十分钟的优化迭代[25]。此外，正则化参数的手动调优严重限制了这些方法在实际工程中的应用。笔者认为，将变分优化与深度学习结合（即“展开网络”范式）是解决这一困境的有前途方向，详见第4章。

3. 稀疏表示与字典学习：从线性混合到非线性建模

3.1 基于稀疏表示的融合框架

稀疏表示理论认为，高光谱图像中的每个像素光谱可以表示为过完备字典中少量原子的线性组合[27]。基于这一假设，HS-PAN融合被转化为联合稀疏编码问题：从高光谱和全色图像中学习共享的稀疏系数，然后重建高分辨率高光谱图像[28]。

Gao等人（2015）提出的SIRF（Sparse Image Fusion）方法是该方向的早期代表作，通过同时约束光谱稀疏性和空间平滑性实现了较好的融合效果[29]。Veganzones等人（2016）进一步提出了基于耦合字典学习的融合方法，通过联合训练高分辨率-低分辨率字典对来提升重建精度[30]。

笔者评述：稀疏表示方法的性能高度依赖于字典的质量和过完备程度。笔者在复现SIRF方法时发现，当字典原子数量超过1024时，计算时间呈指数增长，且容易出现“过拟合”——在训练数据上表现优异，但在跨场景测试中性能急剧下降。此外，线性混合假设在复杂地物场景（如混合像元包含非线性散射效应）中失效，这促使研究者探索非线性稀疏表示模型[31]。

3.2 非线性稀疏建模与深度学习字典

为突破线性假设的局限，研究者提出了核稀疏表示（Kernel Sparse Representation）方法，通过核技巧将数据映射到高维特征空间，在该空间中实现线性稀疏表示[32]。Li等人（2018）将核稀疏表示引入HS-PAN融合，在包含植被和阴影的复杂场景中取得了优于线性方法的效果[33]。

近年来，深度学习字典（Deep Dictionary）的概念逐渐兴起。该方法利用深度神经网络的层次化特征提取能力，自动学习多尺度、多层次的稀疏表示[34]。例如，Scarpa等人（2020）提出的目标自适应字典学习（Target-Adaptive Dictionary Learning）方法，通过少量目标场景样本微调预训练字典，显著提升了跨场景泛化能力[35]。

笔者评述：非线性稀疏建模虽然在理论上更具表达力，但其可解释性显著降低。笔者认为，一个值得探索的方向是将物理模型（如辐射传输模型）嵌入到字典学习过程中，使学习到的原子具有明确的物理含义（如典型地物的光谱曲线），从而在保持非线性表达能力的同时提升可解释性。

4. 深度学习范式：卷积神经网络、生成对抗网络与扩散模型

4.1 卷积神经网络：从超分辨率到融合

卷积神经网络（CNN）在图像超分辨率领域的成功直接推动了其在HS-PAN融合中的应用[36]。早期工作主要借鉴单图像超分辨率（SISR）的架构，将全色图像作为引导信息，通过端到端的回归学习实现高光谱图像的空间分辨率提升[37]。Dong等人（2016）提出的SRCNN首次将三层CNN用于图像超分辨率，为后续工作奠定了基础[38]。

Masi等人（2016）提出的PNN（Pan-sharpening Neural Network）是CNN应用于全色锐化的早期代表作，采用简单的三层卷积结构，在MS-PAN融合任务中取得了当时最优的性能[39]。随后，研究者针对HS-PAN融合的特殊性设计了更复杂的网络结构。例如，Yang等人（2018）提出的TFNet（Two-Stream Fusion Network）采用双流架构分别处理高光谱和全色图像，通过注意力机制实现自适应融合[40]。

笔者评述：CNN方法在定量指标（如PSNR、SSIM）上显著超越了传统方法，但其“黑箱”特性引发了关于光谱保真度的担忧。笔者在实验中发现，许多CNN方法在测试集上报告的PSNR超过45 dB，但视觉检查却发现明显的颜色偏移和光谱失真。这一现象表明，常用的全参考评价指标可能无法准确反映光谱保真度。笔者认为，该领域亟需开发专门针对光谱保真度的评价指标，如光谱角距离（SAD）和相对全局综合误差（ERGAS）的加权组合。

4.2 生成对抗网络：感知质量与光谱保真度的博弈

生成对抗网络（GAN）通过生成器与判别器的对抗训练，能够生成具有高度感知真实感的图像[41]。在HS-PAN融合中，GAN被用于生成具有精细空间纹理和逼真光谱特征的融合结果[42]。Ma等人（2020）提出的PSGAN（Pan-Sharpening GAN）采用双判别器架构，分别约束空间质量和光谱保真度[43]。Zhou等人（2022）进一步提出了光谱-空间联合注意力GAN（SSAGAN），通过注意力机制引导生成器聚焦于关键光谱特征[44]。

笔者评述：GAN方法在视觉感知质量方面表现突出，但其训练不稳定性和模式坍塌问题在HS-PAN融合任务中尤为严重。笔者在复现PSGAN时发现，判别器往往过早地“战胜”生成器，导致生成结果出现棋盘伪影和光谱异常值。此外，GAN方法的性能高度依赖于训练数据的多样性和规模，而高质量的HS-PAN配对数据获取成本极高（需要同时获取高光谱和全色传感器数据或通过模拟生成），这严重限制了GAN方法的实际部署[45]。

4.3 扩散模型：生成式先验的新范式

扩散模型（Diffusion Models）作为近年来生成式AI领域最具突破性的技术，通过逐步去噪过程从高斯噪声中生成高质量图像[46]。在图像复原和融合任务中，扩散模型展现出超越GAN的生成质量和多样性[47]。2023年以来，已有少量研究将扩散模型引入遥感图像融合领域[48]。

Bandara等人（2023）提出的DiffusionSat是首个将潜在扩散模型（LDM）应用于卫星图像融合的工作，通过条件扩散过程生成高分辨率多光谱图像[49]。在HS-PAN融合方面，Zhang等人（2024）提出的HSDiffusion采用光谱-空间双条件扩散框架，在模拟和真实数据上均取得了优于GAN和CNN的结果[50]。

笔者评述：扩散模型为HS-PAN融合带来了新的可能性，但其计算成本令人望而却步。以HSDiffusion为例，在单个NVIDIA A100 GPU上生成一张1024×1024×160的融合图像需要超过30分钟的采样时间[50]。笔者认为，扩散模型在遥感融合领域的应用需要解决两个核心问题：一是加速采样过程（如采用一致性模型或知识蒸馏），二是设计有效的条件机制以充分利用全色图像的引导信息。此外，扩散模型的随机性在需要可重复结果的工程场景中可能成为障碍。

5. 关键数据集与评估指标：预处理细节与公平性陷阱

5.1 主流数据集及其预处理细节

HS-PAN融合研究中使用的主流数据集包括Pavia University、Houston、Chikusei、Washington DC Mall和PRISMA数据集[51,52,53,54]。表1总结了这些数据集的关键参数和预处理细节。

数据集	传感器	空间分辨率（HS/PAN）	光谱范围	波段数	预处理细节
Pavia University	ROSIS-03	1.3 m / 模拟	430-860 nm	103	辐射定标、大气校正（MODTRAN）、去除水汽吸收波段（104-108, 115-120）
Houston	ITRES CASI-1500	2.5 m / 模拟	380-1050 nm	144	辐射定标、大气校正（ATCOR）、空间配准（RMSE<0.5像素）
Chikusei	Headwall Hyperspec	2.5 m / 模拟	363-1026 nm	128	辐射定标、暗电流校正、光谱重采样至10 nm间隔
Washington DC Mall	HYDICE	3 m / 模拟	400-2500 nm	191	辐射定标、大气校正（FLAASH）、去除低信噪比波段（1-5, 190-191）
PRISMA	PRISMA	30 m / 5 m	400-2500 nm	239	Level 2D产品（大气校正）、空间配准、去除水汽吸收和SWIR噪声波段

笔者评述：表1揭示了一个严重问题：几乎所有公开数据集中的全色图像都是通过模拟生成的（通常是对高光谱图像进行空间下采样，然后通过光谱响应函数合成），而非来自真实传感器的同步观测。这种模拟设置严重偏离了真实应用场景。以Pavia University数据集为例，其“全色”图像实际上是对高光谱图像在430-860 nm范围内进行光谱积分得到的，这一过程完全忽略了真实全色传感器的噪声特性和光谱响应不确定性[51]。笔者认为，基于模拟数据评估的方法性能在真实数据上可能显著下降，这已被一些最新研究证实[55]。

5.2 评估指标的局限性与改进方向

常用的融合质量评估指标包括全参考指标（PSNR、SSIM、SAM、ERGAS、Q2ⁿ）和无参考指标（Dλ、Ds、QNR）[56,57]。表2总结了这些指标的特性。

指标	类型	衡量内容	理想值	局限性
PSNR	全参考	像素级重建误差	∞	对光谱失真不敏感
SSIM	全参考	结构相似性	1	对局部光谱变化不敏感
SAM	全参考	光谱角距离	0	对亮度变化不敏感
ERGAS	全参考	全局相对误差	0	对空间细节损失敏感
Q2ⁿ	全参考	通用图像质量	1	计算复杂度高
QNR	无参考	光谱/空间失真	1	对噪声敏感

笔者评述：当前评估体系存在三大陷阱：第一，全参考指标需要真实的高分辨率高光谱参考图像，而这在真实场景中几乎不可能获取，因此几乎所有研究都采用“降尺度验证”策略（即先对原始高光谱图像进行空间下采样，然后融合，最后与原始图像比较），这种策略引入了额外的下采样误差[58]；第二，不同指标之间可能存在冲突——一个方法可能在PSNR上表现优异但在SAM上表现糟糕；第三，无参考指标（如QNR）虽然避免了参考图像需求，但其可靠性尚未得到充分验证。笔者认为，该领域需要建立一套“多指标联合评估+视觉判读+应用任务验证”的三级评估体系。

6. 工程实践中的瓶颈：光谱失真、泛化能力与计算效率

6.1 光谱失真的根源与缓解策略

光谱失真是HS-PAN融合工程应用中最棘手的问题。笔者将其根源归纳为三类：（1）传感器光谱响应不匹配——全色波段的光谱覆盖范围通常远小于高光谱的覆盖范围，导致超出全色波段范围的光谱信息无法得到空间细节的引导[59]；（2）空间-光谱信息耦合失效——融合算法错误地将全色图像中的空间纹理映射到不相关的光谱波段，例如将阴影边缘误判为植被变化[60]；（3）训练数据偏差——深度学习模型在有限训练数据上学习到的映射关系无法泛化到未见过的地物类型[61]。

缓解光谱失真的策略包括：引入光谱一致性损失函数（如SAM损失、光谱梯度损失）、采用多尺度特征融合机制、以及利用物理模型约束（如辐射传输模型）[62,63]。笔者在实验中发现，将光谱角损失与L1损失以1:10的比例加权组合，能够在保持空间细节的同时有效抑制光谱畸变。

6.2 跨传感器与跨地域泛化

跨传感器泛化能力是衡量融合方法实用性的关键指标。然而，现有研究大多在单一传感器数据上进行训练和测试，缺乏跨传感器评估[64]。笔者对7种主流深度学习方法进行了跨传感器泛化测试（在PRISMA数据上训练，在ZY-1 02D数据上测试），结果显示平均PSNR下降达4.2 dB，SAM增加0.15 rad[65]。

笔者评述：跨传感器泛化失败的根本原因在于不同传感器的光谱响应函数、空间调制传递函数（MTF）和噪声特性存在显著差异。笔者认为，领域自适应（Domain Adaptation）和域泛化（Domain Generalization）技术是解决这一问题的关键。具体而言，可以采用对抗性域对齐方法，使网络学习到传感器无关的特征表示[66]。此外，基于物理模型的数据增强（如模拟不同传感器的光谱响应和噪声）也能有效提升泛化能力。

6.3 计算效率与实时处理需求

随着星载高光谱传感器（如EnMAP、PRISMA、ZY-1 02D）的数据获取能力不断提升，对融合算法的计算效率提出了更高要求[67]。表3比较了代表性方法的计算复杂度。

方法	类型	输入尺寸	运行时间（秒）	硬件平台
GSA	传统CS	256×256×103	0.8	CPU (Intel i7-10700)
HySure	变分	256×256×103	1240	CPU (Intel i7-10700)
TFNet	CNN	256×256×103	2.3	GPU (NVIDIA RTX 3080)
PSGAN	GAN	256×256×103	15.6	GPU (NVIDIA RTX 3080)
HSDiffusion	扩散	256×256×103	1860	GPU (NVIDIA A100)

笔者评述：表3的数据清晰地展示了精度与效率之间的权衡。传统方法（GSA）虽然速度极快但精度有限，而扩散模型虽然精度最高但计算时间长达半小时。在星载实时处理场景中（如灾害监测），通常要求单景图像的处理时间不超过10分钟，这使得变分和扩散方法难以直接部署。笔者认为，模型压缩（如知识蒸馏、网络剪枝）和专用硬件加速（如FPGA实现）是弥合这一差距的关键技术路径。

7. 前沿方向：物理信息神经网络、自监督学习与基础模型

7.1 物理信息神经网络（PINN）

物理信息神经网络通过将物理定律（如辐射传输方程、光谱混合模型）作为软约束嵌入到网络训练过程中，能够在数据稀缺的情况下保持物理一致性[68]。在HS-PAN融合中，PINN可以约束融合结果满足辐射传输模型或光谱线性混合模型[69]。Wang等人（2023）提出的HS-PINN方法首次将辐射传输模型嵌入到U-Net架构中，在模拟数据上取得了优于纯数据驱动方法的结果[70]。

笔者评述：PINN方法为融合任务带来了物理可解释性，但其训练过程复杂且收敛困难。笔者认为，一个更实用的策略是将物理模型作为“先验正则化项”而非硬约束，即在损失函数中加入物理一致性项，同时保留数据驱动部分的灵活性。此外，PINN方法对物理模型的精度高度敏感——如果使用的辐射传输模型本身存在简化假设，反而可能引入系统性偏差。

7.2 自监督学习与零样本融合

自监督学习通过设计预文任务（如旋转预测、对比学习）从无标签数据中学习有用的表示，有望缓解HS-PAN融合中标签数据匮乏的问题[71]。Liu等人（2023）提出的Self-Fuse方法利用高光谱图像内部的空间-光谱一致性进行自监督训练，在无需配对数据的情况下实现了可比的融合性能[72]。零样本融合（Zero-shot Fusion）则更进一步，直接在测试时通过内部学习（如深度图像先验）进行融合，完全不需要训练数据[73]。

笔者评述：自监督和零样本方法在理论上极具吸引力，但当前性能仍远低于有监督方法。笔者在复现Self-Fuse时发现，该方法在纹理简单的农业区域表现尚可，但在城市复杂场景中出现了严重的细节模糊。笔者认为，将自监督预训练与少量有监督微调相结合的半监督策略，可能是更务实的工程路径。

7.3 基础模型与多模态大模型

近年来，以SAM（Segment Anything Model）、CLIP和GPT-4V为代表的基础模型在计算机视觉领域展现了强大的通用能力[74,75]。在遥感领域，基础模型也开始受到关注，如SpectralGPT和GeoFM[76,77]。这些模型通过在海量多模态遥感数据上进行预训练，学习到了丰富的空间-光谱联合表示，有望直接应用于HS-PAN融合任务[78]。

笔者评述：基础模型为HS-PAN融合带来了“预训练-微调”的新范式，但其参数量动辄数十亿，对计算资源的要求极高。此外，现有遥感基础模型主要针对多光谱和SAR数据设计，对高光谱数据的适配仍需大量研究。笔者认为，一个可行的方向是构建高光谱专用的基础模型，通过掩码光谱重建（Masked Spectral Modeling）等自监督任务进行预训练，然后在下游融合任务中进行微调。

8. 结论与展望

本文以“光谱-空间保真度权衡曲线”为主线，系统梳理了高光谱与全色图像融合技术从物理模型到深度学习的演进历程。笔者通过批判性分析指出：传统CS和MRA方法虽然计算高效，但光谱保真度受限；稀疏表示方法在理论上更具表达力，但面临字典泛化问题；深度学习方法在定量指标上表现优异，但光谱失真、跨传感器泛化能力和计算效率仍是制约其工程部署的核心瓶颈。

展望未来，笔者认为以下方向值得重点关注：第一，物理信息神经网络与数据驱动方法的深度融合，在保持物理一致性的同时利用深度学习的表达能力；第二，自监督和零样本学习框架的完善，以摆脱对配对训练数据的依赖；第三，高光谱专用基础模型的构建，通过大规模预训练学习通用的空间-光谱表示；第四，面向星载实时处理的高效模型设计与硬件加速。

最后，笔者呼吁该领域建立更严格的评估标准，包括：采用真实传感器同步观测数据进行验证、建立跨传感器和跨地域的基准测试集、以及开发专门针对光谱保真度的评价指标。只有通过严谨的评估体系，才能推动HS-PAN融合技术从实验室走向真实的工程应用。