1. 引言：光谱与几何的“双生”叙事

遥感技术自20世纪中叶诞生以来，始终在“看得更清”与“看得更全”两个维度上演进。高光谱成像（HSI）以其数十至数百个连续窄波段，能够捕获地物近乎完整的光谱指纹，从而实现对矿物种类、植被生化参数、水体成分等的精细识别（Goetz et al., 1985）。激光雷达（LiDAR）则通过主动发射激光脉冲，直接获取地表三维点云，提供厘米级精度的地形、植被结构和建筑物模型（Wehr & Lohr, 1999）。

然而，单一传感器存在固有局限：HSI缺乏几何深度信息，易受光照和大气影响；LiDAR虽几何精确，但光谱信息极度匮乏。这种互补性催生了HSI-LiDAR融合研究的蓬勃兴起。早期融合尝试多基于像素级或特征级拼接，但受限于数据异构性和尺度差异，效果有限。近年来，深度学习，尤其是卷积神经网络（CNN）、图神经网络（GNN）和Transformer的引入，为跨模态特征对齐与协同推理开辟了新路径。

本文评述：现有综述多侧重于分类方法罗列，缺乏对融合本质——即如何在不同模态间建立语义对应关系——的深入剖析。笔者认为，融合的核心不在于简单叠加，而在于构建一个统一的表征空间，使得光谱连续性与几何结构性能够相互约束、共同优化。这一观点将贯穿全文，成为分析所有技术方案的“锚点”。

2. 技术基础：HSI与LiDAR的物理原理与数据特性

2.1 高光谱成像原理

高光谱传感器（如AVIRIS、Hyperion、EnMAP）基于成像光谱仪原理，将入射光色散后投射到二维探测器阵列，同时获取空间（x, y）和光谱（λ）信息。典型光谱范围覆盖可见光至短波红外（400–2500 nm），光谱分辨率可达5–10 nm（Green et al., 1998）。数据形式为三维数据立方体（x, y, λ），每个像素对应一条连续光谱曲线。

数据特性：高维性（通常>100波段）、强相关性（相邻波段高度相关）、混合像元问题（一个像素可能包含多种地物）。这些特性要求专门的降维与解混技术（Bioucas-Dias et al., 2012）。

2.2 激光雷达原理

LiDAR系统通过发射纳秒级激光脉冲，测量往返时间（Time-of-Flight）计算距离，结合扫描角度和GPS/IMU定位，生成三维点云（X, Y, Z, Intensity）。离散回波LiDAR记录多次回波，全波形LiDAR则记录完整回波波形，可提取更丰富的结构信息（Mallet & Bretar, 2009）。

数据特性：非均匀采样、点密度变化大、存在噪声和异常值、强度值受距离和入射角影响。典型点密度从0.5 pts/m²（星载）到数百pts/m²（地面站）不等。

2.3 互补性分析

HSI提供“是什么”的光谱证据，LiDAR提供“在哪里”的几何框架。例如，在森林监测中，HSI可识别树种（光谱差异），LiDAR可估算树高和冠层结构（几何信息）。两者结合可实现从个体到生态系统的多尺度理解（Asner et al., 2012）。

笔者观点：这种互补性并非简单加和，而是存在深层耦合。例如，植被的生化参数（如叶绿素含量）与冠层高度之间存在生理关联（叶片氮含量影响光合效率，进而影响生长速率），这种物理关联为跨模态推理提供了先验知识，是未来融合算法应充分利用的“暗信息”。

3. 数据预处理与跨模态对齐：从硬件到算法的桥梁

3.1 几何校正与配准

HSI与LiDAR数据通常来自不同传感器、不同视角和不同分辨率。几何配准是实现融合的第一步，也是最关键的瓶颈之一。传统方法依赖地面控制点（GCP）和多项式变换，精度有限。近年来，基于特征匹配的方法（如SIFT、SuperPoint）在异源遥感图像配准中取得进展（Ye et al., 2021）。

数据集预处理细节示例：以Houston 2013数据集为例（Debes et al., 2014），HSI数据由ITRES CASI-1500传感器获取，光谱范围380–1050 nm，144波段，空间分辨率2.5 m。LiDAR数据由Leica ALS60系统获取，点密度约50 pts/m²。预处理步骤包括：①LiDAR点云插值为2.5 m分辨率的数字表面模型（DSM）和强度图像；②基于RPC模型对HSI进行正射校正；③利用互信息最大化进行亚像素级配准；④将HSI和LiDAR特征图裁剪为相同尺寸（349×1905像素）。

3.2 光谱校正与辐射定标

HSI原始数据需经过暗电流扣除、辐射定标（转换为辐射亮度）、大气校正（如FLAASH、6SV）转换为地表反射率（Gao et al., 2006）。LiDAR强度值需进行距离和入射角校正，以消除系统误差（Kaasalainen et al., 2011）。

3.3 数据归一化与维度对齐

不同模态的数据分布差异巨大：HSI反射率值在0–1之间，LiDAR高程值可能达数百米。直接输入网络会导致训练不稳定。常用策略包括Z-score归一化、最小-最大归一化，以及针对点云的体素化或投影（如生成深度图像、高度图像）。

本文评述：预处理环节的自动化程度仍远低于理想水平。当前多数研究依赖人工调参和特定数据集的手工流程，缺乏通用性。笔者认为，可学习的配准模块（如空间变换网络）和端到端的预处理流水线是未来值得探索的方向。

4. 特征提取与融合范式：从手工特征到深度学习

4.1 传统融合方法

早期融合方法包括：像素级融合（如主成分分析PCA、Gram-Schmidt变换）、特征级融合（如提取HSI的光谱角、LiDAR的纹理特征后拼接）和决策级融合（如分别分类后投票）。这些方法计算简单，但难以捕捉深层非线性关系（Zhang et al., 2014）。

4.2 深度学习驱动的特征学习

深度学习的引入彻底改变了融合范式。CNN能够自动学习层次化特征，2D-CNN处理HSI的每个波段或PCA降维后的图像，3D-CNN同时提取光谱-空间特征（Chen et al., 2016）。对于LiDAR，通常将点云投影为多视图图像（如高度、强度、回波次数）或体素网格，再输入CNN。

笔者观点：投影操作不可避免地丢失信息。点云的原生稀疏性和不规则性更适合图神经网络（GNN）或PointNet类架构（Qi et al., 2017）。将HSI光谱特征作为点云的属性，构建光谱-几何图，可实现真正的联合推理。

4.3 融合架构分类

融合层次代表方法优点缺点
早期融合通道拼接、PCA融合简单、计算快忽略模态差异
中期融合双流CNN、跨模态注意力保留模态特性需要精心设计对齐模块
晚期融合决策级投票、贝叶斯融合鲁棒性高无法利用跨模态互补信息
混合融合多尺度特征金字塔+注意力灵活、性能优参数量大、训练困难

5. 深度学习融合架构深度解析

5.1 双流CNN与特征交互

双流架构是融合研究的基石。典型结构如：HSI流（3D-CNN）提取光谱-空间特征，LiDAR流（2D-CNN处理DSM/强度图）提取几何特征，两者通过拼接或求和融合。Hong et al. (2020) 提出EndNet，引入跨模态特征交互模块，通过门控机制动态调整融合权重。

本文评述：双流网络的关键在于交互时机。过早交互可能导致模态特异性信息被淹没，过晚则失去协同增益。笔者认为，应采用渐进式交互策略，在多个层级逐步融合，同时保留模态独立分支。

5.2 注意力机制与Transformer

注意力机制能够自适应地聚焦重要特征。SE-Net、CBAM等通道/空间注意力已被广泛应用于HSI分类（Roy et al., 2020）。Transformer凭借自注意力机制，天然适合处理长距离依赖和跨模态关系。SpectralFormer（Hong et al., 2021）将Transformer引入HSI分类，通过分组光谱嵌入捕获全局光谱上下文。

在融合场景中，Cross-Attention（交叉注意力）允许一个模态的查询（Query）关注另一个模态的键值（Key-Value），实现信息交换。例如，LiDAR点云特征作为Query，HSI光谱特征作为Key，可生成几何引导的光谱增强特征（Sun et al., 2022）。

笔者观点：Transformer的二次复杂度限制了其在超大尺度遥感数据上的应用。线性注意力（如Performer）和窗口注意力（如Swin Transformer）是实用的折中方案。此外，将物理先验（如光谱吸收特征位置、地形坡度）编码为位置嵌入，可提升模型物理一致性。

5.3 图神经网络（GNN）与点云融合

GNN直接操作非欧几里得数据，天然适配点云。核心思想是将每个LiDAR点视为图节点，节点特征由对应位置的HSI光谱向量（经插值或最近邻采样）构成，边权重由点间几何距离或光谱相似度定义。通过图卷积（如GCN、GAT）进行消息传递，实现光谱-几何联合学习（Qin et al., 2021）。

数据集预处理细节：以Trento数据集为例（Barsi et al., 2018），HSI数据由AISA Eagle传感器获取（126波段，1 m分辨率），LiDAR数据由Optech ALTM 3100获取（点密度约6 pts/m²）。预处理步骤：①对LiDAR点云进行地面滤波（渐进形态学滤波）生成DTM和nDSM；②将HSI重采样至1 m；③对每个LiDAR点，在HSI图像上提取对应像素的光谱向量（若点落在像素内，直接赋值；若落在边界，进行双线性插值）；④构建K近邻图（K=10），节点特征为光谱向量+几何特征（高程、强度、回波次数）。

5.4 生成对抗网络（GAN）与模态翻译

GAN可用于模态间翻译，例如从LiDAR数据生成伪HSI图像，或反之。这种思想在跨模态数据增强和缺失模态补全中具有潜力（Zhu et al., 2017）。例如，在只有LiDAR数据的区域，利用训练好的GAN生成对应的HSI特征，辅助分类。

本文评述：模态翻译的可靠性高度依赖训练数据的多样性和配准精度。生成的光谱可能缺乏物理真实性，需结合光谱库约束或物理模型进行正则化。笔者认为，将GAN与物理辐射传输模型（如PROSAIL）结合，可生成物理可解释的伪数据。

6. 工程实践：典型应用场景与案例研究

6.1 精细农业：作物分类与营养诊断

在精准农业中，HSI-LiDAR融合用于区分作物品种、检测病虫害和评估氮素含量。LiDAR提供的冠层高度信息可分离不同生长阶段的作物，HSI则识别光谱差异。例如，Yue et al. (2023) 在玉米田中利用无人机HSI（400–1000 nm，120波段）和LiDAR（点密度200 pts/m²），通过双流CNN+注意力机制，实现了95.3%的品种分类精度，较单一HSI提升8.2%。

案例细节：数据采集于中国东北，面积5公顷。预处理包括：LiDAR点云生成CHM（冠层高度模型），HSI进行辐射定标和大气校正。融合模型在NVIDIA V100 GPU上训练2小时，推理速度0.1 s/公顷。

6.2 林业与生态学：生物量估算与树种识别

森林是HSI-LiDAR融合的经典应用场景。LiDAR精确测量树高和冠层体积，HSI提供叶片生化信息。结合两者可大幅提升地上生物量（AGB）估算精度。Asner et al. (2012) 在亚马逊雨林利用机载CAO系统（同时搭载HSI和LiDAR），通过多元线性回归，将AGB估算R²从0.65（仅LiDAR）提升至0.83。

笔者观点：传统统计方法（如线性回归）难以捕捉非线性关系。深度学习模型（如PointNet++处理点云+1D-CNN处理光谱）可自动学习复杂映射。但需注意过拟合问题，尤其是在样本稀少的热带森林。自监督预训练（如对比学习）是缓解标注稀缺的有效手段。

6.3 城市规划：建筑物提取与土地利用分类

城市环境中，LiDAR提供建筑物三维轮廓，HSI区分屋顶材料（如沥青、瓦片、金属）。融合方法可显著提升建筑物提取的完整性和分类精度。Rasti et al. (2020) 在ISPRS Vaihingen数据集上，利用ResNet-50双流架构，实现了93.1%的总体分类精度，较仅用RGB图像提升12%。

数据集预处理细节：Vaihingen数据集包含IRRG图像（近红外-红-绿，8 cm分辨率）和LiDAR点云（平均密度4 pts/m²）。预处理：①生成nDSM（归一化数字表面模型）和强度图像；②将IRRG和nDSM/强度图堆叠为4通道输入；③数据增强（随机翻转、旋转、色彩抖动）。

6.4 考古与文化遗产：地下遗迹探测

高光谱可探测土壤成分异常（如有机质含量变化），LiDAR可穿透植被发现微地形起伏。两者结合在考古遗址探测中展现潜力。例如，在柬埔寨吴哥窟周边，机载LiDAR揭示了被森林覆盖的运河和寺庙地基，而HSI则辅助识别了不同时期的建筑材料（Evans et al., 2013）。

6.5 灾害监测：火灾评估与洪水映射

火灾后，HSI可识别过火区域和燃烧严重程度，LiDAR评估植被结构损失。洪水期间，LiDAR提供高精度DEM用于淹没模拟，HSI检测水质变化。融合技术可提供灾前-灾后快速对比分析（Gitas et al., 2022）。

7. 挑战、瓶颈与未来方向

7.1 数据异构性与配准误差

HSI与LiDAR的空间分辨率、视角和采集时间差异导致配准误差，这是融合性能的主要瓶颈。即使亚像素级误差（如0.5像素）也会导致光谱-几何对应错误，尤其在边缘区域。

本文评述：现有配准方法多假设刚性变换，而实际中由于地形起伏和传感器抖动，局部非刚性变形普遍存在。笔者认为，基于深度学习的光流或可变形卷积的配准网络，结合多尺度代价体，有望实现更鲁棒的配准。

7.2 标注稀缺与域适应

像素级标注HSI和LiDAR数据成本极高。域适应（Domain Adaptation）和少样本学习成为研究热点。例如，利用源域（如Houston）预训练模型，通过对抗训练或自训练适应目标域（如Trento）（Audebert et al., 2019）。

7.3 计算复杂度与实时性

高光谱数据的高维性和点云的大规模性导致计算负担沉重。星载或无人机平台的实时处理需求对模型轻量化提出挑战。模型剪枝、知识蒸馏和神经网络架构搜索（NAS）是可行的优化路径（Cheng et al., 2022）。

7.4 物理可解释性与因果推理

当前深度模型多为“黑箱”，缺乏物理可解释性。物理信息神经网络（PINN）将辐射传输方程或几何约束嵌入损失函数，可提升模型泛化能力和物理一致性（Raissi et al., 2019）。例如，在植被参数反演中，将PROSAIL模型作为正则化项，约束HSI光谱与LiDAR结构参数的关系。

笔者观点：未来融合技术将向“知识驱动+数据驱动”的混合范式演进。具体而言，利用物理模型生成大量合成训练数据，再通过深度学习进行微调，可同时保证物理真实性和拟合能力。此外，因果推断（如结构因果模型）可揭示模态间的因果机制，实现超越相关性的推理。

7.5 前沿方向：自监督学习与基础模型

自监督学习（如MAE、SimCLR）在遥感领域兴起，利用大量无标注数据预训练通用特征提取器。对于HSI-LiDAR融合，跨模态对比学习（如CLIP）可学习对齐的光谱-几何表征。近期，遥感基础模型（如SpectralGPT、RemoteCLIP）已展现出强大的迁移能力（Li et al., 2024）。

本文评述：基础模型需要海量多模态数据，当前公开数据集（如Houston、Trento、MUUFL）规模有限。构建大规模、多传感器、多时相的基准数据集是当务之急。笔者认为，结合自监督预训练和下游任务微调，将是未来3–5年的主流范式。

8. 结论

高光谱与激光雷达的融合技术已从简单的数据叠加演进为基于深度学习的跨模态协同推理。本文以“跨模态特征对齐与协同推理”为主线，系统梳理了从物理原理、预处理、特征提取到前沿架构的完整技术链条，并结合农业、林业、城市等典型应用进行了工程实践分析。尽管面临配准误差、标注稀缺和计算复杂度等挑战，但自监督学习、物理信息网络和基础模型的兴起为突破瓶颈提供了新机遇。笔者认为，未来融合系统将更加智能化、轻量化和物理可解释，成为地球观测与智能感知的核心支柱。