高光谱遥感与AI：高光谱-LiDAR融合网络里，LiDAR特征往往在早期层就被拼接到高光谱特征上，但LiDAR的“高度”语义和高光谱的“光谱”语义在特征空间里的尺度差异很大，简单拼接会让其中一种模态主导梯度——跨模态注意力、门控融合和特征对齐到底该怎么选，融合位置放在浅层、深层还是多层级同时做，有没有可解释的消融结果能说明“融合到底在哪里起了作用”？

摘要

高光谱与LiDAR的融合网络在遥感地物分类中表现优异，但融合策略的设计长期依赖经验试错。本文提出一条贯穿全文的分析主线：融合的有效性取决于"语义尺度对齐程度"与"梯度贡献均衡程度"两个可观测量的匹配，融合位置与融合算子的选择本质上是在这两个量之间做权衡。文章首先界定模态失配的成因，从特征尺度、梯度量级与语义粒度三个维度给出形式化描述；随后逐一剖析跨模态注意力、门控融合与特征对齐的机制与失效条件；进而结合公开文献中的消融结果与本文整理的模拟实验数据，讨论浅层、深层与多层级融合的适用场景；最后给出包含数据预处理、融合模块实现、消融设计与可解释性验证的完整操作路径，并对多层级自适应融合与可解释性评估的前沿方向作出预判。

目录

一、问题的提出：为什么"早期拼接"是一个陷阱

1.1 一个常见的工程现象

在大量高光谱—LiDAR联合分类的开源实现中，可以观察到一种高度相似的网络结构：高光谱分支经过若干卷积层提取光谱—空间特征，LiDAR分支（通常以高程图、归一化数字表面模型 nDSM 或点云栅格化的多通道图像为输入）经过较浅的卷积层提取几何特征，随后在某个中间层通过 torch.cat 沿通道维拼接，再送入后续的联合编码器。这种"早期拼接"（early concatenation）实现简单、参数少，在不少数据集上也能取得可用的精度，因此被广泛复制。

但工程上另一个现象同样普遍：当训练日志被仔细检查时，会发现 LiDAR 分支的梯度范数在若干轮之后迅速衰减，或者相反，高光谱分支的梯度被 LiDAR 分支的高幅值特征淹没。更隐蔽的表现是，模型在测试集上整体精度尚可，但对仅依赖几何结构区分的地物类别（如低矮建筑与硬化地面的区分、树冠与灌木的区分）召回率明显偏低。这类失败不会在总体精度上立刻暴露，却直接削弱了引入 LiDAR 的初衷。

本文评述：早期拼接的问题不在于"拼接"这个操作本身，而在于它默认了两个模态的特征在数值尺度与语义粒度上是可比的。当这一默认不成立时，拼接层实际上变成了一个隐式的模态选择器——网络会倾向于利用梯度贡献更大、信噪比更高的那一侧，另一侧则退化为噪声或弱先验。这一判断需要可观测的证据支撑，而非仅凭直觉，后文第五节将给出具体的观测方法。

1.2 文献中的相关线索

多模态融合中的模态不平衡问题在视觉—语言领域已有较系统的讨论。Wang 等人在 2020 年提出的 PMR（Prototypical Modal Rebalance）方法中指出，多模态学习中存在"模态竞争"（modality competition）现象，梯度主导模态会抑制另一模态的学习，并提出了基于梯度调制与原型重平衡的缓解策略（Wang et al., 2020, Proceedings of the AAAI Conference on Artificial Intelligence）。Peng 等人在 2022 年对多模态不平衡问题做了更系统的综述与基准测试，将不平衡来源归纳为模态内的样本不平衡与模态间的不平衡两类（Peng et al., 2022, arXiv:2206.00359）。这些工作虽以视觉—语言为主要场景，但其关于梯度主导的机制分析对遥感多模态融合具有直接的迁移价值。

在遥感领域，Hong 等人 2021 年发表的 SpectralFormer 工作将 Transformer 引入高光谱分类，验证了自注意力在光谱序列建模上的有效性（Hong et al., 2021, IEEE Transactions on Geoscience and Remote Sensing）。随后出现的一批工作尝试将 Transformer 的跨模态注意力机制用于高光谱与 LiDAR 的联合建模，例如通过交叉注意力让光谱 token 查询几何 token。这类方法在多个基准上报告了优于简单拼接的结果，但不同工作的消融设置差异很大，融合位置从第一层到最后一层均有出现，结论难以直接横向比较。

笔者认为，当前领域最缺的不是新的融合算子，而是统一的、可复现的融合位置与算子对照实验框架。不同论文在数据划分、预处理、评价指标上的差异，使得"哪种融合更好"这一问题长期缺乏可信答案。本文的写作动机之一，正是尝试把散落在各处的经验整理成一条可检验的分析主线。

二、模态失配的形式化：尺度、梯度与语义粒度

2.1 特征尺度失配

设高光谱分支在融合层输出的特征图为 F_h ∈ R^{C_h × H × W}，LiDAR 分支输出为 F_l ∈ R^{C_l × H × W}。拼接后得到 F_cat ∈ R^{(C_h+C_l) × H × W}。问题在于，两个分支的激活值分布往往差异显著：高光谱分支由于输入波段数多（常见 100–300 个波段）、光谱曲线动态范围大，其卷积激活的方差通常高于仅含高程与强度少数通道的 LiDAR 分支；反之，若 LiDAR 输入经过归一化到 [0,1] 且包含大量零值（如 nDSM 中的地面区域），其激活分布可能高度偏斜。

这种尺度差异在后续的批归一化（BatchNorm）层中会被部分吸收，但吸收是有代价的：批归一化对拼接后的通道统一做统计归一化，会掩盖模态间的分布差异，同时让两个模态共享同一组缩放与平移参数，削弱了模态特异性。本文评述：批归一化在此处更像是一种"事后补救"，它缓解了尺度问题，却没有解决语义粒度问题，二者不可混为一谈。

2.2 梯度贡献失配

考虑融合层之后的第一层卷积，其权重为 W ∈ R^{C_out × (C_h+C_l) × k × k}。反向传播时，权重梯度可分解为来自两个模态特征的分量之和：

∂L/∂W = ∂L/∂W|_h + ∂L/∂W|_l
其中 ∂L/∂W|_h 仅涉及 F_h 对应的通道切片，
     ∂L/∂W|_l 仅涉及 F_l 对应的通道切片。

若 ‖∂L/∂W|_h‖ ≫ ‖∂L/∂W|_l‖，则优化过程主要被高光谱分支驱动，LiDAR 分支对应的权重更新缓慢，其在特征中的贡献被边缘化。这一现象与视觉—语言领域的模态竞争在机制上同源。需要强调的是，梯度范数的大小本身并不直接等价于"有用性"——一个梯度范数小的模态可能是信息冗余，也可能是被压制。区分这两种情况需要借助后文的消融与可解释性手段。

2.3 语义粒度失配

这是最容易被忽视、却对融合位置选择影响最大的一维。高光谱的"光谱"语义在浅层表现为局部波段组合的响应（如红边位置、吸收谷深度），在中层表现为材质级别的判别特征，在深层才逐渐抽象为类别相关的语义。LiDAR 的"高度"语义则不同：其浅层特征已经直接编码了绝对高度与局部起伏，语义抽象的速度远快于光谱特征。换言之，两个模态的语义抽象速率不同步。

本文评述：语义粒度失配意味着，在浅层做拼接时，LiDAR 侧提供的是"已经接近最终语义"的高度信息，而高光谱侧提供的是"尚未抽象"的低级光谱响应，两者在语义层级上并不对等。这种不对等会让融合层倾向于直接利用 LiDAR 的高度判别力，而高光谱的材质信息要等到更深的层才能发挥作用——但那时融合已经发生过了。这为"多层级融合"提供了机制层面的理由，而非仅仅是一种工程上的堆叠技巧。

三、三类融合算子的机制剖析与失效边界

3.1 跨模态注意力

跨模态注意力的基本形式是让一个模态的 token 作为查询（Query），另一模态的 token 作为键（Key）与值（Value），通过缩放点积注意力实现信息的选择性聚合。以高光谱查询 LiDAR 为例：

Q = F_h W_Q,  K = F_l W_K,  V = F_l W_V
Attn = softmax(Q Kᵀ / √d) V
F_fused = F_h + Attn        # 残差式聚合

其机制优势在于：注意力权重是数据自适应的，理论上可以让每个光谱 token 根据自身内容决定"看多少几何信息"。对于语义粒度失配，跨模态注意力提供了一种软对齐的可能——浅层的高光谱 token 若尚未形成有效语义，其查询向量可能学到"暂时少看几何"的策略。

但失效边界同样明确。第一，注意力的有效性依赖查询与键在同一语义空间中的可比性，若两个模态的投影矩阵初始化不当，早期训练阶段注意力权重接近均匀分布，融合退化为简单平均。第二，计算复杂度随 token 数呈二次增长，在高分辨率影像上直接对像素级 token 做跨模态注意力代价高昂，通常需要先做 patch 化或降采样。第三，注意力权重的可解释性存在争议——Jain 与 Wallace 在 2019 年的工作（Jain & Wallace, 2019, NAACL）指出，注意力权重高并不必然意味着该位置对最终预测贡献大，这提示我们不能仅凭注意力热图断言"融合起了作用"。

本文评述：跨模态注意力适合处理语义粒度失配，但对特征尺度失配并不天然免疫——注意力只改变信息的加权聚合，不改变被聚合特征本身的分布。因此实践中常需要在对注意力之前先做一层模态特定的归一化或线性投影对齐，否则注意力的 softmax 会因键向量的尺度差异而饱和。

3.2 门控融合

门控融合通过学习一个逐通道或逐位置的门控系数，对两个模态的特征做加权组合：

g = σ( Conv([F_h ; F_l]) )      # 门控图，取值 (0,1)
F_fused = g ⊙ F_h + (1 - g) ⊙ F_l

门控融合直接针对梯度贡献失配：通过门控系数，网络可以在训练中动态调节两个模态的贡献比例，理论上能缓解一侧主导的问题。Arevalo 等人 2017 年提出的多模态门控模型（Arevalo et al., 2017, Computer Vision and Image Understanding）是该思路的早期代表之一。在遥感领域，门控机制常被用于融合光谱与几何特征，并在部分数据集上报告了稳定的增益。

失效边界在于门控的"自我强化"风险。若训练初期某一模态恰好梯度较大，门控会倾向于放大该模态，进一步增大其梯度，形成正反馈，最终门控退化为近似常数（接近 0 或 1），融合名存实亡。本文评述：门控融合的有效性高度依赖初始化与正则化，实践中应监控门控系数的分布——若训练后期门控图的方差趋近于零，说明门控已失去调节能力，此时需要引入熵正则或对门控做温度退火。

3.3 特征对齐

特征对齐不直接做融合，而是先通过某种约束让两个模态的特征分布或语义结构趋于一致，再执行拼接或加权。常见做法包括：

• 分布对齐：最小化两个模态特征的均值/协方差差异，如 CORAL 损失（Sun & Saenko, 2016, ECCV Workshops）；
• 对比对齐：通过跨模态对比损失拉近同位置正样本对、推远负样本对，代表工作如 CLIP 式的对比预训练思路（Radford et al., 2021, ICML）；
• 结构对齐：约束两个模态特征的相似度矩阵一致，属于关系蒸馏的范畴。

特征对齐的优势是从根源上缓解尺度失配，为后续融合创造可比的特征空间。其代价是引入了额外的对齐损失与超参数，且对齐目标本身可能与分类目标存在张力——过度对齐可能抹除模态特异性，反而降低互补性。笔者认为，特征对齐更适合作为融合的"前置工序"而非替代品，且对齐强度应随训练进程退火，早期强对齐稳定训练，后期弱对齐保留判别性。

四、融合位置：浅层、深层与多层级的权衡

4.1 浅层融合

浅层融合（在网络的第 1–3 个卷积块之后融合）保留了最多的原始模态信息，允许后续层联合学习跨模态交互。其优势是信息损失小，理论上限高；劣势是语义粒度失配最严重，且梯度主导问题在浅层最为突出。本文评述：浅层融合适合两个模态在数据质量与分辨率上高度匹配、且已做充分特征对齐的场景。若直接使用原始拼接，浅层融合往往是"看起来信息多、实际有效信息少"的陷阱。

4.2 深层融合

深层融合（在网络的最后 1–2 个阶段融合）让两个模态各自充分抽象后再结合。此时两个模态的特征都已接近类别语义，语义粒度失配大幅缓解，梯度主导问题也因特征维度降低而减弱。代价是融合发生得晚，跨模态的早期交互缺失，模型难以利用"光谱—几何"的低级联合模式（例如特定材质与特定坡度的共现）。

在文献中，深层融合常表现为"双分支独立编码 + 末端融合分类头"的结构。这类结构在训练稳定性上通常优于浅层拼接，但在类别间主要靠几何区分时，增益可能有限，因为几何信息在深层已被压缩为与光谱相似的抽象表示，互补性被削弱。

4.3 多层级融合

多层级融合在多个深度同时建立跨模态连接，典型实现是类似 U-Net 的跳跃连接结构，或在不同阶段分别插入融合模块。其机制上的合理性在于：不同深度对应不同的语义粒度，多层级融合相当于为语义粒度失配提供了一个"逐级对齐"的过程——浅层融合负责低级模式，深层融合负责高级语义。

但多层级融合并非免费的午餐。第一，参数与计算量增加；第二，多个融合点之间存在梯度路径的竞争，可能出现"某些融合点被闲置"的现象；第三，消融实验的设计难度上升——要证明每个融合点的必要性，需要逐点移除的对照实验，成本较高。笔者认为，多层级融合的价值只有在融合点之间存在明确的分工证据时才成立，否则更应被视为一种增加容量的手段，而非机制上的改进。

五、可解释消融：如何证明"融合在哪里起了作用"

5.1 消融设计的三个层次

要回答"融合到底在哪里起了作用"，消融实验需要覆盖三个层次，缺一不可：

1. 模态层消融：分别移除 LiDAR 分支、移除高光谱分支、保留但打乱 LiDAR 空间对应关系（shuffle 对照）。后者尤为关键——它能区分"模型真的用了几何信息"与"模型只是利用了 LiDAR 输入带来的额外参数容量"。
2. 位置层消融：在候选深度逐一插入/移除融合点，记录精度变化。建议同时报告"移除单个融合点"与"仅保留单个融合点"两种设置，前者衡量冗余性，后者衡量充分性。
3. 算子层消融：在固定位置下替换融合算子（拼接 / 门控 / 注意力 / 对齐+门控），并记录梯度均衡指标与门控分布。

5.2 可观测指标

仅凭总体精度不足以支撑"融合起作用"的结论。建议在训练日志中固定记录以下指标：

• 逐模态梯度范数比：r_g = ‖g_h‖ / ‖g_l‖，理想情况下应稳定在有限区间内，长期单调偏离提示主导问题；
• 门控熵：门控图的空间熵，熵过低说明门控塌缩；
• 逐层线性探针精度：在每个融合点之后接一个线性分类器并冻结主干，探针精度反映该层特征的语义可用性，可用于验证语义粒度对齐是否发生；
• 模态遮挡敏感度：推理时将 LiDAR 输入置零或替换为均值，观察预测置信度的下降幅度，下降越明显说明模型越依赖该模态。

5.3 一组模拟对照数据

为说明上述指标的使用方式，本文构造了一组模拟数据（非真实实验，仅用于演示指标读法）。设定一个双分支网络在四个候选深度 D1–D4 分别插入门控融合，记录验证精度与梯度范数比的中位数：

本文评述：这组模拟数据的价值不在于具体数值，而在于展示了一种"精度 + 机制指标"联合读表的方法。若只看精度，D3 与 D4 差异在噪声范围内；但结合梯度范数比与门控熵，可以判断 D3 的融合仍保留调节能力，而 D4 的融合已接近常数加权。这种区分对工程决策至关重要——它决定了后续优化应投向"换算子"还是"换位置"。

六、数据与预处理：公开数据集与工程细节

6.1 常用公开数据集

高光谱—LiDAR 联合分类的公开基准相对有限，常用的包括：

• Houston 2013 / 2018：IEEE GRSS 数据融合竞赛数据集，提供高光谱与 LiDAR 派生栅格，是联合分类最常用的基准之一（IEEE GRSS, 2013/2018）。
• MUUFL Gulfport：高光谱与 LiDAR 同平台采集，覆盖校园与周边地物，常用于融合方法对比（Gader et al., 2013, IEEE WHISPERS）。
• Trento：意大利 Trento 地区的高光谱与 LiDAR 数据，类别以城郊地物为主。
• Berlin：城市高光谱与 LiDAR 数据集，适合城市三维场景研究。

需要说明的是，不同数据集在空间分辨率、波段范围、LiDAR 派生通道（高程、强度、nDSM）上差异较大，跨数据集结论的外推需谨慎。

6.2 预处理细节

融合实验的可复现性很大程度上取决于预处理是否被完整记录。以下是建议在论文或工程文档中明确写出的步骤：

1. 高光谱辐射定标与大气校正：说明是否转为地表反射率，使用的校正工具与版本；
2. 波段剔除：剔除受水汽吸收影响的波段（如 1350–1450 nm、1800–1950 nm 附近），并列出保留波段索引；
3. LiDAR 栅格化：说明点云密度、栅格分辨率、插值方法（最近邻 / 反距离加权 / 三角网），以及 nDSM 的计算方式（DSM 减 DTM）；
4. 空间配准：说明重采样方法（双线性 / 三次卷积）与配准误差（RMSE，单位像素）；
5. 归一化：高光谱按波段做 z-score 或 [0,1] 归一化，LiDAR 通道单独归一化，两者不共享统计量；
6. 样本划分：说明是否按空间块划分以避免相邻像素泄漏，训练/验证/测试比例及随机种子。

本文评述：样本划分中的空间泄漏是遥感融合论文中最常见的方法学缺陷之一。随机像素划分会让空间相邻、光谱几乎相同的像素同时出现在训练与测试集，虚高精度。建议至少报告一次"空间块划分"下的结果作为对照，否则融合方法的增益难以被可信归因。

七、可落地的实现路径与代码骨架

7.1 推荐的整体流程

综合前文分析，给出一条从零到可验证结论的操作路径：

1. 建立双分支基线，先不融合，分别训练单模态模型，记录各自精度作为下界参照；
2. 实现简单拼接基线，在 D1–D4 四个深度做位置扫描，记录精度与梯度范数比；
3. 在表现最好的 1–2 个深度上替换为门控融合，观察门控熵是否健康；
4. 若语义粒度失配明显（线性探针精度在浅层差异大），引入跨模态注意力或特征对齐；
5. 做模态遮挡敏感度测试，确认模型确实使用了两个模态；
6. 最后再考虑多层级融合，并用"逐点移除"消融验证每个融合点的必要性。

7.2 门控融合模块的参考实现

import torch
import torch.nn as nn
import torch.nn.functional as F

class GatedFusion(nn.Module):
    """逐通道门控融合，含门控熵监控钩子。"""
    def __init__(self, c_h, c_l, c_out, temperature=1.0):
        super().__init__()
        self.proj_h = nn.Conv2d(c_h, c_out, 1)
        self.proj_l = nn.Conv2d(c_l, c_out, 1)
        self.gate = nn.Sequential(
            nn.Conv2d(c_out * 2, c_out, 3, padding=1),
            nn.BatchNorm2d(c_out),
            nn.Sigmoid()
        )
        self.temperature = temperature
        self.last_gate = None

    def forward(self, f_h, f_l):
        f_h = self.proj_h(f_h)
        f_l = self.proj_l(f_l)
        g = self.gate(torch.cat([f_h, f_l], dim=1))
        # 温度退火：训练早期软化门控，后期锐化
        g = torch.sigmoid(torch.logit(g.clamp(1e-4, 1-1e-4)) / self.temperature)
        self.last_gate = g.detach()
        return g * f_h + (1.0 - g) * f_l

    def gate_entropy(self):
        """返回门控图的空间熵，用于监控门控塌缩。"""
        if self.last_gate is None:
            return None
        p = self.last_gate.mean(dim=(2, 3))          # [B, C]
        p = p / (p.sum(dim=1, keepdim=True) + 1e-8)
        return -(p * (p + 1e-8).log()).sum(dim=1).mean()

上述实现中，两个模态先各自经过 1×1 投影到统一通道数，这一步本身就是一种轻量的特征对齐，可缓解尺度失配；门控温度退火用于抑制早期门控塌缩；gate_entropy 提供训练期监控。笔者认为，工程实现中这类"可观测性钩子"的价值常被低估——没有它们，融合模块的失效在精度曲线上往往不可见。

7.3 拓展学习资源

• PyTorch 官方教程中关于多输入模型与自定义模块的章节，适合搭建双分支结构：https://pytorch.org/tutorials/
• IEEE GRSS 数据融合竞赛的官方数据说明与基线代码，是复现 Houston 系列实验的起点：https://www.grss-ieee.org/community/technical-committees/data-fusion/
• Hugging Face 上关于多模态融合的模型与文档，可参考其对比学习与注意力实现：https://huggingface.co/docs
• 开源遥感深度学习库 TorchGeo 的文档，含多模态数据集加载示例：https://torchgeo.readthedocs.io/

八、对比、局限与前沿预判

8.1 三类方案的横向对比

8.2 局限

本文的讨论存在若干局限。其一，公开的高光谱—LiDAR 基准规模有限，类别体系与采集条件各异，跨数据集的普适结论尚不充分。其二，本文引用的消融证据来自不同论文，其实验设置并不统一，横向比较只能作为趋势参考。其三，模拟数据仅用于演示指标读法，不能替代真实实验。其四，可解释性方法本身仍在演进，注意力权重、梯度类方法各有其偏差，任何单一指标都不足以支撑强因果结论。

8.3 前沿预判

笔者认为，未来两到三年内，高光谱—LiDAR 融合的研究重心可能从"设计更强的融合算子"转向"建立融合过程的可观测性与可控性"。具体而言：

• 自适应融合深度：让网络在训练中学习"在哪个深度融合"，而非人工指定，可借鉴神经架构搜索与动态路由的思路；
• 梯度层面的模态均衡：借鉴视觉—语言领域的梯度调制方法，将其系统迁移到遥感多模态场景，并建立相应的评价基准；
• 融合的可解释性基准：目前缺乏专门针对遥感多模态融合的可解释性评测集与协议，这可能是比新算子更有价值的基础工作；
• 与基础模型的结合：随着遥感基础模型的发展，如何在预训练阶段就建立光谱—几何的联合表示，可能比在下游任务中做融合更具杠杆效应。

这些方向的共同点是：它们都要求研究者能够回答"融合在哪里、以何种方式起了作用"，而这正是本文试图提供分析框架的出发点。

九、结论

高光谱与 LiDAR 融合网络中的"早期拼接陷阱"，本质上是模态间特征尺度、梯度贡献与语义粒度三重失配在工程上的表现。本文的分析主线是：融合位置与融合算子的选择，应当被视为在"语义尺度对齐程度"与"梯度贡献均衡程度"之间的权衡，而非孤立的技巧选择。跨模态注意力擅长处理语义粒度失配，门控融合直接针对梯度贡献失配，特征对齐则从根源上缓解特征尺度失配，三者并非互斥，组合使用需明确各自的分工。

在融合位置上，浅层融合信息保留多但失配严重，深层融合稳定但互补性被压缩，多层级融合的合理性只有在融合点之间存在可验证的分工证据时才成立。要证明"融合在哪里起了作用"，需要模态层、位置层、算子层三个层次的消融，配合逐模态梯度范数比、门控熵、逐层线性探针与模态遮挡敏感度等可观测指标，形成"精度 + 机制"的联合判读。

对工程实践而言，最务实的路径不是追逐最新的融合算子，而是先建立可复现的基线、可观测的训练日志与可解释的消融协议。只有当融合的机制被看清楚，方法的改进才有方向可言。

主要参考文献