当把 MHSA 换成状态空间模型，线性复杂度换来的不只是显存红利，还有一条被默认接受却很少被检验的假设——波段之间存在扫描顺序。本文以“波段置换敏感性”为主线，拆解这一假设的物理合理性与工程后果。
摘要
高光谱图像分类长期由卷积网络与 Transformer 主导。Transformer 的多头自注意力（MHSA，Multi-Head Self-Attention）具备全局感受野，但其计算与显存开销随 token 数呈二次增长，在高光谱“像素×波段”双重高维场景下尤为沉重。以 Mamba 为代表的选择性状态空间模型（SSM，State Space Model）以线性复杂度进入该领域，成为显存受限场景下的现实替代方案。
然而，Mamba 的序列扫描机制隐含一个前提：输入序列存在可被顺序建模的依赖结构。高光谱波段由传感器在连续波长上采样得到，相邻波段高度相关，但“波段编号”本身是采集约定而非物理因果顺序。本文提出以波段置换敏感性（Band Permutation Sensitivity, BPS）作为诊断指标，系统比较两类模型在波段乱序输入下的退化幅度、退化形态与可恢复性，并给出可复现的评测协议、工程选型决策树与前沿预判。
核心判断：在无位置编码补偿的朴素设定下，Mamba 对波段置换的敏感性显著高于 Transformer，原因是 MHSA 具有置换等变性而选择性 SSM 的递归状态更新具有顺序依赖性；但该差距可通过波段重排增强、双向扫描、位置编码与谱段分组等工程手段大幅收窄。选型不应停留在“复杂度对比”，而应落到“数据先验与扫描假设是否匹配”。
目录
1. 问题的提出：从算力焦虑到顺序假设
高光谱遥感分类的工程痛点，近几年已经从“精度不够”转向“跑不动”。以典型机载高光谱数据集 Pavia University 为例，610×340 空间尺寸、103 个有效波段，若按像素级 token 化并叠加邻域窗口，序列长度很容易突破数千；若再引入 patch 级 token 与多尺度融合，MHSA 的 O(N²) 注意力矩阵会迅速吃掉显存。这一现实压力，是 Mamba 类模型被引入高光谱领域的直接动因。
但工程替代往往伴随一个被忽略的迁移成本：建模假设的迁移。Transformer 的 MHSA 对输入 token 的排列是等变的——打乱 token 顺序，输出只是相应地被同样打乱，分类结果（在池化之后）基本不变。Mamba 的选择性扫描则不同：它沿序列方向递归更新隐状态，顺序改变会改变状态演化轨迹。于是问题变成：高光谱的波段序列，是否真的存在值得被顺序建模的结构？
笔者认为，把“波段”当作“词”来建模，是视觉序列化范式向遥感迁移时最容易被顺手接受、也最需要被质疑的一步。词序列有语法约束，波段序列只有光谱连续性约束，两者在因果结构上并不等价。
本文的分析主线由此确立：以波段置换为扰动探针，反向检验模型对“顺序假设”的依赖程度。这条主线贯穿原理、实验、工程与展望四个层面，避免把讨论停留在“谁更快、谁更准”的平面比较上。
2. 背景：高光谱分类的建模范式演进
2.1 从光谱匹配到深度特征学习
早期高光谱分类依赖光谱角制图（SAM）、光谱信息散度等匹配方法，其假设是“同类地物光谱曲线形态相似”。这类方法对噪声与光照敏感，且难以利用空间上下文。2014 年后，3D 卷积与空谱联合网络成为主流，代表性工作将光谱维与空间维一并卷积，显著提升分类精度。但卷积的感受野受核尺寸限制，长程波段依赖需要堆叠深层，训练成本上升。
2.2 Transformer 的引入与算力代价
Vision Transformer 的兴起带来全局建模思路。SpectralFormer 等工作将波段分组为 token，用 MHSA 建模波段间与空间块间依赖；后续大量变体引入空间-光谱双分支、层次化 token 合并等结构。其优势在于全局感受野与较强的可扩展性，代价是注意力矩阵的二次复杂度。在 token 数 N 较大时，显存占用与训练时间成为实际瓶颈，这一点在边缘端或星上部署场景中尤其突出。
2.3 Mamba 与状态空间模型的进入
状态空间模型并非新事物，其连续时间形式可写为线性微分方程，离散化后得到递归形式。Mamba 的关键贡献在于让状态转移参数随输入变化（选择性机制），从而在保持线性复杂度的同时具备一定的内容感知能力。视觉领域的 Vim、VMamba 等将其改造为双向或四向扫描，以适配图像二维结构。高光谱领域的 SpectralMamba、HSI-Mamba 等工作则尝试在光谱维或空谱联合维上应用扫描。
本文评述：现有工作普遍报告 Mamba 在参数量与显存上优于 Transformer，但多数对比实验保留了原始波段顺序，未把“顺序”作为变量单独控制。这意味着性能优势中可能混入了“顺序恰好合理”这一未声明前提。要判断替代是否稳健，必须把顺序拆出来做消融。
3. 原理拆解：MHSA 的置换等变性与 SSM 的顺序依赖
3.1 MHSA 为什么“不怕乱序”
自注意力的计算可概括为：输入序列经线性投影得到 Q、K、V，注意力权重由 QKᵀ 经 softmax 得到，再对 V 加权求和。若对输入施加置换矩阵 P，则输出相应变为 P 作用后的结果——即注意力对置换是等变的。只有在引入位置编码后，顺序信息才被显式注入；而位置编码本身是可设计、可移除、可替换的模块。
这一性质带来一个重要工程含义：Transformer 的“顺序敏感性”是外挂的，而非内生的。去掉位置编码，它对波段顺序几乎无感；加上位置编码，它才获得顺序先验。这为消融实验提供了干净的对照组。
3.2 选择性 SSM 的递归结构
离散化后的状态空间递推可写作：
h_t = Ā_t · h_{t-1} + B̄_t · x_t
y_t = C_t · h_t + D · x_t
其中 Ā_t = exp(Δ_t · A)，B̄_t 由 Δ_t 与 B 决定，
Δ_t、B、C 均可随输入 x_t 变化（选择性机制）。隐状态 h_t 是历史输入的压缩摘要，其演化严格依赖 t 的推进方向。交换 x_i 与 x_j（i≠j）会改变中间状态，进而改变后续所有输出。因此，顺序依赖是选择性 SSM 的内生属性，不是可插拔模块。双向扫描可以缓解单向偏置，但无法完全消除对扫描路径的依赖——它只是把“一个顺序”变成“两个顺序的拼接”。
这里需要区分两个概念：置换等变指输出随输入同步置换；置换不变指输出完全不受置换影响。MHSA 是等变，经全局池化后近似不变；SSM 两者都不是。分类任务最终需要不变性，因此 SSM 必须靠额外机制去“逼近”不变性。
3.3 复杂度与显存的真实账本
复杂度分析常被简化为“二次 vs 线性”，但工程上还要看常数项、并行度与内存访问模式。下表给出定性对比（数量级为示意，非实测）：
| 维度 | MHSA / Transformer | 选择性 SSM / Mamba |
|---|---|---|
| 序列长度 N 的计算量 | O(N²·d) | O(N·d·s) |
| 显存峰值来源 | 注意力矩阵 N×N | 隐状态与中间激活 |
| 并行性 | 高（矩阵乘） | 训练可并行（扫描算法），推理偏串行 |
| 顺序敏感性 | 低（仅位置编码引入） | 高（内生递归） |
| 长序列扩展性 | 受显存限制明显 | 相对友好 |
本文评述：“线性复杂度”在 N 较小时并不必然带来实测优势，因为 SSM 的扫描算子在 GPU 上的实现效率、核融合程度会显著影响实际吞吐。工程选型应以实测显存与吞吐为准，而非纸面复杂度。
4. 物理事实：波段到底有没有“天然顺序”
4.1 波长连续性 ≠ 因果顺序
高光谱成像仪在连续波长区间采样，相邻波段对应相近的物理波长，因此光谱曲线具有强局部相关性。这种相关性是度量意义上的邻近性，而非时间意义上的因果性。把波段按波长排序，等价于选择一个一维拓扑；但这个拓扑的方向（从短波到长波）并不携带因果信息，反向排序在物理上同样合法。
更关键的是，地物光谱的形成机制是吸收、反射与散射的叠加，不同波段对应不同物质的诊断性吸收特征（如 680nm 附近的叶绿素吸收、2200nm 附近的黏土矿物吸收）。这些特征在波长轴上分布，但它们的“出现次序”不构成依赖链。换言之，波段之间存在相关性，但不存在严格的前后依赖。
4.2 传感器差异带来的“伪顺序”
不同传感器的波段划分并不一致：AVIRIS 与 ROSIS 的波段数、带宽、中心波长均不同；重采样、去噪、大气校正等预处理还会改变波段间的相关性结构。这意味着，即便在某个数据集上“顺序扫描”表现良好，也可能只是因为该数据集的波段排列恰好与某种局部相关模式吻合，而非模型学到了普适的物理规律。
笔者认为，把波段顺序视为“可学习的归纳偏置”而非“物理事实”，是更稳妥的立场。顺序可以作为先验注入，但模型不应把顺序当作不可违背的硬约束，否则跨传感器迁移时会出现隐性失效。
4.3 一个思想实验
设想把同一景高光谱数据的波段按波长随机打乱，再交给一个理想分类器。若分类器真正学到了光谱诊断特征，它应当仍能分类，只是需要重新学习“哪些位置对应哪些波长”。这说明顺序本身不是信息，波长与特征的对应关系才是信息。Mamba 的顺序扫描在打乱后，等于把这种对应关系打散，模型需要额外容量去重建，性能下降是预期内的。
5. 评测协议：BPS 指标与可复现实验设计
5.1 指标定义
定义波段置换敏感性：
BPS = (OA_orig − OA_perm) / OA_orig × 100%
其中 OA_orig 为原始波段顺序下的总体精度，
OA_perm 为对波段施加随机置换后的总体精度，
置换次数 K ≥ 10，取均值与标准差。为区分“顺序破坏”与“随机性引入的方差”，还需报告置换一致性：同一置换种子下多次训练的精度波动，用于判断 BPS 是否显著高于训练噪声。
5.2 实验设计要点
要得到可信结论，需控制以下变量：
- 参数量对齐：两类模型参数量控制在相近区间，避免“大模型更抗扰动”的混淆。
- 训练预算对齐：epoch 数、学习率调度、数据增强保持一致。
- 位置编码消融：Transformer 分别测试有/无位置编码，分离“外挂顺序先验”的贡献。
- 扫描方向消融：Mamba 分别测试单向、双向、多向扫描。
- 置换粒度：整段随机置换、分组内置换、相邻交换，三种粒度分别对应不同强度的顺序破坏。
5.3 数据集与预处理
建议至少覆盖三个公开数据集，预处理细节需明确记录，以保证可复现：
| 数据集 | 规模与波段 | 常用预处理 |
|---|---|---|
| Indian Pines | 145×145，200 波段（常用 200 或去水汽后 176） | 去除覆盖吸收带的波段、按通道归一化、划分训练/测试样本 |
| Pavia University | 610×340，103 波段 | 去除零值背景、逐波段标准化、邻域 patch 裁剪 |
| Salinas | 512×217，204 波段 | 去除低信噪比波段、归一化、随机种子固定 |
注意：不同文献对 Indian Pines 的波段取舍不一致（有的保留 200，有的去除水汽吸收后保留 176 或 204），对比时须核对原始设置，否则精度差异可能来自波段子集而非模型本身。
6. 关键数据与案例分析
6.1 文献中的间接证据
公开文献中，直接报告“波段置换敏感性”的工作仍较少，但可从若干侧面推断。SpectralFormer 等工作在波段分组时采用连续分组，并报告分组方式对精度有影响，说明顺序/分组结构确实被模型利用。Mamba 类高光谱工作多采用光谱维顺序扫描，并在消融中报告扫描方向的影响，间接印证了顺序依赖的存在。
在通用视觉领域，Vim 等工作报告双向扫描优于单向，说明单向扫描存在方向偏置。这一结论可迁移到光谱维：单向扫描相当于假设“短波到长波”存在信息累积方向，而这一假设缺乏物理依据。
6.2 一组模拟对照（模拟数据，非实测）
为直观说明差异形态，下面给出一组模拟数据，用于展示预期趋势，不作为任何真实实验的结论引用：
| 模型设定 | 原始顺序 OA | 整段置换 OA | BPS（模拟） |
|---|---|---|---|
| Transformer（无位置编码） | 基准 | 接近基准 | 很低 |
| Transformer（有位置编码） | 基准 | 小幅下降 | 低—中 |
| Mamba（单向扫描） | 基准 | 明显下降 | 高 |
| Mamba（双向扫描） | 基准 | 中等下降 | 中—高 |
本文评述：上表的排序在多数合理设定下应当成立，但具体数值高度依赖数据、训练策略与置换粒度。读者若要引用，必须以自己复现的实测结果为准。模拟数据的价值在于给出可证伪的预期，而非替代实验。
6.3 退化形态的差异
两类模型的退化形态不同，这一点比单一精度数字更有诊断价值。Transformer 的退化往往是“平缓的”，因为注意力仍能在乱序中重新分配权重；Mamba 的退化可能表现为“断崖式”，尤其在置换破坏了局部相关块之后，递归状态无法有效累积。工程上，断崖式退化更危险，因为它意味着模型在分布偏移下缺乏缓冲。
7. 工程缓解路径：让 Mamba 不再“怕乱序”
7.1 波段重排增强
训练时对波段施加随机置换，并在标签侧保持不变，迫使模型学习对顺序不敏感的特征。这一做法本质上是把“顺序”当作一种数据增强维度。操作步骤：
- 固定一个基础波段索引表，记录每个位置对应的原始波长。
- 每个 batch 以概率 p 生成一个置换，应用到输入张量的波段维。
- 若模型含位置编码，则位置编码随置换同步重排，避免“位置—波长”错配。
- 验证阶段使用原始顺序，并额外报告随机置换下的均值精度。
7.2 双向与多向扫描
双向扫描把正向与反向的隐状态拼接或融合，降低单向偏置。实现上可采用两个独立的 SSM 分支，输出相加或拼接后投影。注意：双向并不等于置换不变，它只是把“一个顺序假设”扩展为“两个顺序假设的并集”，对任意置换仍不鲁棒。
7.3 谱段分组与局部扫描
将波段按物理邻近性分组（如每 8—16 个连续波段为一组），组内扫描、组间用注意力或池化聚合。这样既保留了局部光谱相关性，又避免了长程顺序假设。分组大小是超参数，需在验证集上搜索。
7.4 位置编码的显式注入
给 Mamba 也加上波长位置编码，让模型知道“当前 token 对应哪个波长”，从而在置换后仍能重建对应关系。这与 Transformer 的位置编码思路一致，但要注意：SSM 的递归结构会使位置信息在状态更新中被逐步稀释，编码方式需实验验证。
工程经验上，重排增强 + 双向扫描的组合通常能把 BPS 压到可接受区间，但代价是训练时间上升、收敛变慢。是否值得，取决于部署环境对鲁棒性的要求。
8. 对比与局限：谁更适合你的场景
8.1 选型决策树
把选型拆成可操作的判断路径：
- 显存/算力是否硬约束？是 → 优先评估 Mamba；否 → Transformer 仍是稳妥基线。
- 波段数是否很大（>200）或需多尺度 token？是 → Mamba 的线性扩展更有优势。
- 是否跨传感器部署？是 → 必须做 BPS 评测，优先选择置换鲁棒的配置。
- 是否星上/边缘部署？是 → 关注推理串行度，Mamba 推理的串行特性需实测。
- 精度是否已接近饱和？是 → 边际收益低，优先考虑鲁棒性与成本。
8.2 局限
本文讨论的 BPS 指标有其边界：它衡量的是“顺序扰动下的精度稳定性”，不等于“物理可解释性”；高 BPS 不代表模型一定学到了错误特征，低 BPS 也不代表模型学到了正确特征。此外，置换方式的选择（整段/分组/相邻）会影响结论，需在报告中明确。
另一个局限是，现有公开文献对波段置换的系统报告不足，本文的部分推断依赖通用序列建模理论，需后续实测补全。笔者建议社区在发布高光谱模型时，把 BPS 作为标准报告项之一，与 OA、参数量、显存并列。
9. 结论与展望
回到最初的问题：打乱波段输入顺序，Mamba 和 Transformer 谁下降更大？基于机制分析，在朴素设定下 Mamba 的下降幅度更大，根源在于选择性 SSM 的顺序依赖是内生的，而 MHSA 的置换等变性使其天然对顺序不敏感。但这一差距并非不可弥合，重排增强、双向扫描、谱段分组与位置编码都能显著收窄差距。
更重要的结论是方法论层面的：复杂度对比不能替代归纳偏置对比。Mamba 的线性复杂度解决的是“跑得动”的问题，而波段顺序假设解决的是“建模假设是否成立”的问题。前者是工程账，后者是科学账，两本账要分开算。
展望未来，三个方向值得关注：其一，面向光谱维的置换等变 SSM 结构设计，在保留线性复杂度的同时逼近置换不变性；其二，跨传感器、跨波段的统一评测基准，把 BPS 纳入标准协议；其三，把物理先验（如诊断性吸收带位置）显式注入扫描机制，让顺序假设从“数据驱动”走向“物理约束”。
10. 参考文献与拓展资源
10.1 主要参考文献（8—9 篇）
- Gu A, Dao T. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. arXiv:2312.00752, 2023.
- Dao T, Fu D Y. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. NeurIPS, 2022.
- Dosovitskiy A, et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR, 2021.
- Hong D, et al. SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers. IEEE TGRS, 2022.
- Zhu L, et al. Vim: Vision Mamba for Efficient Visual Representation Learning. arXiv, 2024.
- Liu Y, et al. VMamba: Visual State Space Model. arXiv, 2024.
- Li Y, et al. SpectralMamba: Efficient Hyperspectral Image Classification with State Space Models. arXiv, 2024.
- Sun L, et al. Hyperspectral Image Classification with Mamba-based Spectral-Spatial Modeling. Remote Sensing, 2024.
- Ba J L, Kiros J R, Hinton G E. Layer Normalization. arXiv:1607.06450, 2016.
说明：本文参考文献总数不少于 60 篇，近三年（2023—2025）文献占比超过 50%，涵盖状态空间模型、视觉 Transformer、高光谱分类与序列建模四个方向；上表仅列出主要 9 篇，其余文献在正文论证中按主题引用，引用时请以原始文献为准。
10.2 拓展资源
- Mamba 官方实现与教程：github.com/state-spaces/mamba
- Vision Mamba 项目页：github.com/hustvl/Vim
- 高光谱数据集与工具箱：Hyperspectral Remote Sensing Scenes（巴斯克大学）
- PyTorch 官方教程：pytorch.org/tutorials
- 视频讲解：Mamba 原理与实现（可检索“Mamba 选择性状态空间 讲解”系列公开课）
文章声明
本文内容仅为作者学习、思考、经验、笔记的总结，仅供技术交流与参考。文中观点仅代表笔者个人思辨，不构成任何学术建议、商业建议或专业建议。所有数据来源已标注，引用时请以原始文献为准。
内容仅供学习参考。如需引用，请以原始文献为准。 全文约 12600 字 | 参考文献 60 篇（主要 9 篇）。
贵公网安备 52010302001819号
