高光谱遥感与算力：张量并行（TP）把单层拆到多卡上，对高光谱这种“通道数远大于空间尺寸”的数据，TP切分维度到底该沿光谱通道切还是沿空间token切——切错维度会不会让通信量反超计算量，D-CHAG的跨通道分层聚合和纯TP在内存和吞吐上的差距具体有多大？

摘要

高光谱成像（Hyperspectral Imaging, HSI）数据的典型形态是"光谱通道数远超单边空间尺寸"：一个 256×256 空间窗口常配 200–400 个波段，而空间 token 数在 patch 化后可能只有几百到几千。当模型规模增长到单卡显存无法容纳时，张量并行（Tensor Parallelism, TP）成为必选项，但切分维度的选择直接决定了集合通信量与计算量的相对关系。本文提出以通信-计算比（Communication-to-Computation Ratio, CCR）为核心判据的分析框架，系统比较沿光谱通道切分与沿空间 token 切分的代价结构，指出在高光谱场景下"沿通道切"在多数层型下具有更优的通信摊薄特性，但会在通道数不能被整除、层归一化与注意力头耦合处引入额外开销；"沿 token 切"则在空间分辨率较高、patch 数充足时更稳健。进一步地，本文对 D-CHAG（Dynamic Cross-channel Hierarchical Aggregation, 动态跨通道分层聚合）与纯 TP 在显存占用与吞吐上的差距给出基于公开模型配置的推算，并标注为模拟数据。结论是：切分维度不存在普适最优，存在一条由"通道数/空间 token 数比值、单卡显存、互联带宽"三者共同决定的决策边界。

目录

一、背景与问题定义

1.1 高光谱模型的规模压力从何而来

高光谱遥感的核心价值在于用连续的窄波段刻画地物的精细光谱响应，典型传感器如 AVIRIS、Hyperion、ZY1-02D AHSI 的波段数在 100–400 量级，空间分辨率从米级到十米级不等。深度学习进入这一领域后，模型从早期的 3D-CNN（如 SSRN、HybridSN）演进到光谱-空间联合注意力网络，再到近年的高光谱基础模型（如 SpectralGPT、HyperSIGMA 一类工作），参数量从百万级跃升到十亿级。参数增长带来两个直接后果：一是单卡显存无法容纳完整模型状态（参数、梯度、优化器状态），二是单次前向的计算量超出单卡算力预算。

分布式训练由此成为刚需。数据并行（Data Parallelism, DP）解决的是样本维度的问题，但当单层参数量本身超过单卡容量时，DP 无能为力，必须引入模型并行。张量并行把单个算子（如线性层、卷积）的权重矩阵切分到多卡，是模型并行中粒度最细、通信最频繁的一种。本文评述：TP 的收益与代价都来自"细粒度"——它让大层变得可分，却也让每一次前向和反向都伴随集合通信，通信效率成为决定成败的关键变量。

1.2 问题的精确表述

设某一层的输入张量为 X ∈ R^{B×N×C}，其中 B 为批大小，N 为空间 token 数（patch 数），C 为通道/特征维。TP 的本质是把某个维度上的计算拆分到 P 张卡上，每卡只持有该维度的一部分。可选的切分维度有两个：沿 C 切（通道/特征维）与沿 N 切（空间 token 维）。在高光谱场景中，C 的物理含义是光谱-空间融合后的特征通道，N 的物理含义是空间 patch 数，二者量级关系往往是 C ≫ N 或 C 与 N 同量级，这构成了与自然语言处理（N 为序列长度、通常远大于隐藏维切分数）截然不同的约束。

问题因此可以精确表述为：在给定 B、N、C、P 与互联带宽 β 的条件下，选择哪个切分维度能使单次迭代的通信时间不成为瓶颈，同时显存占用满足约束？这个问题的答案不是二元的，而是一条随参数漂移的边界。

1.3 为什么现有经验不能直接迁移

大语言模型中的 TP 实践（如 Megatron-LM 的列并行/行并行方案）默认沿隐藏维切分，其隐含前提是隐藏维远大于并行度、序列维不参与切分。这一前提在高光谱中并不总成立：一方面，高光谱的通道维虽然数值上可能达到数百，但并行度 P 一旦增大，每卡分到的通道数可能低至个位数，导致矩阵乘的 K 维（收缩维）过短，计算效率骤降；另一方面，空间 token 数在高分辨率场景下可能达到数万，沿 N 切分的可行性反而上升。本文评述：把 LLM 的 TP 经验直接套到高光谱上，是当前不少工程实现踩坑的根源，必须回到代价模型重新推导。

二、高光谱数据的张量形态与token化路径

2.1 原始立方体到token序列

高光谱数据立方体记为 D ∈ R^{H×W×L}，H、W 为空间尺寸，L 为波段数。进入 Transformer 类模型前，通常有两种 token 化路径：其一是空间 patch 化，把 H×W 切成 p×p 的 patch，得到 N = (H/p)×(W/p) 个 token，每个 token 的特征维为 p²·L 或经 1×1 卷积降维后的 C；其二是光谱分组化，把 L 个波段分成 g 组，每组作为一个光谱 token，得到 N = g 个 token。前者保留空间结构，后者强调光谱序列建模。

以 Indian Pines（145×145×200）与 Pavia University（610×610×103）两个经典数据集为例：若 p=8，Indian Pines 得到约 324 个空间 token，Pavia University 得到约 5,776 个 token。前者 N 远小于 C（若 C 取 256），后者 N 已超过 C。这一差异直接改变了 TP 切分维度的最优选择，说明切分决策必须绑定具体数据集的 token 形态，而不能一概而论。

2.2 通道数与空间尺寸的比值谱

定义一个无量纲量 ρ = C / N，称为通道-空间比。下表汇总了若干公开数据集在典型 patch 化配置下的 ρ 值（数据来源为各数据集官方描述与常见预处理配置，token 数为按 p=8 计算的推算值，标注为推算）。

这张表揭示了一个容易被忽视的事实：在多数中高分辨率高光谱数据集上，ρ 并不大，甚至小于 1。这意味着"通道数远大于空间尺寸"这一直觉，在 patch 化之后往往被稀释——空间 token 数反而可能超过通道数。本文评述：讨论"沿通道切还是沿 token 切"时，必须明确是在 patch 化之前还是之后讨论，否则会陷入概念错位。原始波段数 L 大，不代表 token 化后的特征维 C 大；真正的切分对象是 C 与 N，而非 L 与 H×W。

2.3 预处理对切分决策的隐性影响

高光谱预处理通常包括辐射定标、大气校正、坏波段剔除、降维（PCA 或波段选择）与归一化。以 Indian Pines 为例，常见做法是剔除吸水波段后保留约 200 个波段，再按 0.01 分位数做逐波段归一化；Pavia University 常剔除噪声波段后保留 103 个。降维步骤会把 L 压缩到几十维，若在 token 化前完成，则 C 的取值显著下降，ρ 进一步减小。本文评述：预处理阶段的降维强度，实际上是在为后续并行策略"预设参数"，工程上应把降维维度与并行度 P 联合考虑，而非各自独立决定。

三、TP切分维度的代价模型：CCR框架

3.1 通信-计算比的定义

对任意一个被 TP 切分的算子，记其单卡计算时间为 T_comp，单次迭代中该算子引入的集合通信时间为 T_comm，则通信-计算比定义为 CCR = T_comm / T_comp。CCR < 1 表示计算主导，通信可被计算掩盖；CCR > 1 表示通信主导，扩展效率将随 P 增大而快速衰减。这个比值是本文分析的主线，也是判断"切错维度是否会让通信量反超计算量"的直接依据。

需要强调的是，CCR 是逐算子定义的，整网 CCR 是各层按计算量加权的聚合。工程上更关心的是最坏层 CCR，因为流水线中的短板层会拖慢整体，即使平均 CCR 很低。

3.2 沿通道切分的代价推导

考虑一个线性层 Y = XW，X ∈ R^{B×N×C_in}，W ∈ R^{C_in×C_out}。沿通道切分时，把 C_in 或 C_out 按 P 等分。以列并行为例，每卡持有 W 的 C_out/P 列，计算后得到部分输出，需在 C_out 维做 All-Gather 拼接。单卡计算量为 O(B·N·C_in·C_out/P)，通信量为 O(B·N·C_out)，因此：

CCR_channel ≈ (B·N·C_out / β) / (B·N·C_in·C_out / (P·F))
             = P·F / (β·C_in)

其中 β 为有效互联带宽（字节/秒），F 为单卡算力（FLOPs/秒）。可以看到，CCR_channel 与 N 无关，与 C_in 成反比，与 P 成正比。这是一个非常关键的结论：沿通道切分的通信代价不随空间 token 数增长，只随并行度和输入通道数变化。对于 N 很大但 C_in 较小的层，CCR_channel 会偏高；对于 C_in 很大而 N 较小的层，CCR_channel 很低。

3.3 沿token切分的代价推导

沿 token 切分时，把 N 按 P 等分，每卡处理 N/P 个 token。若该层是逐 token 独立的（如 MLP、逐点卷积），则无需通信；但注意力机制中，每个 token 需要与全部 token 交互，切分后必须做 All-Gather 或 All-to-All 以获取全局键值。以标准自注意力为例，单卡计算量约为 O(B·(N/P)·N·C)（注意力矩阵仍为 N×N 量级），通信量为 O(B·N·C)，因此：

CCR_token ≈ (B·N·C / β) / (B·N²·C / (P·F))
          = P·F / (β·N)

与通道切分形成对称：CCR_token 与 C 无关，与 N 成反比，与 P 成正比。两者的比值 CCR_channel / CCR_token = N / C_in = 1/ρ。本文评述：这个简洁的比值给出了核心判据——当 ρ < 1（即 N > C）时，沿通道切分的 CCR 更低；当 ρ > 1（即 C > N）时，沿 token 切分的 CCR 更低。这与直觉相反：通道数远大于空间尺寸时，反而应该沿 token 切。原因在于，切分维度越"长"，每卡分到的份额越大，计算摊薄越充分，而通信量由另一维度决定。

3.4 模型的有效性边界

上述推导建立在若干简化之上，必须明确其边界。第一，假设通信与计算可完全重叠，实际中重叠效率取决于通信原语与调度，通常只能达到 60%–85%；第二，假设带宽 β 为常数，实际中跨节点带宽远低于节点内 NVLink，β 应分层建模；第三，未计入层归一化、残差连接等引入的额外同步点，这些同步点在小张量上会放大通信开销。本文评述：CCR 框架的价值不在于给出精确数值，而在于提供方向性判据和量级估计，工程落地时必须用实测带宽与实测算力替换理论值。

四、沿光谱通道切分：机制、收益与边界条件

4.1 机制

沿光谱通道切分，是把特征维 C 按 P 等分，每卡负责一段连续或交错的通道子集。对于光谱-空间联合模型，这相当于把"光谱响应的一段"交给一张卡处理。前向时，若下一层需要完整通道，则通过 All-Gather 拼接；反向时通过 Reduce-Scatter 归约梯度。Megatron-LM 提出的列并行+行并行配对方案，正是通过相邻两层切分维度交替，使每个 Transformer 块只需一次 All-Reduce，从而把通信次数降到最低。

在高光谱中，这一配对方案同样适用，但有一个特殊之处：光谱通道之间存在强相关性，分层聚合类方法往往需要在通道维做跨段交互。若切分后各卡只看到局部通道，跨通道聚合就必须显式通信，这正是 D-CHAG 试图解决的问题（详见第七节）。

4.2 收益

沿通道切分的第一项收益是显存：权重矩阵按 C_out/P 切分，激活按 C/P 切分，单卡显存近似线性下降。第二项收益是通信量与 N 解耦：如 3.2 节所示，CCR_channel 不含 N，这意味着当空间分辨率提升、token 数增长时，通道切分的通信开销不会随之膨胀，具有良好的可扩展性。第三项收益是与现有 TP 实现的兼容性：主流框架（Megatron-LM、DeepSpeed、PyTorch FSDP 的混合方案）对通道切分的支持最成熟，算子覆盖最全。

4.3 边界条件与失效模式

通道切分的失效模式主要有三类。其一是整除性约束：C 必须能被 P 整除，否则需要 padding，padding 比例过高会浪费算力。例如 C=200、P=8 时每卡 25 通道，尚可；C=103、P=8 时需 padding 到 104，浪费约 1%，可接受；但 C=64、P=16 时每卡仅 4 通道，矩阵乘的 K 维过短，Tensor Core 利用率可能跌到 30% 以下。其二是注意力头耦合：多头注意力要求每个头完整，若通道切分跨越头边界，需要额外重排，增加通信。其三是归一化层：LayerNorm 需要沿通道维统计均值方差，切分后必须做 All-Reduce 才能得到全局统计量，这在小 batch 下会成为同步瓶颈。

五、沿空间token切分：机制、收益与边界条件

5.1 机制

沿空间 token 切分，是把 N 个 patch 按 P 等分，每卡处理 N/P 个空间位置。对于逐 token 独立的算子（MLP、逐点卷积、位置编码），这种切分完全无通信，等价于在 token 维做数据并行。真正的通信发生在需要全局交互的算子：自注意力需要全部 token 的 K、V，因此需要 All-Gather；若采用 Ring Attention 一类方案，则通过环形传递 K、V 块，把通信与计算重叠，避免一次性大通信。

高光谱模型若采用窗口注意力或局部注意力，token 切分的通信量可进一步下降，因为每个窗口内的 token 可以整体分配到同一张卡，窗口间交互通过少量跨卡通信完成。本文评述：token 切分的通信代价高度依赖注意力模式，全局注意力下代价高，局部/窗口注意力下代价低，这一结构性差异在选型时必须纳入考量。

5.2 收益

token 切分的首要收益是激活显存随 N/P 下降，这对高分辨率、大 token 数的场景尤为有效。其次，在 N 较大时 CCR_token 较低（见 3.3 节），扩展效率优于通道切分。第三，token 切分与数据并行在形式上接近，便于与 DP 组合成 2D 并行，调度逻辑相对简单。第四，对于光谱维不可分或光谱聚合需要完整通道的模型，token 切分不破坏通道完整性，避免了跨通道聚合的额外通信。

5.3 边界条件与失效模式

token 切分的失效模式同样有三类。其一是 N 不能被 P 整除或 N/P 过小：当 N=324、P=8 时每卡约 40 个 token，尚可；但 N=100、P=16 时每卡仅 6 个 token，注意力矩阵退化为极小规模，GPU 占用率极低。其二是全局注意力的通信放大：CCR_token 与 N 成反比，N 越小 CCR 越高，这与"token 少时切 token"的直觉相悖，是常见的误判点。其三是位置编码与窗口边界：切分后跨卡的窗口边界需要额外处理，若处理不当会引入精度损失。

六、切错维度会不会让通信量反超计算量

6.1 反超的充要条件

由 3.2 与 3.3 节的推导，通道切分反超（CCR_channel > 1）的条件是 P·F > β·C_in；token 切分反超的条件是 P·F > β·N。把两式相除，得到"切错维度导致反超"的相对条件：当选择通道切分但实际 ρ < 1（N > C_in）时，CCR_channel 比 CCR_token 高 1/ρ 倍；反之亦然。换言之，切错维度的代价是 1/ρ 或 ρ 倍的通信放大，当 ρ 偏离 1 越远，代价越大。

以具体数值说明：设 F = 3×10^14 FLOPs/s（单卡 FP16 有效算力，量级参考），β = 3×10^11 B/s（节点内互联有效带宽，量级参考），P = 8。若 C_in = 256、N = 324（Indian Pines 典型配置），则 P·F/β ≈ 8×10^3，远大于 C_in 与 N，两种切分的 CCR 都远大于 1——这意味着在该配置下，无论怎么切，通信都会反超计算。本文评述：这个结论看似悲观，实则揭示了小规模高光谱模型做 TP 的根本困境——模型太小、张量太短，集合通信的固定开销无法被计算掩盖，此时应优先考虑 DP 或梯度累积，而非 TP。

6.2 规模阈值

令 CCR = 1，可解出 TP 可行的最小张量规模。对通道切分，要求 C_in > P·F/β；对 token 切分，要求 N > P·F/β。代入上述量级参数，P·F/β ≈ 8×10^3。这意味着通道维或 token 维至少要到数千量级，TP 才可能计算主导。现实中，高光谱模型的单层通道维常在数百，token 数在数百到数千，恰好处于临界带附近。本文评述：这解释了为什么高光谱领域的 TP 实践普遍报告扩展效率不理想——不是实现不好，而是问题规模本身尚未越过阈值。真正的出路在于把模型做大（基础模型路线）或把并行度降下来（P 取 2 或 4）。

6.3 混合切分作为折中

当单一维度都不理想时，2D 切分（同时沿通道与 token 切）可以把 CCR 降到两者之积的平方根量级。设通道切分度为 P_c、token 切分度为 P_t，P = P_c·P_t，则等效 CCR 约为 sqrt(CCR_channel·CCR_token)。这一折中在 P 较大时尤为有效，但代价是实现复杂度上升、通信原语组合增多。本文评述：2D 切分是工程上的务实选择，但应先用 1D 切分实测，确认瓶颈确实在通信后再引入，避免过早复杂化。

七、D-CHAG跨通道分层聚合与纯TP的差距

7.1 D-CHAG的机制定位

D-CHAG（Dynamic Cross-channel Hierarchical Aggregation）是一类面向高光谱的跨通道分层聚合思路：先在通道组内做局部聚合，再在组间做分层融合，聚合权重随输入动态生成。其设计初衷是捕捉光谱通道的层次化相关性——相邻波段高度相关，跨波段组则承载不同地物的判别信息。与纯 TP 相比，D-CHAG 不是一种并行策略，而是一种减少跨通道通信需求的结构性方法：通过分层聚合，把全局通道交互压缩为组内交互加少量组间交互，从而在通道切分后降低 All-Gather 的数据量。

本文评述：把 D-CHAG 与纯 TP 直接对比"谁更快"是不严谨的，因为二者不在同一层面——纯 TP 是并行实现，D-CHAG 是模型结构。合理的对比是"采用 D-CHAG 结构的 TP"与"采用全通道注意力的纯 TP"，比较在同等精度下的显存与吞吐。以下分析均基于这一前提。

7.2 显存差距的构成

显存占用可分为参数、梯度、优化器状态、激活四部分。D-CHAG 结构通过分层聚合减少了全通道注意力的参数（组间融合参数远少于全连接），参数量下降比例取决于分组数 g 与通道数 C 的比值，粗略为 O(C/g) 量级。激活方面，分层聚合的中间张量维度为 C/g 而非 C，激活显存同步下降。纯 TP 则通过切分把四部分都按 1/P 摊薄，但摊薄的是"原有规模"，不改变模型本身的结构性需求。

因此，两者的显存差距不是简单的倍数关系，而是"结构性压缩"与"并行摊薄"的叠加。设纯 TP 在 P 卡上的单卡显存为 M_tp，D-CHAG+TP 的单卡显存为 M_dchag，则 M_dchag/M_tp ≈ (1 - α)·(1/P_d) / (1/P)，其中 α 为结构压缩率，P_d 为 D-CHAG 方案使用的并行度。若 D-CHAG 使并行度需求从 8 降到 4，则即使 α=0，单卡显存也会翻倍——这说明并行度选择对显存的影响可能大于结构本身。

7.3 吞吐差距的构成

吞吐取决于计算效率与通信开销的比值。D-CHAG 的优势在于减少了跨通道通信的数据量，使 CCR 下降；劣势在于分层聚合引入了额外的串行步骤（先组内、再组间），可能降低 GPU 占用率的连续性。纯 TP 的优势在于算子规整、易于融合、Tensor Core 利用率高；劣势在于通信量大、对带宽敏感。

本文评述：在通道数中等（C 在 128–512）、并行度较高（P ≥ 8）的场景下，D-CHAG 的通信节省可能超过其串行开销，吞吐占优；在通道数很大（C ≥ 1024）、并行度较低（P ≤ 4）的场景下，纯 TP 的规整性更占优。这一判断需要实测验证，不能作为定论。

7.4 一个可复现的对比实验设计

为让读者能自行验证，给出一个最小实验设计：固定模型为 12 层光谱-空间 Transformer，C=256，头数 8，N 取 324 与 5776 两组；对照组为纯 TP（P=2、4、8），实验组为 D-CHAG+TP（g=4、8，P 同）；指标记录单卡峰值显存、tokens/s、CCR 实测值（用 CUDA event 计时通信与计算）。数据集用 Indian Pines 与 Pavia University，预处理按 2.3 节描述，训练 50 epoch，取后 10 epoch 平均。本文评述：这一设计刻意保持模型规模不变，只变并行与结构，目的是隔离变量；若同时改模型规模，结论将不可归因。

八、关键数据与案例：公开配置下的推算

8.1 推算方法与免责说明

以下数据为基于公开模型配置与公开硬件参数的模拟推算，非任何团队的真实实验结果，仅用于量级比较。硬件参数取单卡 FP16 有效算力 3×10^14 FLOPs/s、节点内有效带宽 3×10^11 B/s、节点间有效带宽 2.5×10^10 B/s（均为公开规格的量级近似）。模型参数取 C=256、N=324 与 5776、P=4 与 8。

表中 CCR 为按 3.2、3.3 节公式代入量级参数所得，吞吐相对值以单卡为 1 的归一化推算。可以看到两个规律：其一，在 N=324 的小 token 场景，两种切分的 CCR 都远超 1，吞吐相对值都低于 0.1，TP 基本不可用；其二，在 N=5776 的大 token 场景，token 切分的 CCR 显著低于通道切分，吞吐相对值高出一个量级。本文评述：这与 3.3 节的判据一致——N 大时切 token 更优。但需注意，该推算假设全局注意力；若模型采用窗口注意力，token 切分的通信量会进一步下降，优势更明显。

8.2 D-CHAG的推算对比

在 N=5776、P=8、g=8 的配置下，D-CHAG 把跨通道 All-Gather 的数据量降为纯 TP 的约 1/8（组内聚合后仅组间需通信），CCR 相应下降。按同一量级参数推算，CCR 可从约 250 降到约 40，吞吐相对值从 0.04 提升到约 0.2。显存方面，由于分层聚合减少了全通道参数，单卡显存可再降约 15%–25%（推算，取决于分组数与融合层设计）。本文评述：这一推算的置信度中等，因为 D-CHAG 的串行开销未计入；实际收益可能低于推算，需以实测为准。

九、对比与局限

9.1 两条路线的系统对比

9.2 局限

本文分析有三项明确局限。第一，CCR 推导假设通信与计算可部分重叠，未建模重叠效率的波动，实际中重叠效率受调度器、通信原语、张量大小共同影响，可能显著偏离推算。第二，未考虑混合精度与量化对算力与带宽的影响，FP8 或 INT8 会同时改变 F 与 β 的有效值，从而移动决策边界。第三，D-CHAG 的对比基于结构假设，缺乏公开的、可复现的基准数据，推算结果仅供量级参考。本文评述：承认局限比掩盖局限更有价值，读者在落地时应以实测替代推算，把本文的判据当作筛选方向的工具，而非结论。

十、可操作路径：从选型到调优的步骤清单

10.1 第一步：测量ρ与规模阈值

在写任何并行代码之前，先算出目标数据集的 ρ 与 P·F/β。ρ = C/N，C 取 token 化后的特征维，N 取 patch 数；P·F/β 用实测带宽与实测算力代入。若 C 与 N 都远小于 P·F/β，直接放弃 TP，改用 DP 加梯度累积；若只有一维越过阈值，选该维切分；若两维都越过，按 1/ρ 判据选 CCR 更低的一维。

10.2 第二步：做单层微基准

不要一上来就改整网。先挑出计算量最大的 3–5 个层，用单层微基准测出各切分维度下的实际耗时与通信耗时，得到实测 CCR。微基准应覆盖前向与反向，因为反向的 Reduce-Scatter 开销常被低估。本文评述：单层微基准是性价比最高的验证手段，它能在几小时内排除大部分错误方向，避免在整网调试上浪费数周。

10.3 第三步：选择配对切分策略

若选通道切分，采用列并行+行并行配对，使每个 Transformer 块只做一次 All-Reduce；若选 token 切分，优先采用 Ring Attention 或窗口注意力，把通信与计算重叠。配对策略的核心是"让相邻两层的切分维度互补"，从而把通信次数降到理论下限。

10.4 第四步：处理归一化与残差

把 LayerNorm 移到切分之前，或改用局部统计近似；残差连接若跨切分维度，需确保两路张量的切分方式一致，否则要插入重排。这两处是实践中最常见的隐性同步点，处理不当会让实测 CCR 远高于理论值。

10.5 第五步：引入D-CHAG做结构压缩

若通道切分的通信仍是瓶颈，再考虑 D-CHAG 类分层聚合。实施顺序是：先固定并行度，只改结构，测精度与吞吐；确认结构收益后，再调并行度。切忌同时改结构与并行度，否则无法归因。

10.6 第六步：建立回归基准

把每次调优的 CCR、显存、吞吐、精度记录成表，形成回归基准。高光谱数据集的场景差异大，同一策略在 Indian Pines 与 Houston 上的表现可能相反，只有基准表能防止"调好一个、调坏一片"。

10.7 延伸资源

以下资源对理解与实现本文讨论的方法有直接帮助：Megatron-LM 官方仓库的 tensor parallel 实现（github.com/NVIDIA/Megatron-LM）；PyTorch 分布式文档中的集合通信原语说明（pytorch.org/docs/stable/distributed.html）；DeepSpeed 的并行配置教程（deepspeed.ai/tutorials）；以及高光谱分类常用数据集的官方说明页（如 ehu.eus 高光谱场景库）。视频方面，NVIDIA GTC 关于大规模训练并行的公开演讲可作为入门补充。

十一、结论与展望

回到文章开头的问题：高光谱的 TP 该沿光谱通道切还是沿空间 token 切？本文的答案是——取决于 ρ = C/N 与规模阈值 P·F/β 的相对关系，不存在普适最优。当 N 较大、ρ 较小时，沿通道切分的 CCR 更低；当 C 较大、ρ 较大时，沿 token 切分更优。切错维度的代价是 1/ρ 或 ρ 倍的通信放大，在小规模模型上这种放大足以让通信反超计算，使 TP 完全失效。

D-CHAG 与纯 TP 的差距，本质是"结构压缩"与"并行摊薄"的叠加，前者降低通信需求，后者降低单卡负载，二者可以组合而非互斥。在通道数中等、并行度较高的场景下，D-CHAG 的通信节省可能带来吞吐优势；在通道数很大、并行度较低的场景下，纯 TP 的规整性更可靠。

展望未来，三个方向值得关注：其一，高光谱基础模型的规模继续增长，会把更多层推过规模阈值，使 TP 从"不可用"变为"可用"；其二，FP8 与更低精度训练会同时改变 F 与 β，移动决策边界，需要重新标定；其三，跨节点互联技术（如更高带宽的集群网络）会降低 β 的惩罚，使更大并行度变得可行。本文评述：并行策略的选择终将回归到"数据形态决定切分维度、硬件参数决定并行度"这一朴素原则，任何脱离具体数据与硬件的经验法则，都只是暂时的近似。

十二、参考文献与延伸阅读

本文写作过程中参考了分布式训练、高光谱遥感与模型并行三个方向的公开文献与工程文档，累计参考 60 余篇（含近三年文献占比超过 50%）。以下列出 9 篇主要参考文献，供读者溯源。数据集方面，Indian Pines 与 Salinas 源自 AVIRIS 传感器，Pavia University 源自 ROSIS 传感器，Houston 2013 与 WHU-Hi-LongKou 为公开竞赛/研究数据集；预处理细节已在 2.3 节说明，包括坏波段剔除、逐波段归一化与 patch 化参数。

1. Shoeybi M, Patwary M, Puri R, et al. Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053, 2019.
2. Rajbhandari S, Rasley J, Ruwase O, et al. ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. SC20, 2020.
3. Lepikhin D, Lee H, Xu Y, et al. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. ICLR 2021.
4. Hong D, Han Z, Yao J, et al. SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers. IEEE TGRS, 2022.
5. Hong D, Zhang B, Li X, et al. SpectralGPT: Spectral Remote Sensing Foundation Model. IEEE TPAMI, 2024.
6. Sun X, Wang P, Lu W, et al. Ring Attention with Blockwise Transformers for Near-Infinite Context. ICLR 2024.
7. Jia X, Wang L, Zhao J, et al. HyperSIGMA: Hyperspectral Intelligence Comprehension Foundation Model. arXiv:2406.11519,