高光谱遥感与算力：高光谱模型在分布式训练时，数据并行、张量并行和通道并行（D-CHAG）可以叠加使用，但三种并行的组合顺序和通信组划分不同，吞吐可能差出数倍——在8卡节点内和跨节点两种拓扑下，到底该优先开哪种并行、关哪种并行，有没有一条按“模型大小vs单卡显存”和“节点内带宽vs跨节点带宽”来决策的规则？

1. 问题的提出：高光谱模型为何把并行策略逼到墙角

高光谱遥感数据立方体（hyperspectral cube）的典型形态是 H×W×B，其中空间维 H、W 可达数百至数千像素，光谱维 B 常见 100–400 个波段（如 AVIRIS 224 波段、ROSIS 103 波段）。当模型从传统浅层分类器演进到三维卷积网络、光谱-空间联合注意力网络乃至基于 Transformer 的光谱序列建模时，激活值与中间特征图的显存占用呈乘法级增长，而非加法级。

笔者在梳理公开文献时注意到一个被反复提及但少有系统量化的现象：高光谱模型的并行策略选择，往往被直接套用自然图像领域的经验（先 DP、显存不够再 TP），却忽略了高光谱模型在通道维度上的天然可切分性。光谱通道之间既存在强相关性（相邻波段高度冗余），又存在可分组的物理意义（可见光、近红外、短波红外），这为通道并行提供了比自然图像更自然的切分依据。D-CHAG（Distributed Channel-wise Hybrid Attention Grouping 类方法的并行化实践）正是沿这一思路展开的。

本文评述：把通道并行视为"高光谱专属"并不严谨——自然图像的通道并行同样存在。真正的高光谱特殊性在于：通道切分后各分组的统计分布差异显著，梯度尺度不一致，导致通道并行的负载均衡与梯度同步比自然图像更敏感。这一点在后文第 3 节的通信量分析中会具体体现。

于是问题收敛为：在给定集群拓扑（8 卡节点内 + 若干节点跨节点互联）下，三类并行如何叠加、以何种顺序叠加、通信组如何划分，才能使端到端吞吐接近理论上界？这不是一个可以靠"多试几组"穷举解决的问题，因为组合空间随并行度增长呈组合爆炸，且每次试错的训练成本高昂。需要一条基于可测量量的决策规则。

2. 背景与概念界定：DP、TP、D-CHAG 的通信量量纲

2.1 三类并行的准确定义

数据并行（Data Parallelism, DP）：将全局 batch 切分到各设备，每张卡持有完整模型副本，前向独立、反向计算各自梯度后通过 All-Reduce 求平均。其通信量与模型参数量成正比，与 batch 大小无关（梯度张量大小固定）。

张量并行（Tensor Parallelism, TP）：将单个算子（如矩阵乘）的权重矩阵按行或列切分到多卡，前向需在切分维度上做 All-Reduce 或 All-Gather，反向需对应做 Reduce-Scatter。其通信量与单层激活张量大小成正比，且每层都要通信，通信频次高。

通道并行（D-CHAG 类）：将特征通道或光谱波段维切分到多卡，各卡处理不同通道子集，在通道拼接处做 All-Gather，在通道注意力或分组归一化处做跨卡规约。其通信量介于 DP 与 TP 之间，取决于通道分组粒度与是否引入跨组注意力。

2.2 通信量量纲对比

表 1：三类并行的通信量量纲对比（笔者根据集合通信原语分析整理，量纲为相对值，非实测绝对值）。

由表 1 可得一个关键推论：TP 的通信频次与模型层数线性相关，因此它天然偏好高带宽、低延迟的节点内互联；DP 的通信可被梯度累积摊薄，对带宽容忍度最高；D-CHAG 处于中间地带，其表现高度依赖通道分组策略是否与物理波段分组对齐。

笔者认为：很多工程团队把"TP 只能开在节点内"当作教条，这在一定条件下成立，但并非绝对。当模型层数较少而单层极宽（高光谱全连接分类头常见）时，TP 的通信频次下降，跨节点 TP 在 200Gbps 级互联下也可能可接受。教条化的根源是把自然语言模型的经验直接迁移，而高光谱模型的层数-宽度比与之差异很大。

3. 原理拆解：组合顺序如何改变通信组拓扑

3.1 三维并行网格与通信组划分

设总卡数为 N，三类并行度分别为 d_dp × d_tp × d_chag = N。每张卡在三维网格中有一个坐标 (i, j, k)。通信组的划分方式决定了哪些卡之间需要通信：

• DP 组：固定 (j, k)，沿 i 方向的所有卡构成一个 All-Reduce 组；
• TP 组：固定 (i, k)，沿 j 方向的所有卡构成一个 All-Reduce/All-Gather 组；
• D-CHAG 组：固定 (i, j)，沿 k 方向的所有卡构成一个通道拼接组。

组合顺序的实质，是把哪个维度映射到物理上最快的互联域。在 8 卡节点内，NVLink/NVSwitch 提供远高于跨节点 IB/RoCE 的带宽与更低的延迟；因此把通信最密集的维度（通常是 TP）映射到节点内，是常识性选择。但"常识"在 D-CHAG 引入后需要重新审视。

3.2 顺序敏感性的来源：通信组与物理拓扑的错配

假设一个 16 卡集群，2 节点 × 8 卡/节点。若采用 d_dp=4, d_tp=2, d_chag=2，且把 TP 维度映射到节点内（j 维在节点内），则 TP 组始终在节点内通信，DP 组跨节点。这是"TP 内、DP 外"的经典布局。

但若改为 d_dp=2, d_tp=2, d_chag=4，并把 D-CHAG 维度映射到节点内、TP 维度跨节点，则 TP 的每层通信全部走跨节点链路，延迟放大，吞吐骤降。反之，若把 D-CHAG 映射到跨节点、TP 映射到节点内，又可能因 D-CHAG 的通道拼接通信量随分组数增长而恶化。

本文评述：组合顺序的敏感性并非来自并行算法本身，而是来自"逻辑通信组"与"物理互联域"的映射关系。这提示我们，决策规则不应以"开哪种并行"为粒度，而应以"哪个维度映射到哪个互联域"为粒度。后文的双阈值规则正是建立在这一认识之上。

3.3 一个可计算的通信开销模型

设节点内带宽为 B_intra、跨节点带宽为 B_inter，单次 TP 通信量为 A（激活张量字节数）、层数为 L，DP 通信量为 P（参数字节数）、梯度累积步数为 G，D-CHAG 通信量为 C、阶段数为 S。则单 step 通信时间近似为：

T_comm ≈ (2·L·A / B_tp) + (2·P / (G·B_dp)) + (S·C / B_chag)

其中 B_tp、B_dp、B_chag 分别是三个维度所映射互联域的有效带宽。该模型为简化模型（忽略延迟项与重叠），但足以支撑定性决策：把通信量最大的项放到带宽最大的域，是吞吐优化的第一性原理。延迟项在跨节点场景不可忽略，后文第 6 节会补充。

4. 双阈值决策规则：显存下界与带宽上界

4.1 规则的形式化表述

笔者提出的决策规则由两个阈值构成：

4.2 决策矩阵

表 2：双阈值决策矩阵（笔者基于通信量模型推导，阈值 R=4 为经验起点，实际应以实测带宽比校准）。

笔者认为：表 2 中"R < 4 时关闭 TP"一条最易被质疑，因为直觉上 TP 是降显存的主力。但在低带宽比场景下，TP 的每层通信会把跨节点链路打满，其吞吐损失可能超过其显存收益带来的 batch 提升。此时改用 D-CHAG 按通道切分，通信频次更低，是更务实的选择。这一判断需要实测验证，不能仅凭模型断言。

5. 8 卡节点内的组合实践与数据

5.1 节点内拓扑特征

以主流 8 卡 GPU 节点为例，卡间通过 NVSwitch 全互联，单卡对带宽可达数百 GB/s 量级（具体数值随代际变化，应以厂商规格为准）。这一带宽量级使得 TP 的每层 All-Reduce 开销被显著摊薄，是 TP 在节点内"几乎免费"的物理基础。D-CHAG 的通道拼接通信同样受益。

5.2 组合顺序的实测影响（模拟数据）

为量化组合顺序的影响，笔者构建了一个参数规模约 1.2B 的高光谱三维卷积+光谱注意力模型，在 8 卡节点内做对照实验。以下为模拟数据（基于通信量模型与典型硬件参数推算，非真实集群实测），用于说明趋势而非给出绝对数值：

表 3：8 卡节点内组合顺序的模拟吞吐对比（模拟数据，基于通信量模型推算，仅供趋势参考）。

表 3 显示，在节点内高带宽条件下，适度引入 D-CHAG（配置 C）反而优于纯 DP+TP（配置 B），原因是 D-CHAG 降低了单卡激活驻留，使 batch 可以进一步放大，而通道拼接的通信在节点内几乎不构成瓶颈。这与"并行越多通信越重"的朴素直觉相反，恰恰说明决策必须基于通信量与带宽的比值，而非并行类型的数量。

6. 跨节点拓扑下的组合实践与数据

6.1 跨节点链路的延迟不可忽略

跨节点互联（InfiniBand 或 RoCE）的带宽通常比节点内低一个数量级，且延迟显著更高。在通信量模型 T_comm 中，跨节点项需要额外加上延迟项 L_lat × 通信次数。对于 TP 这种每层都通信的维度，延迟项会随层数线性累积，成为主导开销。

6.2 跨节点组合的模拟对比

在 2 节点 × 8 卡、共 16 卡的设定下，对比三种映射方案（模拟数据）：

表 4：跨节点场景下映射顺序的模拟吞吐对比（模拟数据，基于通信量+延迟模型推算）。

表 4 中 P3 的吞吐低于基线，是"TP 跨节点"的典型代价：TP 每层通信叠加跨节点延迟，吞吐被拖垮。P2 通过把 TP 与 D-CHAG 都放在节点内、仅让 DP 跨节点，取得了最高吞吐。这印证了第 4 节的规则：跨节点维度应优先分配给通信可被摊薄的 DP。

本文评述：P2 优于 P1 说明，跨节点场景下"多开一种并行"未必更差，关键在于新开的并行维度是否被约束在节点内。这打破了"并行度越高、通信越重、吞吐越低"的线性思维。真正的约束是"跨节点通信总量"，而非"并行维度数量"。

7. 关键案例：高光谱分类与解混任务的并行配置

7.1 数据集与预处理

高光谱分类的常用基准包括 Indian Pines（AVIRIS，145×145×200）、Pavia University（ROSIS，610×340×103）、Salinas（AVIRIS，512×217×204）等。标准预处理流程为：去除低信噪比与吸水波段 → 按 0.01 分位数做 2% 线性拉伸归一化 → 以固定窗口（如 11×11 或 15×15）做空间块采样 → 按类别分层划分训练/验证/测试集（常见比例 1:1:8 或 10%:10%:80%）。解混任务常用 Samson、Jasper Ridge、Urban 等数据集，预处理需额外做端元数估计与丰度非负约束。

需要说明：上述预处理细节来自公开数据集的标准使用惯例，具体划分比例在不同文献中略有差异，引用时应以原始数据集说明为准。

7.2 分类任务的并行配置建议

高光谱分类模型（如 3D-CNN、光谱-空间注意力网络）的参数量通常不大（百万到千万级），显存压力主要来自大 batch 下的激活值。此时 m ≤ M 往往成立，纯 DP 即可。若需更大 batch 提升 BN 统计稳定性，可引入 D-CHAG 按光谱波段分组，而非 TP——因为分类头的宽度有限，TP 切分收益低而通信开销相对高。

7.3 解混任务的并行配置建议

解混模型（如基于自编码器的端元-丰度联合学习）的瓶颈在光谱维的全连接层，单层极宽，TP 切分收益显著。此时建议 TP 内、DP 外，并视显存情况叠加 D-CHAG。由于解混模型层数较少，TP 的通信频次低，跨节点 TP 在带宽比 R 较高时也可接受。

8. 对比与局限：三类并行的边界条件

8.1 边界条件汇总

• DP 的边界：参数量不能超过单卡显存（含优化器状态），且全局 batch 不能小到梯度噪声主导。梯度累积可缓解通信，但不能缓解显存。
• TP 的边界：要求算子可切分（矩阵乘可切，归一化与注意力需特殊处理），且切分后各卡计算量均衡。层数越多，跨节点 TP 越不可行。
• D-CHAG 的边界：通道分组需与物理波段分组或特征语义分组对齐，否则各卡梯度尺度不一致，收敛变慢。分组数过多时，通道拼接通信量上升。

8.2 本文规则的局限

本文提出的双阈值规则建立在简化通信量模型之上，未纳入计算-通信重叠（overlap）的精细建模、NVSwitch 内部路由的非均匀性、以及不同框架（Megatron-LM、DeepSpeed、Colossal-AI 等）实现差异带来的开销。因此规则应作为初筛工具，最终配置仍需实测校准。此外，阈值 R=4 是经验起点，不同硬件代际的带宽比差异较大，读者应以自己集群的实测带宽比替换。

9. 操作路径：从显存剖面到上线调优的七步法

1. 显存剖面：用框架自带的内存分析工具（如 PyTorch 的 torch.cuda.memory_summary）测出单卡参数、优化器状态、激活的峰值占用，得到 m 与 M 的比值。
2. 带宽实测：用 NCCL 自带的 all_reduce_perf 等基准工具测节点内与跨节点的有效带宽，算出 R。
3. 查表初筛：用表 2 得到候选组合与映射顺序。
4. 小规模验证：在 2 节点上跑 100 step，记录吞吐与通信占比（NCCL 日志或框架 profiler）。
5. 瓶颈定位：若跨节点通信占比超过 30%，优先调整映射顺序，而非增加并行度。
6. 收敛校验：对比不同组合下的 loss 曲线，确认 D-CHAG 分组未破坏梯度尺度一致性。
7. 上线监控：持续监控通信/计算比与显存峰值，设置阈值告警，防止数据分布漂移导致显存超限。

拓展阅读方面，NVIDIA 的 NCCL 官方文档与 Megatron-LM 的并行配置说明是理解通信组划分的一手资料；Colossal-AI 的教程对多维并行的组合有较完整的示例；PyTorch 分布式训练教程则覆盖了基础原语。读者可结合自身框架版本查阅对应文档。

10. 结论与展望

本文的核心结论可归纳为三点：其一，三类并行的组合顺序本质是"逻辑通信组到物理互联域的映射"，决策粒度应是映射而非并行类型；其二，显存约束决定必须开哪种并行（下界），带宽约束决定哪种映射可行（上界），二者共同构成双阈值规则；其三，在节点内高带宽条件下，适度引入 D-CHAG 可能优于纯 DP+TP，跨节点场景下则应把通信可摊薄的 DP 放到跨节点。

展望未来，随着高光谱模型向更大光谱维、更高空间分辨率演进，以及集群向更高速互联（如更高速率的 IB、硅光互联）升级，双阈值规则中的 R 会持续变化，规则本身需要动态校准。更值得关注的是自动并行（auto-parallel）方向：若能基于实测带宽与显存剖面自动搜索映射方案，将把工程经验固化为可复用的搜索算法。笔者认为，这一方向的瓶颈不在搜索算法，而在低成本、高保真的性能预测模型——没有准确的预测，搜索就是昂贵的盲试。

主要参考文献

1. Shoeybi M, Patwary M, Puri R, et al. Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053, 2019.
2. Rajbhandari S, Rasley J, Ruwase O, et al. ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. SC20, 2020.
3. Narayanan D, Shoeybi M, Casper J, et al. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM. SC21, 2021.
4. Li S, Zhao Y, Varma R, et al. PyTorch Distributed: Experiences on Accelerating Data Parallel Training. VLDB, 2020.
5. Bian Z, Liu H, Wang B, et al. Colossal-AI: A Unified Deep Learning System for Large-Scale Parallel Training. ICPP, 2023.
6. Jia Z, Zaharia M, Aiken A. Beyond Data and Model Parallelism for Deep Neural Networks. MLSys, 2019.
7. Lepikhin D, Lee H, Xu Y, et al. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding. ICLR, 2021.
8. Xu Y, Lee H, Chen D, et al. GSPMD: General and Scalable Parallelization for ML Computation Graphs. arXiv:2105.04663, 2021.