高光谱遥感与算力：高光谱推理的batch size从64拉到1024，推理时间先降后平，但batch拉到某个点之后延迟反而不再改善——这个“平台期”到底由GPU的SM占用率决定还是由内存带宽决定，高光谱的三维输入在什么batch size下会触发显存溢出而不是吞吐饱和？

一、问题的重新定义：平台期不是"一个瓶颈"，而是"瓶颈迁移"

先把现象说清楚。把高光谱分类或解混模型的推理batch从64逐步拉到1024，单样本平均推理时间（ms/sample）通常先快速下降，随后进入一段斜率接近零的区间，个别配置下甚至出现轻微回升。工程上习惯把这段区间叫"平台期"，并追问：它由SM（Streaming Multiprocessor，流式多处理器）占用率决定，还是由内存带宽决定？

笔者认为，这个问法隐含了一个错误假设——平台期在整个batch区间内由同一个资源主导。实际上，batch是一个"资源需求放大器"：它同时放大计算量、访存量与显存占用，但三类资源的供给曲线并不平行。当batch较小时，GPU的SM远未填满，kernel启动开销与并行度不足是主要损失，增大batch带来近似线性的收益；当batch增大到SM基本饱和后，计算不再是短板，数据搬运成为限制项，此时收益迅速衰减，曲线走平；再往上，显存容量先于其他资源触顶，出现OOM（Out of Memory）而非"更平"。

本文分析主线：高光谱推理的batch-延迟曲线，本质是"计算受限 → 带宽受限 → 显存受限"三段式瓶颈迁移的宏观投影。平台期对应带宽受限段，其位置由算术强度（arithmetic intensity）与显存带宽的比值决定；显存溢出点则由激活值、参数、优化器状态与框架缓存四部分之和决定。二者不是竞争关系，而是先后关系。

这条主线有一个直接推论：在不知道模型算术强度与显存占用结构的前提下，讨论"平台期由谁决定"没有意义。因此本文不急于给结论，而是先建立可计算的模型，再设计可复现的判别实验，最后才回到"64到1024"这个具体区间。

需要说明术语边界。本文所称"推理时间"，指端到端wall-clock时间除以batch得到的单样本摊薄时间，包含数据搬运、kernel执行与同步开销；"平台期"指该摊薄时间对batch的弹性系数绝对值小于0.05的区间；"显存溢出"指CUDA分配失败（torch.cuda.OutOfMemoryError或等价错误），而非性能下降。

二、背景：高光谱推理为何与自然图像推理不同

2.1 三维输入的数据形态

高光谱影像（Hyperspectral Image, HSI）是空间二维 + 光谱一维的三维数据立方体。以常见的机载/星载传感器为例，AVIRIS Indian Pines 为 145×145 像素、224 个波段；ROSIS Pavia University 为 610×610 像素、103 个波段；国产珠海一号 OHS 数据单景可达数百波段。单样本张量形状通常写作 (B, C, H, W)，其中 C 为波段数，H、W 为空间块尺寸。

与RGB三通道不同，高光谱的通道维 C 常在100–300量级，且推理时往往采用"逐像素取邻域块"（patch-based）方式，典型patch尺寸 9×9、11×11、15×15。这意味着单样本的输入元素数为 C×p×p，在 C=200、p=15 时约为 45000 个浮点数，是 3×224×224 RGB 输入的约 3 倍。三维输入对显存的压力，从输入张量这一层就已经开始放大。

2.2 模型结构带来的访存特征

高光谱推理模型大致分三类：以 3D-CNN 为代表的体素卷积、以 1D-CNN/Transformer 为代表的谱序列建模、以及 PCA/波段选择 + 2D-CNN 的降维路线。三者的算术强度差异显著。

3D-CNN 的卷积核在光谱维上滑动，参数量与访存量都高，但单次乘加对应的数据复用率也高；1D 谱序列模型参数少、计算密度低，往往更早进入带宽受限；降维+2D 路线则在预处理阶段就把 C 压到个位数，显存压力最小但损失了部分光谱可分性。本文评述：讨论batch平台期时若不指明模型类别，结论会互相矛盾——同一张GPU上，3D-CNN 的平台期可能出现在 batch≈256，而轻量1D模型可能在 batch≈64 就已走平。这不是GPU的问题，是算术强度不同。

2.3 推理场景的特殊约束

遥感推理常部署在两类环境：地面数据中心（A100/H100/L40S等）与星上/边缘设备（Jetson Orin、寒武纪MLU、昇腾310等）。前者显存充裕但追求吞吐，后者显存紧张且功耗受限。平台期的工程意义因此分化：数据中心关心"何时停止加batch"，边缘端关心"在显存墙之前能塞多大batch"。这两个问题共用同一套模型，但优化目标相反。

三、显存占用解析模型：三维输入的第一性估算

3.1 四部分显存构成

推理阶段的显存占用可分解为四项：模型参数、输入与激活值、框架运行时缓存、以及碎片化余量。写成估算式：

M_total ≈ M_param + M_act(B) + M_ctx + M_frag

M_param = P × bytes_per_param
M_act(B) = B × A_per_sample
M_ctx   = 框架上下文（cuDNN workspace、CUDA context 等）
M_frag  = 分配器碎片余量（经验取 5%–15%）

其中 A_per_sample 是单样本激活值峰值，与网络深度、通道数、patch尺寸强相关。关键点在于：M_param 与 batch 无关，M_act 与 batch 近似线性。因此显存随batch增长的曲线是一条截距非零的直线，其斜率由单样本激活值决定。

3.2 单样本激活值的量级估算

以典型 3D-CNN 高光谱分类网络为例（参考 Chen 等 2016 年提出的 3D-CNN 结构思路，后续大量工作在其上改进）：输入 15×15×200，经两层3D卷积后通道升至 64/128，空间尺寸逐步下采样。在推理（no_grad）模式下，激活值只需保留当前层与下一层，峰值出现在通道数最大、空间尺寸尚未充分下采样的中间层。

按 fp32（4字节）估算，若峰值激活张量为 128×7×7×100，则单样本约 627200 个元素、约 2.5 MB。若采用 fp16（2字节）则减半。这个量级意味着：在 24 GB 显存的消费级卡上，仅激活值一项理论上可支撑 batch 数千——但实际远达不到，因为框架缓存、cuDNN workspace 与碎片化会吃掉大量余量，且训练模式（保留全部中间激活用于反传）会放大一个数量级。

易混淆点：很多团队把训练时的显存曲线直接套到推理上，得出"batch=128 就OOM"的结论。推理模式关闭了梯度图，激活值不再全量保留，显存占用通常只有训练的数分之一到十分之一。判断显存墙必须用推理模式实测，不能外推。

3.3 三维输入的"隐性放大"

三维输入对显存的放大不止于元素数。3D卷积在cuDNN中往往被拆解为多次2D卷积或采用 implicit GEMM，workspace 需求随输入尺寸非线性增长；同时，非连续内存布局（C维在最后或最前）会触发额外的转置拷贝，瞬时占用翻倍。笔者在实际压测中观察到，同一模型在 channels_last 与 channels_first 两种布局下，OOM 临界 batch 可相差 20%–40%（模拟压测数据，基于 RTX 4090 24GB、PyTorch 2.x、3D-CNN 结构，仅供量级参考）。

四、SM占用率与内存带宽：两个候选瓶颈的物理含义

4.1 SM占用率到底衡量什么

SM占用率（occupancy）指每个SM上活跃warp数占硬件上限的比例。它反映的是延迟隐藏能力：warp越多，访存延迟越容易被其他warp的计算掩盖。但占用率高不等于性能高——如果kernel本身是带宽受限的，占用率再高也只是让更多warp一起等内存。

NVIDIA 官方文档（CUDA C++ Programming Guide）明确指出，occupancy 是"必要非充分"条件。本文评述：把平台期归因于"SM占用率不够"是常见误判，因为增大batch本身就会提高占用率，若占用率是主因，曲线不应走平而应继续改善。平台期恰恰说明占用率已不是限制项。

4.2 内存带宽与算术强度

算术强度（arithmetic intensity, AI）定义为单位字节访存所对应的浮点运算次数，单位 FLOP/Byte。Roofline 模型（Williams 等，2009）给出性能上界：

P_att = min( P_peak , AI × BW )

P_peak : GPU 峰值浮点算力（FLOP/s）
BW     : 显存带宽（Byte/s）
AI     : 算术强度（FLOP/Byte）

当 AI < P_peak / BW 时，kernel 带宽受限；
当 AI > P_peak / BW 时，kernel 计算受限。

以 A100 80GB SXM 为例，fp16 峰值算力约 312 TFLOPS（稀疏）/156 TFLOPS（稠密），HBM2e 带宽约 2039 GB/s，拐点 AI 约 76 FLOP/Byte（稠密）。高光谱 3D-CNN 的卷积层 AI 通常在 10–50 区间，落在带宽受限侧；而全连接分类头与 1D 谱注意力层的 AI 更低。这解释了为什么高光谱推理更容易在中等batch就进入平台期。

数据来源：NVIDIA 官方产品规格页（A100、L40S、RTX 4090、Jetson Orin 数据手册），2023–2024；拐点AI为按稠密fp16算力与带宽估算值。Jetson Orin 显存与CPU共享，实际可用带宽受系统负载影响。

表中可见，消费级卡与数据中心卡的拐点AI差异明显。RTX 4090 的拐点约164，意味着只有AI高于164的kernel才能吃满算力；高光谱卷积层几乎全部落在带宽侧。这从物理层面支持了"平台期主因是带宽"的判断，但还需实验验证，不能仅凭Roofline下结论。

五、判别实验设计：五步定位平台期归属

理论估算只能给出先验，最终要靠实验。以下五步构成一套可复现的判别流程，适用于任意高光谱推理模型。

步骤一：固定一切，只动batch

固定输入尺寸、精度、数据布局、CUDA/cuDNN版本、GPU时钟（建议锁定频率避免boost抖动），batch取 1、2、4、8…1024 的2的幂序列，每档预热至少20次、计时至少100次，取中位数而非均值以抗离群。记录 ms/sample 与 samples/s 两条曲线。

步骤二：用Nsight Compute采集两个硬指标

对平台期内的batch，用 ncu 采集 sm__throughput.avg.pct_of_peak_sustained_elapsed（SM吞吐占比）与 dram__throughput.avg.pct_of_peak_sustained_elapsed（DRAM带宽占比）。判据很直接：

• DRAM占比 > 80% 且 SM占比 < 60% → 带宽受限，平台期由带宽决定；
• SM占比 > 80% 且 DRAM占比 < 60% → 计算受限，应继续加batch或优化kernel；
• 两者均高 → 接近硬件平衡点，需看具体kernel；
• 两者均低 → 存在启动开销、同步或数据搬运瓶颈，问题不在SM也不在带宽。

步骤三：做"带宽扰动"对照

若怀疑带宽受限，可人为降低有效带宽（例如同时跑一个显存带宽压力kernel，或降低GPU显存频率），观察平台期是否左移。若左移明显，说明带宽是主因；若几乎不动，则带宽不是限制项。这一扰动实验比单纯看指标更有说服力，因为它改变的是因果变量而非观测变量。

步骤四：做"计算扰动"对照

对称地，降低SM频率或减少可用SM数（通过 CUDA_VISIBLE_DEVICES 配合MIG切片），观察曲线。若平台期右移（需要更小batch才走平），说明计算侧原本还有余量。

步骤五：精度切换验证

fp32→fp16→bf16 会同时改变算力峰值与带宽需求（元素字节数减半）。若切换后平台期显著右移且吞吐提升接近2倍，说明原区间受带宽或计算吞吐的字节效率限制；若提升有限，说明瓶颈在别处（如kernel启动、Python调度）。

操作提示：Nsight Compute 的逐kernel采集会引入较大开销，不要用它测端到端时间；端到端计时用 torch.cuda.Event 配合 torch.cuda.synchronize()，指标采集单独跑一轮。两者混用是常见的数据污染源。

六、从64到1024：曲线形态的分段解释

6.1 第一段（64→约256）：并行度填充期

此阶段SM占用率随batch上升，warp调度器有更多可切换对象，访存延迟被有效隐藏，kernel启动与调度开销被摊薄。单样本时间快速下降，曲线陡峭。这一段的主导变量是并行度，不是带宽也不是显存。

6.2 第二段（约256→约768）：带宽接管期

SM基本填满后，继续加batch不再提升并行度，反而增加了每轮需要搬运的数据量。此时DRAM吞吐逼近峰值，单样本时间下降趋缓，曲线拐弯。这一段就是通常所说的平台期前奏。其位置取决于模型算术强度：AI越低，越早进入。

6.3 第三段（约768→1024）：平台期与轻微回升

带宽已饱和，增大batch只增加排队长度。此时可能出现两种现象：一是曲线完全走平；二是轻微回升，原因包括L2缓存命中率下降（工作集超出L2容量）、显存分页与TLB压力增大、以及大batch下kernel grid配置不再最优。笔者认为，回升不是"GPU变慢"，而是缓存局部性劣化的宏观表现，这一点在A100的40MB L2与RTX 4090的72MB L2上表现不同，需按卡实测。

说明：区间边界为典型3D-CNN高光谱分类模型在24–80GB显存GPU上的经验范围（模拟压测与公开基准综合），具体数值随模型、精度、patch尺寸变化，不可直接套用。

七、显存溢出还是吞吐饱和：三维输入的临界batch估算

7.1 临界batch的解析式

令显存容量为 M_cap，则显存墙对应的临界batch为：

B_oom ≈ ( M_cap × (1 - r_frag) - M_param - M_ctx ) / A_per_sample

r_frag : 碎片与预留比例（经验 0.05–0.15）
A_per_sample : 单样本激活峰值（Byte）

而吞吐饱和点 B_sat 由带宽决定，没有简单闭式解，需实测。关键判断是：若 B_sat < B_oom，则先撞吞吐墙；若 B_oom < B_sat，则先撞显存墙。高光谱三维输入的特殊性在于 A_per_sample 偏大，因此 B_oom 往往比自然图像场景更早到来。

7.2 量级示例（模拟数据）

设某3D-CNN模型参数 2M（fp32约8MB），单样本激活峰值 2.5MB，框架上下文与workspace约1.5GB，碎片率10%，GPU显存24GB。代入：

B_oom ≈ ( 24×1024×0.9 - 8 - 1536 ) / 2.5
      ≈ ( 22118 - 1544 ) / 2.5
      ≈ 8229

即理论上可到 batch≈8000，但这是"激活峰值"口径；
实际cuDNN workspace 随batch增长，且存在多份临时张量，
实测临界值通常显著低于此估算（模拟数据，仅供量级参考）。

这个估算说明一个反直觉结论：对于轻量高光谱模型，显存墙可能远在吞吐平台期之后，即在24GB卡上，batch=1024 时你看到的是平台期而非OOM。但若换成参数量大、patch大、或训练模式，临界batch会骤降。因此"三维输入在什么batch触发显存溢出"没有普适答案，只有针对具体模型-硬件-精度三元组的答案。

7.3 三维输入放大显存压力的三个机制

• 输入张量本身大：C×p×p 的元素数随C线性增长，200波段15×15块即4.5万元素/样本；
• 3D卷积workspace膨胀：cuDNN对3D卷积的算法选择（如FFT、implicit GEMM）会申请与输入尺寸相关的临时缓冲，batch越大越明显；
• 布局转换的瞬时双份：若输入布局与kernel期望不一致，框架会做一次转置，瞬时占用接近两份输入。

笔者认为，工程上更实用的做法不是精确预测B_oom，而是用二分搜索实测：从当前batch出发，按1.5倍递增直到OOM，再在最后两个值之间二分，通常10–15次试验即可定位到±5%精度。这比任何解析式都可靠，因为框架行为随版本变化。

八、关键数据与公开案例对照

8.1 公开基准中的batch敏感性

高光谱分类的公开研究多聚焦精度，系统报告推理吞吐- batch曲线的较少。可参考的间接证据来自两方面：一是遥感深度学习框架（如 TorchGeo、Spectral Python 生态）的基准脚本；二是通用视觉推理的batch-scaling研究。例如 NVIDIA 的 TensorRT 最佳实践文档指出，batch增大到一定程度后吞吐趋于平台，并建议用 trtexec 扫描batch找拐点；MLPerf Inference 的提交报告中，各厂商也普遍报告"最优batch"而非"最大batch"。

在高光谱方向，Hong 等（2021）的 SpectralFormer 与后续 Transformer 类工作、以及多篇 3D-CNN 改进研究（如 SSRN、HybridSN 系列）在实验部分通常固定batch=64或128训练，推理吞吐并非报告重点。这恰恰是工程侧的空白：学术论文关心精度，部署关心曲线，两者之间的batch选择缺乏公开的系统性数据。本文的判别流程可视为对这一空白的工程补充。

8.2 数据集与预处理细节

为便于读者复现，列出本文讨论涉及的典型数据集及其常见预处理：

数据来源：各数据集官方发布页面（Purdue University、University of Pavia、IEEE GRSS Data Fusion Contest）及 Hong 等（2021）SpectralFormer 论文中的预处理描述。预处理细节直接影响单样本张量大小，进而影响显存估算，复现时须与原文对齐。

8.3 一个可复现的最小压测脚本

以下脚本给出batch扫描的骨架，读者替换模型与数据即可：

import torch, time

def bench(model, x_fn, batches, warmup=20, iters=100):
    model.eval()
    results = []
    for b in batches:
        try:
            x = x_fn(b).cuda()
            with torch.no_grad():
                for _ in range(warmup):
                    model(x)
                torch.cuda.synchronize()
                t0 = torch.cuda.Event(enable_timing=True)
                t1 = torch.cuda.Event(enable_timing=True)
                t0.record()
                for _ in range(iters):
                    model(x)
                t1.record()
                torch.cuda.synchronize()
            ms = t0.elapsed_time(t1) / iters
            results.append((b, ms, ms / b))
            del x
            torch.cuda.empty_cache()
        except torch.cuda.OutOfMemoryError:
            results.append((b, None, None))
            torch.cuda.empty_cache()
            break
    return results

# 建议：batches = [64,128,256,384,512,768,1024]
# 记录 ms/sample，找弹性系数 < 0.05 的区间

注意 empty_cache() 会释放缓存但增加下次分配开销，扫描时每档独立进程更干净；若在同一进程内扫描，需在每档后重置峰值统计 torch.cuda.reset_peak_memory_stats()。

九、工程调优路径：从"调batch"到"调资源配比"

9.1 决策树

把前文串成可执行路径：

1. 扫描batch，画 ms/sample 曲线，标出弹性系数 <0.05 的区间；
2. 在该区间用 ncu 采 SM 与 DRAM 占比；
3. 若 DRAM 高 → 走带宽优化：fp16/bf16、算子融合（Conv+BN+ReLU）、减少中间张量、channels_last、TensorRT/ONNX Runtime 图优化；
4. 若 SM 高 → 走计算优化：换更高效kernel、调整tile、或直接接受当前batch；
5. 若两者都低 → 查启动开销：CUDA Graph 捕获、批内合并、减少host-device同步；
6. 若接近OOM → 分块推理（按空间块切分大图）、梯度检查点（训练）、模型并行或换更大显存卡。

9.2 高光谱特有的优化点

除通用手段外，高光谱还有几处针对性空间：

• 波段降维前置：PCA/波段选择在CPU或GPU上一次性完成，把C从200降到30，单样本激活值降约6倍，B_oom显著右移；代价是光谱信息损失，需在精度上验证；
• patch尺寸权衡：15×15→9×9 使单样本元素数降约64%，但可能损失空间上下文；建议按分类任务做消融；
• 大图分块推理：整景推理时按重叠块切分，块内batch可调，块间用多流并行，避免一次性把整景塞进显存；
• 精度策略：卷积用fp16、归一化与softmax用fp32的混合精度，兼顾吞吐与数值稳定。

经验判断：若你的曲线在 batch=256–512 走平，且 ncu 显示 DRAM 占比 >80%，那么继续加batch到1024 的收益接近于零，正确动作是转向降精度或算子融合，而不是继续调batch。反之，若 SM 占比仍 <60%，说明kernel本身效率有问题，调batch只是掩盖症状。

9.3 多卡与多流的替代路径

当单卡进入平台期，横向扩展往往比纵向加batch更划算。数据并行（DDP）在多卡上分摊batch，每卡batch可保持在平台期之前；多流（multi-stream）则让多个小batch并发，利用kernel间的空隙。两者都能提升总吞吐，但会引入通信与调度开销，需实测净收益。笔者认为，平台期的存在本身就是"该横向扩展"的信号，而不是"继续加batch"的理由。

十、局限、反例与边界条件

本文主线并非万能。至少有三类反例需要正视：

反例一：极小模型。参数量在万级、层数极浅的模型，kernel启动开销主导，曲线可能在batch=32就"走平"，此时既非带宽也非显存，而是host侧调度。判别方法是看CUDA Graph能否显著提速。

反例二：动态shape与变长输入。若推理时patch尺寸随样本变化，框架会反复重新编译/选择算法，batch曲线不光滑，平台期判断失效。此时应先固定shape。

反例三：MIG或多租户环境。GPU被切分后，SM数与带宽按比例分配，拐点AI改变，本文表格数值不再适用，需按实际切片重测。

此外，显存估算式中的 A_per_sample 依赖具体网络，本文给出的2.5MB仅为量级示例，不可当作通用常数。读者应以自己模型的 torch.cuda.max_memory_allocated() 实测值为准。

十一、结论与展望

回到最初的问题：平台期由SM占用率还是内存带宽决定？本文的答案是——在64→1024这个典型区间，平台期的主因是内存带宽，SM占用率在平台期之前就已接近饱和，不再是限制项；但这一结论有前提：模型算术强度落在带宽受限侧、shape固定、单卡单租户。三维输入的显存溢出点则取决于模型规模与精度，对轻量模型可能远在1024之后，对重量模型或训练模式则可能早于256，必须实测。

展望三点：其一，随着高光谱传感器波段数继续上升（国产高光谱卫星已进入百波段以上时代），单样本张量会更大，显存墙将更早成为主约束，分块与降维的工程价值上升；其二，TensorRT、ONNX Runtime、TVM 等编译器对3D卷积的融合能力仍在演进，kernel效率提升会改变平台期位置，今天的结论需要定期重测；其三，星上推理受功耗与显存双重限制，"在显存墙之前找到吞吐最优点"会比"追求最大吞吐"更现实。

最后强调方法论：不要问"平台期由谁决定"，要问"在当前batch区间，哪类资源的边际收益先归零"。前者导向争论，后者导向实验。

十二、参考文献与拓展资源

主要参考文献（8–9篇）

🔒 复制本站文章内容需登录并达到 L3。当前：未登录
遥感 遥感技术