Stable Diffusion 12GB起步、Flux FP16要接近24GB、FP8是24GB上的“甜点”，同一个模型换一种精度就从“装不下”变成“刚好”，24GB卡做图像生成的“舒适区”到底在FP16还是FP8？

一、问题的重新定义：从“装不下”到“可行域”

“Stable Diffusion 12GB起步、Flux FP16要接近24GB、FP8是24GB上的甜点”——这三句话在社区里流传甚广，但它们描述的是三个不同层面的现象，混在一起谈就容易得出错误结论。第一句讲的是SDXL在FP16下的最低可运行显存门槛；第二句讲的是Flux.1 dev在FP16权重加载后的峰值占用；第三句讲的是同一模型切换到FP8后，24GB卡从“临界”回到“有余量”。三者共同指向一个被长期忽视的事实：显存约束不是一个标量，而是一个由精度、分辨率、批量大小、注意力实现方式共同张成的可行域。

笔者认为，把“24GB够不够”当作一个是非题来讨论，是工程讨论中最常见的范畴错误。正确的提问方式是：在给定模型、给定输出分辨率、给定批量、给定注意力后端的前提下，显存占用曲线与24GB这条水平线的交点落在哪里？交点左侧是可行域，右侧是不可行域，而精度格式正是移动这条曲线的第一根杠杆。本文的主线即由此确立：以显存预算模型为骨架，以数值格式的机制为血肉，论证FP8在24GB推理档位成为甜点的必然性，同时划出它失效的边界。

需要先厘清几个概念。所谓“起步显存”，通常指模型权重加载完成、执行一次最小可行推理（如1024×1024单张）不触发OOM的最低显存；它不等于舒适显存，后者还要为更高的分辨率、更大的批量、ControlNet附加模块、VAE分块解码留出余量。所谓“甜点”，本文定义为：在目标硬件上，某一精度配置在显存占用、吞吐、画质三个维度上同时处于帕累托前沿的区间。甜点不是绝对最优，而是约束下的相对最优。

“装不下”与“刚好”之间的距离，往往不是硬件差距，而是数值格式选择带来的2倍系数。理解这一点，比升级显卡更能解决问题。

二、显存预算模型：四类占用与可复算公式

2.1 四类占用：权重、激活、注意力中间量、框架开销

扩散模型的显存占用可以拆成四块，任何一块被低估都会导致预算失真。第一块是权重（weights），占用等于参数量乘以每参数字节数（bytes per parameter, BPP）。第二块是激活（activations），即前向传播中各层输出张量，其规模与批量、分辨率、通道数成正比，且与精度格式相关。第三块是注意力中间量，包括Q/K/V矩阵与注意力分数矩阵，在自注意力层中随序列长度平方增长，是长分辨率下最容易爆掉的部分。第四块是框架与运行时开销，包括CUDA上下文、cuDNN/cuBLAS工作区、PyTorch缓存分配器的碎片余量，通常在1–2GB量级。

笔者在多次复现中观察到，社区讨论往往只算第一块，把“参数量×2字节”当作全部占用，结果在1024×1024以上分辨率频繁OOM。以SDXL为例，UNet约2.6B参数、文本编码器双塔合计约0.8B、VAE约0.08B，FP16下权重约7GB；但1024×1024单张推理的峰值占用普遍在10–12GB，差额正是激活与注意力中间量。这个差额随分辨率近似线性增长，随批量线性增长，在注意力实现不佳时还会叠加平方项。

2.2 可复算公式

下面给出一个工程上足够用的估算式。设参数量为N（单位：十亿），每参数字节数为b，则权重占用 W ≈ N × b GB（此处按1e9参数、1GB=1e9字节的近似换算，实际因1GiB=1.0737e9字节略有偏差，工程上可忽略）。激活占用 A 与批量B、潜空间分辨率H×W、通道数C、层数L相关，可近似为 A ≈ k × B × H × W × C × L × b_act，其中k为经验系数，b_act为激活精度字节数。注意力中间量 M ≈ 4 × B × s² × d × b_attn，s为序列长度（潜空间token数），d为注意力维度，系数4对应Q/K/V/输出四组张量。

以SDXL在1024×1024、批量1、FP16为例：潜空间为128×128，序列长度s=16384（若用全注意力），d=1280量级，仅M一项就可达数GB；这也是为什么现代推理栈普遍采用分块注意力（如PyTorch的scaled_dot_product_attention的memory-efficient后端、xFormers、FlashAttention系列）来把M从平方项压到线性项。本文评述：注意力实现的选择，对显存的影响量级与精度格式相当，甚至更大。只谈FP16还是FP8而不谈注意力后端，是不完整的讨论。

2.3 三档配置的预算对照

下表给出24GB卡上三档典型配置的预算拆解。数据为基于公开参数量与上述公式的整合估算（模拟数据，用于量级对照，非某次具体实测），实际值会因驱动、框架版本、注意力后端不同而浮动10%–20%。

这张表解释了流传的三句话为何同时成立：SDXL FP16的12GB是“起步线”，Flux FP16的29GB是“超限线”，Flux FP8的17GB是“舒适线”。同一张24GB卡，在FP16下对Flux是“装不下”，在FP8下变成“刚好还有余量做ControlNet和更高分辨率”。精度的切换，本质上是把权重项从2字节压到1字节，直接砍掉约12GB，这是任何注意力优化都无法单独做到的。

三、数值格式的机制：FP16、BF16、FP8、NF4到底差在哪

3.1 位宽、指数位与尾数位：精度的三个旋钮

浮点格式由三部分构成：符号位、指数位、尾数位。指数位决定动态范围（能表示多大和多小的数），尾数位决定精度（相邻可表示数之间的间隔）。FP16为1+5+10，动态范围约6×10⁴，尾数10位；BF16为1+8+7，动态范围与FP32相同（约3×10³⁸），但尾数只有7位；FP8有两种主流变体，E4M3为1+4+3，E5M2为1+5+2，动态范围与精度都显著收窄；NF4是4位正态浮点，专为权重量化设计，配合分块缩放因子使用。

关键洞察在于：扩散模型的权重分布通常近似零均值、方差较小的正态分布，对动态范围的要求不高，但对尾数精度敏感；而激活值的分布尾部较厚，对动态范围更敏感。这解释了为什么FP8的E4M3变体在权重侧表现良好，而激活侧往往需要per-tensor或per-channel缩放来补偿。本文评述：把FP8简单理解为“FP16的一半”是危险的，它丢失的不只是精度，还有对异常值的容忍度；量化方案的设计，本质上是在为这种丢失做补偿。

3.2 FP8的两种缩放范式：per-tensor与per-channel

FP8量化不是把FP16数值直接截断，而是先除以一个缩放因子（scale），映射到FP8可表示区间，再在计算时乘回。per-tensor缩放对整个张量用同一个因子，实现简单、开销低，但对通道间动态范围差异大的层（如某些投影层）会损失精度；per-channel或per-block缩放为每个通道或每个块维护独立因子，精度更好，但引入额外存储与访存开销。NVIDIA在Transformer Engine中采用的延迟缩放（delayed scaling）策略，利用历史amax统计来估计当前步的缩放因子，是工程上较成熟的折中。

笔者认为，对图像生成模型而言，per-channel缩放在UNet的下采样与上采样卷积层收益明显，因为这些层的通道动态范围差异较大；而在注意力投影层，per-tensor已足够。实践中不必一刀切，按层类型选择缩放粒度，往往能在精度损失小于0.5%的前提下拿到接近per-tensor的吞吐。

3.3 NF4与双重量化：4位量化的适用边界

NF4（4-bit NormalFloat）出自QLoRA工作，其设计假设是预训练权重近似正态分布，因此按分位点构造16个量化级别，使每个级别承载等概率质量。配合双重量化（对缩放因子本身再量化）与分页优化器，QLoRA在单卡上微调大模型成为可能。对扩散模型，NF4主要用于权重侧，激活仍需较高精度，因此它是“省权重”而非“省全部”的方案。

本文评述：NF4在24GB卡上的价值，不在于替代FP8做推理，而在于让“在24GB卡上微调Flux级模型”从不可能变为勉强可行。但4位权重的推理画质损失在细节纹理与文字渲染上较为明显，不适合作为生产推理的默认档位。它更像是训练侧的应急方案，而非推理侧的甜点。

四、工程实测路径：24GB卡上的三档配置与操作步骤

4.1 档位一：SDXL FP16，12GB起步的基线

这是最成熟的配置。操作路径：使用diffusers加载SDXL base，设置torch_dtype=torch.float16，启用xFormers或PyTorch 2.x的scaled_dot_product_attention，VAE启用分块解码（tiled VAE）以降低高分辨率解码峰值。若显存仍紧张，可启用模型CPU卸载（enable_model_cpu_offload），代价是每步推理的Host-Device传输延迟增加。

pipe = StableDiffusionXLPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    torch_dtype=torch.float16,
    variant="fp16",
).to("cuda")
pipe.enable_xformers_memory_efficient_attention()
pipe.enable_vae_tiling()
# 显存紧张时：
# pipe.enable_model_cpu_offload()

该配置在24GB卡上可稳定跑1024×1024、批量4，峰值约14–16GB，余量充足。它的意义是建立基线：当后续模型在此基线上“装不下”时，我们才知道差额来自哪里。

4.2 档位二：Flux FP16，24GB的临界线

Flux.1 dev为12B级参数模型（含T5文本编码器与MMDiT主干），FP16权重约23.8GB，加上激活与框架开销，峰值逼近甚至超过24GB。操作上必须做三件事：一是文本编码器与主干分时加载，T5编码完成后卸载；二是启用分块/序列并行注意力；三是VAE解码分块。即便如此，1024×1024以上分辨率仍易OOM。

笔者认为，Flux FP16在24GB卡上的真实定位是“能跑但无余量”，它不适合作为生产推理配置，因为任何附加模块（ControlNet、IP-Adapter、LoRA热加载）都会把峰值推过线。它更适合作为精度对照的参照组，用来量化FP8带来的画质差异。

4.3 档位三：Flux FP8，24GB的甜点配置

FP8权重约11.9GB，峰值约17GB，余下约7GB可用于更高分辨率、批量2、ControlNet与LoRA。操作路径有两种：一是直接加载社区预量化的FP8 checkpoint（如fp8_e4m3fn变体），二是用optimum-quanto或torchao在加载后做在线量化。前者省事，后者可控。

# 路径A：加载预量化FP8权重
pipe = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-dev",
    torch_dtype=torch.float8_e4m3fn,
).to("cuda")

# 路径B：在线量化（示意，需按torchao版本调整）
from torchao.quantization import quantize_, float8_weight_only
quantize_(pipe.transformer, float8_weight_only())

需要强调：FP8权重在消费级Ada架构（RTX 40系）上有原生支持，矩阵乘可走FP8 Tensor Core；但在更早架构上，FP8权重会被反量化回FP16再计算，省的是显存而非算力，吞吐提升有限。这一点常被忽略，导致“换了FP8却没变快”的困惑。

4.4 可复现的验证步骤

建议按以下顺序做一次自己的对照实验，而不是照搬他人结论。第一步，固定随机种子、提示词、步数、采样器，生成FP16与FP8各一组图。第二步，用同一套指标评估：CLIP Score、ImageReward、以及像素级PSNR/SSIM（以FP16为参照）。第三步，用nvidia-smi或torch.cuda.max_memory_allocated记录峰值显存。第四步，记录单张耗时与吞吐。第五步，在1024、1280、1536三档分辨率重复，观察差异随分辨率的放大趋势。

拓展阅读方面，Hugging Face的diffusers文档与量化指南、NVIDIA Transformer Engine的FP8配方、以及PyTorch的torchao量化教程，都是较可靠的起点。视频类可参考各框架官方频道的量化实操演示。本文评述：对照实验的价值不在于得出“FP8更好”的结论，而在于让你知道在你的具体工作负载上，差异出现在哪一档分辨率、哪一类提示词上。

五、对比与局限：FP8的收益边界与失效条件

5.1 画质差异出现在哪里

根据公开的量化评测与社区对照，FP8相对FP16的画质差异通常集中在三类区域：细小文字与符号的笔画完整性、高频纹理（毛发、织物、金属反光）的细节保真、以及极端提示词下的语义一致性。在常规人像与风景提示词上，差异往往在肉眼阈值附近；在文字渲染与精细纹理上，差异可被稳定检出。这不是FP8独有的问题，而是所有低位宽格式的共同特征：尾数位减少导致小数值区分度下降。

本文评述：把“FP8画质略降”当作拒绝它的理由，是忽略了工程上的边际收益。在24GB卡上，FP8让Flux从“不可用”变为“可用且有余量”，这个收益远大于画质的微小损失。真正需要FP16精度的场景，是训练、微调、以及以文字渲染为核心的生产管线，而非通用推理。

5.2 失效条件：什么时候FP8不划算

第一，硬件不支持原生FP8矩阵乘时，FP8只省显存不省算力，若瓶颈在算力而非显存，收益有限。第二，模型本身参数量较小（如SD1.5级），FP16已能轻松装下，FP8带来的显存收益不足以抵消量化开销与潜在画质损失。第三，任务对数值精度极度敏感（如某些科学成像、医学图像生成），应保留FP16或BF16。第四，训练与全参数微调场景，FP8目前更多用于前向，反向与优化器状态仍需高精度，混合精度策略比纯FP8更稳妥。

5.3 三档配置的横向对比

六、结论与展望：舒适区是分工，不是替代

回到标题的问题：24GB卡做图像生成的舒适区到底在FP16还是FP8？答案取决于你把“舒适区”定义在哪个工作负载上。若定义在推理，FP8是甜点——它把Flux级模型从“装不下”拉到“有余量”，画质损失在多数场景可接受，且为ControlNet、高分辨率、批量留出了空间。若定义在训练与精调，FP16仍是舒适区——反向传播与优化器状态对数值精度更敏感，FP8目前更多是前向加速手段，而非全流程替代。

笔者认为，未来12–18个月的演进方向有三个可观察的信号。其一，FP8训练配方的成熟度，若反向传播的FP8支持在主流框架中稳定落地，训练侧的天平会开始移动。其二，更低比特推理方案（如FP4、MX格式）在扩散模型上的画质补偿技术，若能在文字渲染上追平FP16，推理侧会进一步下探。其三，注意力后端的持续优化，若线性注意力或状态空间方法在扩散模型上成熟，显存约束的主矛盾会从权重转向激活，届时精度格式的相对重要性会重新排序。

对从业者的操作建议可以归纳为三句话：推理默认FP8，训练默认FP16，微调按显存选NF4或FP16+分片；任何配置切换后，用固定种子与固定指标做一次对照，而不是凭感觉判断；把注意力后端与VAE分块当作与精度同等重要的显存杠杆，而不是可选项。舒适区不是一个点，而是一条随工作负载移动的带；理解这条带的形状，比记住某个数字更有价值。

主要参考文献（节选）

1. Dettmers T., Pagnoni A., Holtzman A., Zettlemoyer L. QLoRA: Efficient Finetuning of Quantized LLMs. NeurIPS 2023.
2. Micikevicius P., et al. FP8 Formats for Deep Learning. arXiv:2209.05433, 2022.
3. NVIDIA Transformer Engine 文档与 FP8 配方，2023–2024 持续更新。
4. Esser P., et al. Scaling Rectified Flow Transformers for High-Resolution Image Synthesis (SD3). ICML 2024.
5. Black Forest Labs. FLUX.1 模型卡与技术报告，2024。
6. Podell D., et al. SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis. ICLR 2024.
7. Dao T., et al. FlashAttention 系列工作，2022–2024。
8. Hugging Face diffusers 量化与显存优化指南，2024–2025。
9. PyTorch torchao 量化工具链文档，2024–2025。