AI研究

LTX-2.3在RTX 5090上97帧带音频40秒(768×512)、1280×704约50秒,而Wan 2.2 14B MoE 832×480/81帧要93.8秒——当“带音频的LTX”和“不带音频的Wan”在速度上已经接近时,选型到底该按“谁更快”还是按“谁出了片之后需要更少的后期修补”?

👤 为我痴狂 👁 2 阅读 ❤ 0 点赞 ➦ 0 分享 📅 2026-11-09
首页› AI› AI研究› 正文
VIDEO MODEL SELECTION / 工程选型
LTX-2.3在RTX 5090上97帧带音频40秒(768×512)、1280×704约50秒,而Wan 2.2 14B MoE 832×480/81帧要93.8秒——当“带音频的LTX”和“不带音频的Wan”在速度上已经接近时,选型到底该按“谁更快”还是按“谁出了片之后需要更少的后期修补”?
核心命题:把“生成耗时”换成“单条可用片总成本”,选型结论会反转吗?

摘要

LTX-2.3 与 Wan 2.2 14B MoE 的公开实测数据把一个问题推到台前:当带音频的模型与不带音频的模型在单次生成耗时上已经进入同一量级(数十秒级),用“谁更快”做选型判据就失去了区分度。本文提出以“单条可用片总成本”(Total Cost per Usable Clip,TCUC)替代裸推理耗时,把返工率、音画对齐返工、口型修补、分辨率重采样与人工审片时间折算进同一口径。全文沿“问题定义—架构机理—成本建模—实测拆解—边界条件—操作路径”一条主线展开,给出可复算的公式、参数区间与三步选型流程,并讨论 MoE 稀疏激活、音视频联合注意力、VAE 压缩率对返工率的传导机制。

本文评述:速度指标是必要但不充分条件;在 2025—2026 年的模型格局下,决定生产成本的边际变量已经从“秒/帧”转移到“每百条里有多少条需要回到剪辑台”。

一、问题定义:为什么“更快”不再是有效判据

先把两组数字摆在同一张桌面上。按公开的社区实测口径,LTX-2.3 在 RTX 5090 上生成 97 帧、768×512 分辨率并带音轨的片段约需 40 秒;同卡生成 1280×704 约 50 秒。Wan 2.2 14B MoE 在 832×480、81 帧的设定下约需 93.8 秒,且该链路不含音频。两组数据来自不同的测试脚本、不同的采样步数与不同的量化配置,因此不能做严格的一对一比较——这一点必须先讲清楚,否则后文的成本模型就建立在流沙上。

但即便打上折扣,一个结构性事实仍然成立:带音频的模型与不带音频的模型,其单次生成耗时已经进入同一数量级。在 2024 年,音视频联合生成通常意味着数倍的算力开销;到 2025 年底,随着 LTX-2 系列在 DiT 主干上引入更激进的压缩与流式解码策略,这个差距被压缩到 1.5—2.5 倍区间。本文评述:一旦速度差缩小到“一杯咖啡”的量级,把它当作首要选型依据就是典型的指标错配——就像用 CPU 主频选服务器。

1.1 生产链路的真实瓶颈在“出片之后”

短视频与广告素材的生产流程可以抽象为:提示词撰写 → 批量生成 → 初筛 → 音画对齐/口型修补 → 分辨率重采样 → 调色与混音 → 终审。生成环节只占整条链路的一段时间,而返工环节的耗时具有超线性特征:一条需要重新生成三次的片段,其边际成本不是三倍生成时间,而是三倍生成时间加上三次人工审片与两次上下文切换。

行业内的普遍经验是,纯视觉扩散模型在 5—10 秒片段上的“一次通过率”(即无需任何后期修补即可进入终审的比例)与提示词质量、运动幅度、人物朝向高度相关。带音频的联合模型则多出一个维度:音画同步。同步失败的表现包括口型错位、音效与画面事件错拍、背景音乐情绪与镜头节奏冲突。这些问题的修补往往需要回到剪辑软件逐帧对齐,单条耗时可达数分钟到数十分钟。

关键区分:生成失败 vs 修补失败

生成失败指画面崩坏、主体畸变、运动断裂,只能重生成;修补失败指画面可用但音画不同步、口型不匹配、分辨率不足,可通过后期修复。前者消耗 GPU 时间,后者消耗人力时间。两类成本的性质不同,必须分开计量,否则会系统性低估联合模型的真实优势。

1.2 判据替换的必要条件

把判据从“谁更快”换成“谁更少返工”,需要满足三个前提:其一,两类模型的单次耗时差小于返工耗时的量级;其二,返工率存在可测量的差异;其三,返工成本可以被折算为统一货币单位(GPU 秒或人力分钟)。第一个前提已由开篇数据支撑,第二个前提需要实测,第三个前提需要建模。本文后续章节依次处理这三件事。

需要提醒的是,返工率不是模型的固有属性,而是模型—提示词—任务类型三元组的联合分布。同一个模型在“静态产品展示”任务上的返工率可能低于 10%,在“多人对话口型”任务上可能高于 60%。因此任何脱离任务分布的返工率数字都不可直接引用。笔者认为,这也是当前社区评测最薄弱的环节:大家热衷于报秒数,却很少报“在什么任务上、多少条里坏几条”。

二、架构机理:音视频联合生成 vs 纯视觉扩散

要理解返工率差异的来源,必须回到架构。LTX-2 系列的核心设计是把视频 latent 与音频 latent 放进同一个扩散时间步序列,通过跨模态注意力让音频 token 与视频 token 在去噪过程中相互条件化。Wan 2.2 14B MoE 则是纯视觉路线,采用混合专家(Mixture of Experts,MoE)结构扩大参数容量,在推理时按 token 路由激活部分专家,从而在参数量与算力之间取得折中。

2.1 联合注意力的代价与收益

音视频联合注意力的计算复杂度随序列长度呈平方增长。设视频 token 数为 N_v,音频 token 数为 N_a,跨模态注意力的开销约为 O(N_v·N_a)。在 768×512、97 帧的设定下,若采用 8×8 patch 与时间压缩 4 倍,视频 token 量级在数万;音频若以 25 Hz 帧率、每帧若干 token 计,量级在数千。跨模态项因此不可忽略,这正是联合模型早期版本慢的原因。

LTX-2.3 的工程取舍在于:对音频分支采用更低的 token 率与更浅的注意力头配置,把跨模态项压到可接受范围;同时在 VAE 侧提高时间压缩率,减少视频 token 总量。本文评述:这不是“免费”的音频能力,而是用视频侧的空间分辨率与时间一致性预算换来的。开篇数据中 768×512 与 1280×704 的耗时差(40 秒 vs 50 秒)说明分辨率仍是主要成本项,音频的边际开销被控制得相当低。

2.2 MoE 稀疏激活的工程含义

Wan 2.2 的 14B MoE 在推理时并非全部参数参与计算。按公开的模型卡描述,路由网络为每个 token 选择 top-k 专家,实际激活参数量显著低于总参数量。这带来两个后果:显存占用仍按总参数计(或按分片加载策略计),但单 token 的浮点运算量下降;同时,路由的不均衡会导致不同片段的推理时间波动。

笔者认为,MoE 对选型的真正影响不在速度,而在可预测性。批量生成时,路由抖动会让单条耗时分布出现长尾,调度系统若按平均值分配资源,就会在长尾样本上排队。相比之下,稠密模型(如 LTX-2.3 的主干若为稠密 DiT)的耗时更稳定,便于做流水线排产。这一点在日均数百条的生产环境里,比平均速度快 10 秒更重要。

机制小结
  • 联合模型:多模态注意力 → 音画天然对齐 → 同步类返工少,但视频侧分辨率/时长预算被分摊。
  • 纯视觉 MoE:视觉容量大、画面细节强 → 但音频需外挂 TTS/音效链路 → 同步类返工转移到后期。
  • 两者速度接近时,差异主要体现在返工类型而非返工总量,需按任务类型加权。

2.3 外挂音频链路的隐性成本

纯视觉模型的典型工作流是:生成无声视频 → 用 TTS 生成配音 → 用音效库或音频生成模型补环境声 → 在剪辑软件中对齐。这条链路每一步都引入误差。TTS 的语速与视频中人物的口型节奏天然不同步,需要做时间拉伸或重新生成;环境声与画面事件的对应关系需要人工判断。若使用视频转音频(V2A)模型自动补声,则又引入一个模型的失败模式。

本文评述:外挂链路的成本常被低估,因为它分散在多个工具、多个岗位,不体现在任何一张 GPU 账单上。但它真实存在,且在“人物说话”类任务中占比极高。反过来,联合模型也不是没有后期——它仍可能需要调色、混音、字幕,只是把“对齐”这一步内化了。

三、成本建模:从裸耗时到 TCUC

本节给出可复算的成本模型。定义单条可用片总成本 TCUC(Total Cost per Usable Clip)为:生成成本、返工成本、审片成本三者之和,除以一次通过率。公式如下:

TCUC = (C_gen + C_rework + C_review) / P_pass

其中:
C_gen    = 单次生成 GPU 成本(秒 × 单价)
C_rework = Σ(返工类型概率 × 单次返工成本)
C_review = 人工审片时间 × 人力单价
P_pass   = 一次通过率(无需任何修补)

这个式子的关键在分母。当 P_pass 从 0.6 降到 0.4 时,TCUC 上升 50%,相当于生成速度慢了一半。换言之,通过率对总成本的影响是乘法级的,速度是加法级的。这就是本文主张判据替换的数学依据。

3.1 参数取值与来源说明

下表给出建模所需参数的参考区间。需要强调:GPU 单价与人力单价因地区、云厂商、团队规模差异极大,表中数值仅用于演示计算结构,实际使用时必须替换为本地数据。返工概率区间来自社区讨论与公开评测的归纳,属于整合估计,不是某一次受控实验的结果,引用时请注明为估计值。

参数 含义 参考区间 性质
t_gen单次生成耗时(秒)40—95实测
p_sync音画不同步概率0.05—0.35估计
p_lip口型不匹配概率0.10—0.55估计
p_motion运动崩坏概率0.10—0.40估计
t_fix单次修补人工分钟3—25估计
c_h人力单价(元/分钟)1—5本地替换

本文评述:把人力折算成货币会引发争议,但工程决策必须有一个统一口径。若不愿折算,可改用“人·分钟”作为第二货币,与 GPU 秒并列报告,结论方向不变。

3.2 一个可复算的算例

设定场景:10 秒人物口播片段,日均 100 条。GPU 成本按 0.8 元/分钟计(云卡折中价),人力按 2 元/分钟计。LTX-2.3 侧:t_gen=45 秒,p_sync=0.10,p_lip=0.20,p_motion=0.20,t_fix=8 分钟,P_pass=0.55。Wan 2.2 侧:t_gen=94 秒,p_sync=0.30,p_lip=0.45,p_motion=0.25,t_fix=10 分钟,P_pass=0.35。

项目 LTX-2.3 Wan 2.2 MoE 说明
C_gen(元)0.601.25t_gen×单价
C_rework(元)8.0020.00Σ概率×t_fix×c_h
C_review(元)2.002.00审片 1 分钟
P_pass0.550.35一次通过率
TCUC(元/条)19.366.4模拟算例

结果方向很明确:即便 Wan 2.2 的画面细节更强、单条生成更“值”,在口播任务上其 TCUC 仍显著高于 LTX-2.3。差距的主要来源不是 C_gen(0.65 元),而是 C_rework 与分母 P_pass 的联合作用。本文评述:这个算例是模拟数据,参数可被质疑,但结构是稳健的——只要同步类返工概率存在数量级差异,结论方向就不会因参数微调而反转。

3.3 敏感性分析

对上述模型做单因素敏感性扫描,可以看到三个阈值:当 p_lip 的差值缩小到 0.10 以内时,两模型 TCUC 接近;当人力单价降到 0.5 元/分钟时,GPU 成本权重上升,Wan 2.2 的劣势收窄;当 P_pass 双双高于 0.8 时,分母效应减弱,速度重新成为主导。这三个阈值构成了后文“边界条件”章节的量化基础。

速度是加法项,通过率是乘法项。工程上先优化乘法项,再优化加法项——这是本文的核心主张。

四、实测数据拆解与交叉验证

开篇的两组数据需要放到更完整的坐标系里看。LTX-2.3 的 40 秒(768×512/97 帧)与 50 秒(1280×704)说明其耗时对分辨率敏感、对帧数相对不敏感,这与时间维压缩率较高的设计一致。Wan 2.2 的 93.8 秒(832×480/81 帧)在分辨率低于 1280×704 的情况下耗时接近两倍,说明其 MoE 路由与注意力实现在该配置下并未体现出稀疏激活的算力优势,或测试脚本使用了较高的采样步数。

本文评述:跨来源数据对比必须声明配置差异。采样步数从 20 步提到 30 步,耗时增加约 50%;量化从 FP8 降到 FP16,显存与耗时同时上升。任何“A 比 B 快”的结论,若不附步数、量化、调度器、批大小,都只能作为方向性参考。笔者认为,社区应推动一个最小报告规范:分辨率、帧数、步数、量化、GPU 型号、驱动版本,六项缺一不可。

4.1 分辨率与帧数的成本弹性

扩散模型的推理成本近似正比于 token 数,而 token 数正比于(宽×高)/patch²×(帧数/时间压缩)。因此分辨率翻倍(面积四倍)的成本远高于帧数翻倍。开篇数据中 1280×704 相对 768×512 面积约 2.3 倍,耗时仅从 40 秒升到 50 秒,说明该链路存在固定的调度与解码开销,摊薄了计算项。这个特征对生产有利:提高分辨率的边际成本低于线性预期,意味着“一次生成高分辨率、避免后期超分”在 LTX-2.3 上可能是更优策略。

反过来,Wan 2.2 在 832×480 上耗时 93.8 秒,若提升到 1280×704,按面积比推算可能进入 200 秒以上。此时“生成低分辨率再超分”的策略更划算,但超分会引入细节失真与时间闪烁,又转化为返工。这是一个典型的成本转移而非成本消除。

4.2 音频质量的评估维度

联合模型的音频不能只看“有没有”。可评估维度至少包括:语音可懂度、音色一致性、环境声空间感、音画事件对齐度、音乐节拍与剪辑点匹配度。公开评测中常见的问题是只报“带音频”,不报音频质量分布。本文评述:一个带音频但语音含混、环境声缺失的模型,其音频能力在生产上接近于零,因为后期仍要重做声音。

实操上建议用 20—30 条固定提示词做小样本盲测,由剪辑师按五级量表打分,记录“可直接使用”“小修可用”“必须重做”三档比例。这个测试成本约半天,但能把选型从猜测变成数据。

拓展资源(新窗口打开)

五、边界条件:什么时候速度仍然说了算

主张判据替换,不等于否定速度。以下三类场景中,裸耗时仍是主导变量,返工率差异被其他因素淹没。

5.1 无声素材与 B-roll

产品特写、风景空镜、抽象背景等 B-roll 素材不需要口型与对白,音频由后期统一铺音乐与音效。此时联合模型的音频能力是冗余的,纯视觉模型的画面优势与 MoE 的细节容量反而更有价值。返工主要集中在运动崩坏与主体一致性,两类模型差异不大,速度重新成为主要成本项。

5.2 高吞吐探索式生成

在创意探索阶段,团队需要一天内看几百条候选,此时单条成本低、吞吐高比“每条都能用”更重要。因为绝大多数候选本来就会被丢弃,返工成本不发生。本文评述:探索阶段与交付阶段应使用不同模型,这是流水线设计的基本常识,但常被“统一技术栈”的执念抹平。

5.3 本地部署与显存约束

14B MoE 的显存占用与分片策略对消费级显卡不友好,若团队只有单卡 24GB,实际可跑的配置会被压缩到低分辨率或高量化,速度优势可能消失。LTX-2.3 在 RTX 5090 上的实测说明其对单卡环境做了优化。笔者认为,部署可行性本身就是一个硬边界,讨论速度前应先确认“能不能跑起来、跑起来是什么精度”。

场景 主导成本 推荐倾向
人物口播/对白同步返工联合模型
B-roll/空镜生成耗时纯视觉模型
创意探索吞吐快速小模型
高分辨率交付超分返工按弹性测算

六、操作路径:三步选型法与工程落地清单

把前面的分析收敛为可执行流程。三步法的时间投入约 3—5 个工作日,产出一份带数据的选型报告。

6.1 第一步:任务切片与权重分配

把团队未来一个季度的需求按任务类型切片,估计每类的条数占比。典型切片:口播对白、产品展示、空镜氛围、多人互动、文字/Logo 呈现。为每类分配权重 w_i,Σw_i=1。这一步决定了后续测试的采样比例,避免用单一任务的结果代表全部。

6.2 第二步:小样本盲测与返工标注

每个模型、每类任务生成 20 条,固定随机种子与提示词模板。由两名剪辑师独立标注:一次通过、小修、重做,并记录修补分钟数。计算加权 P_pass 与加权 C_rework。注意控制变量:同一分辨率档、同一步数、同一量化。若资源允许,做一次双盲(标注者不知道模型来源)。

# 伪代码:加权 TCUC 计算
for model in [ltx, wan]:
    for task in tasks:
        p_pass[task] = pass_count / 20
        c_fix[task]  = mean(fix_minutes)
    P_pass = sum(w[t] * p_pass[t] for t in tasks)
    C_fix  = sum(w[t] * c_fix[t]  for t in tasks)
    TCUC[model] = (c_gen + C_fix * c_h + c_review) / P_pass

6.3 第三步:敏感性复核与灰度上线

对人力单价、GPU 单价、P_pass 做 ±30% 的扰动,看结论是否翻转。若不翻转,进入灰度:选一条真实业务线,两模型各跑两周,记录实际返工工单。若翻转,说明参数不确定性主导,应优先补齐数据而非拍板。

落地清单
  • 固定六项报告参数:分辨率、帧数、步数、量化、GPU、驱动。
  • 建立返工工单表,字段含任务类型、失败类型、修补分钟。
  • 每季度重跑一次小样本盲测,模型迭代会改变通过率。
  • 探索与交付分池调度,避免用交付标准拖慢探索。
  • 保留一条纯视觉后备链路,应对联合模型的音频失败模式。

七、结论与展望

回到开篇的问题:当带音频的 LTX-2.3 与不带音频的 Wan 2.2 在速度上已经接近,选型应按“谁更快”还是“谁更少返工”?本文的答案是:按 TCUC,而 TCUC 的分母是一次通过率。速度仍是变量,但已从主导变量降为修正变量。在人物口播类任务上,联合模型的同步内化带来通过率优势,足以抵消甚至反超其分辨率预算的让步;在 B-roll 与探索类任务上,速度与画面容量重新占优。

展望未来 12 个月,三个趋势会改变参数取值:其一,联合模型的音频质量继续提升,p_sync 与 p_lip 下降,联合路线的适用面扩大;其二,MoE 推理框架成熟,路由抖动与显存瓶颈缓解,纯视觉路线的速度优势可能重新拉开;其三,评测规范若被社区采纳,返工率数据将可比,选型从经验走向统计。笔者认为,真正的分水岭不在模型本身,而在团队是否建立了可复算的返工计量体系——没有这套体系,任何选型都只是换一种方式拍脑袋。

文章声明

本文内容仅为作者学习、思考、经验、笔记的总结,仅供技术交流与参考。文中观点仅代表笔者个人思辨,不构成任何学术建议、商业建议或专业建议。所有数据来源已标注,引用时请以原始文献为准。文中算例为模拟数据,参数区间为整合估计,实际决策请以本地实测为准。

主要参考文献

  1. Lightricks Team. LTX-Video: Realtime Video Latent Diffusion. arXiv:2501.00103, 2025.
  2. Wan Team. Wan2.2: Open Video Generation Models with Mixture-of-Experts. 技术报告, 2025.
  3. Esser P, et al. Scaling Rectified Flow Transformers for High-Resolution Image Synthesis. ICML, 2024.
  4. Peebles W, Xie S. Scalable Diffusion Models with Transformers. ICCV, 2023.
  5. Blattmann A, et al. Stable Video Diffusion: Scaling Latent Video Diffusion Models. arXiv:2311.15127, 2023.
  6. Ho J, Salimans T. Classifier-Free Diffusion Guidance. NeurIPS Workshop, 2021.
  7. Polyak A, et al. Speech Resynthesis from Discrete Disentangled Self-Supervised Representations. Interspeech, 2021.
  8. Rombach R, et al. High-Resolution Image Synthesis with Latent Diffusion Models. CVPR, 2022.
  9. Shazeer N, et al. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR, 2017.
内容仅供学习参考。如需引用,请以原始文献为准。  全文约 6800 字 | 参考文献 60 篇(主要列出 9 篇)。
🔒 复制本站文章内容需登录并达到 L3。当前:未登录

分享到

💬
微信
📷
朋友圈
🐧
QQ好友
🌐
QQ空间
👁
微博
📌
钉钉
🔗
复制链接
📑
复制图文

微信扫一扫分享

打开微信「扫一扫」,扫描二维码后在微信中分享给好友或朋友圈。

💬 评论 (0)

评论功能已关闭

⏸️ 本站暂未开放评论功能,不能进行评论,此为规划的后续开发预留
首页| 关于本网| 网站声明| 联系我们| 网站纠错| 服务| 网站地图
黔ICP备19010680号-1  |  邮箱:six528528@163.com
贵公网安备 52010302001819号
Copyright 2019-2026 http://www.databrush.com/ All rights reserved.
QQ
QQ扫一扫
Logo
DBN数据刷