Runway 入门教程：文生视频、图生视频、Gen-4.5 模型选择与提示词写法

一、可控性梯度：理解 Runway 的第一性框架

多数教程把 Runway 的功能平铺成“文生视频、图生视频、视频转视频”的清单，读者学完仍不知道何时该用哪个。本文主张换一个视角：把每个功能看作对输出像素序列施加约束的一种方式，约束越强、粒度越细，可控性越高，但创作自由度与想象空间相应收窄。这条“可控性梯度”是全文的分析主线。

1.1 从弱约束到强约束的连续谱

纯文本提示属于弱约束：模型在潜空间中自由采样，创作者只能通过语言间接引导。图像输入属于中强约束：首帧被固定，后续帧在时空上被“锚定”。而运动笔刷、相机控制、关键帧插值等属于强约束：创作者直接指定运动方向、幅度与轨迹。Runway 的产品矩阵恰好覆盖了这条谱系。

笔者认为，理解这条梯度比记住任何快捷键都重要。当生成结果不理想时，正确的诊断顺序是：先问“我的约束是否足够强”，再问“提示词是否准确”，最后才怀疑模型能力。大量新手把可控性问题误判为提示词问题，反复改词却收效甚微，根源就在于没有识别约束层级。

1.2 与扩散模型理论的对应关系

从技术底层看，Runway 的视频生成建立在扩散模型（Diffusion Models）与潜空间时序建模之上。经典 DDPM 通过逐步去噪从高斯噪声恢复数据分布（Ho 等，2020）。视频扩散在此基础上引入时间维，使去噪过程在帧间保持连贯。图像条件、运动条件本质上是对去噪轨迹施加额外引导，这与 Classifier-Free Guidance 的思想一脉相承（Ho & Salimans，2022）。

本文评述：把“图生视频”理解为“在给定首帧的流形附近做条件采样”，就能解释为何首帧质量、分辨率与主体清晰度会强烈影响成片稳定性——条件越干净，采样轨迹越不易漂移。

二、Runway 平台能力全景与账号准备

2.1 核心模块速览

Runway 的网页工作台大致可分为生成模块（Text/Image to Video）、编辑模块（Inpainting、Motion Brush、Camera Control）、以及资产管理模块。对入门者而言，最需要建立心智模型的是生成模块与编辑模块的配合关系：生成负责“从无到有”，编辑负责“从有到准”。

• Text to Video：纯文本驱动，适合快速验证创意方向。
• Image to Video：以图为首帧，适合需要角色或场景一致性的项目。
• Motion Brush：在画面局部涂抹并指定运动方向，实现精细控制。
• Camera Control：模拟推拉摇移等镜头语言。

2.2 账号、额度与素材规范

注册后建议先明确额度消耗规则：不同模型、不同时长、不同分辨率的积分消耗差异明显。素材方面，输入图建议使用短边不低于 720px、主体边缘清晰的图像；含大量文字或细密纹理的图片容易在运动中出现闪烁。视频输出常见的时长档位为 5s 与 10s，帧率通常为 24fps 或 25fps，具体以平台实时说明为准。

提示：平台功能与额度会随版本更新变化，操作前请以 Runway 官方帮助中心为准。可参考官方文档 help.runwayml.com 与官方学习页 runwayml.com/research 获取最新信息。

三、文生视频：从提示词到首帧的完整链路

3.1 操作步骤

1. 进入生成面板，选择 Text to Video。
2. 在提示词框输入结构化描述（见第六章）。
3. 选择模型版本、时长与分辨率。
4. 点击生成，观察首轮结果。
5. 根据结果决定是改词、换模型，还是转用图生视频。

3.2 为什么文生视频最容易“翻车”

弱约束意味着模型有极大的采样自由度。当提示词包含多个主体、复杂交互或精确空间关系时，模型往往只能满足其中一部分。学术上，这类问题与组合泛化（compositional generalization）难题相关：模型对“红色立方体在蓝色球体左侧”这类关系型描述的理解仍不稳定。

本文评述：文生视频的正确用法不是“一次到位”，而是“快速试错”。把它当作分镜草稿机，用它探索构图与氛围，再用手绘或图像工具固化关键帧，最后交给图生视频精修，这条路径的成功率远高于反复堆砌形容词。

四、图生视频：以图像锚定时空一致性

4.1 首帧选择的四条准则

• 主体清晰：边缘锐利、无严重遮挡。
• 构图留白：为运动方向预留空间，避免主体贴边。
• 光照一致：避免强烈逆光或过曝，减少闪烁。
• 分辨率适中：过高分辨率不一定更好，需与输出规格匹配。

4.2 提示词的“增量描述”原则

图生视频的提示词不应重复描述画面中已存在的内容，而应聚焦“变化”：主体做什么、镜头怎么动、环境如何演变。例如首帧是一位站在窗边的女性，提示词可写“她缓缓转头看向镜头，窗帘被风吹动，镜头缓慢推近”，而非重复“一位女性站在窗边”。

笔者认为，这一原则直接源于可控性梯度：图像已经承担了外观与构图的约束，文本只需补充时间维度的约束，两者分工明确，冲突自然减少。

五、Gen-4.5 模型定位与选型决策树

5.1 Gen 系列的演进逻辑

Runway 的 Gen 系列从早期版本逐步强化了时序一致性、运动真实感与提示词遵循度。Gen-4.5 作为较新版本，通常在角色一致性、物理运动合理性与细节稳定性上有明显提升。需要说明的是，具体版本能力以官方发布说明为准，本文不臆测未公开的技术细节。

5.2 选型决策树

是否需要固定主体外观？
 ├─ 是 → 是否有可用首帧图？
 │        ├─ 是 → 图生视频 + Gen-4.5
 │        └─ 否 → 先生成关键帧图，再图生视频
 └─ 否 → 是否需要精确运镜？
          ├─ 是 → 文生视频 + 相机控制
          └─ 否 → 文生视频（快速试错）

六、提示词工程：结构化写法与反模式

6.1 五段式提示词模板

结合可控性梯度，本文推荐一个可复用的五段式结构：主体 + 动作 + 环境 + 镜头 + 风格。每一段都对应一类约束，缺哪段就补哪段，诊断时一目了然。

6.2 常见反模式

• 堆砌形容词：“极致震撼、超高清、大师级”对模型几乎无信息量。
• 多主体复杂交互：弱约束下极易崩坏，建议拆分为多个镜头。
• 矛盾描述：“静止镜头”与“快速移动”同时出现会让模型无所适从。
• 忽略否定词局限：多数模型对“不要出现某某”的遵循度有限。

本文评述：提示词工程的核心不是“写得更长”，而是“约束得更准”。每增加一个词，都应能回答“它在约束哪个维度”。无法回答的词，删掉往往效果更好。

七、参数调优、镜头控制与运动笔刷

7.1 运动笔刷的正确用法

1. 上传首帧图，进入 Motion Brush。
2. 用画笔涂抹需要运动的区域，避免全图涂抹。
3. 为不同区域指定方向与幅度，方向宜与物理常识一致。
4. 配合相机控制，先定镜头再定局部运动。

7.2 相机控制的镜头语言映射

7.3 时长与分辨率的权衡

时长越长，时序漂移风险越高；分辨率越高，细节越丰富但生成成本与失败率也上升。工程上的稳妥做法是：先用短时长低分辨率验证运动逻辑，确认后再升规格重跑。这与软件开发中“先跑通再优化”的思路一致。

八、评估、迭代与工作流模板

8.1 四个评估维度

• 提示词遵循度：画面是否回应了核心描述。
• 时序一致性：主体外观在帧间是否稳定。
• 运动合理性：是否符合物理直觉。
• 美学质量：构图、光照、色彩是否达标。

学术界的视频生成评估常借助 FVD（Fréchet Video Distance）等指标（Unterthiner 等，2018），但工程实践中人眼判断仍是最终标准。本文评述：自动指标适合做批量筛选，创意决策仍需人来把关，两者不可互相替代。

8.2 可复用的工作流模板

1. 脚本拆解 → 输出分镜表（镜号/时长/内容）
2. 关键帧生成 → 文生图或手绘，确定首帧
3. 图生视频 → Gen-4.5，短时长试跑
4. 运动修正 → 运动笔刷 + 相机控制
5. 升规格重跑 → 确认后提高分辨率与时长
6. 后期合成 → 剪辑、调色、音效
7. 归档复盘 → 记录有效提示词与参数

九、前沿预判与学习路径

9.1 三个值得关注的方向

第一，长视频一致性。当前模型在 10 秒以上仍易漂移，未来可能通过更强的记忆机制与关键帧约束缓解。第二，物理可控性。让模型理解重力、碰撞、流体等规律，是走向影视级应用的关键。第三，交互式生成。实时预览与局部重绘将改变创作流程，使“边看边改”成为常态。

本文评述：这三条方向本质上都在提升可控性梯度的上限——让创作者能在更长时序、更细粒度、更实时的层面施加约束。谁能把约束做得既强又不牺牲自然度，谁就更接近生产力工具。

9.2 学习路径建议

1. 第一周：熟悉文生视频，每天 5 条提示词，记录有效结构。
2. 第二周：转向图生视频，练习首帧选择与增量描述。
3. 第三周：掌握运动笔刷与相机控制，做 3 个完整短片。
4. 第四周：建立个人提示词库与参数档案，形成可复用模板。

拓展资源：官方学习中心 runwayml.com/research；学术检索可用 arXiv 的 cs.CV 分类；视频生成综述可关注 paperswithcode.com/task/text-to-video-generation。

十、参考文献与声明