横屏视频转竖屏不裁内容：模糊背景、上下补图、关键帧运镜四种方法

一、问题定义：为什么"不裁内容"是一个画布重构问题

横屏视频的宽高比通常为16:9（1.778）或4:3（1.333），而竖屏平台的主流比例为9:16（0.5625）。当把1920×1080的横屏素材直接放入1080×1920的竖屏画布时，如果采用"等比缩放+裁剪"，画面宽度会被压缩到约608像素，横向信息损失比例约为68.4%（计算：1 − 1080/1920 ≈ 0.4375 保留比例，损失约56.25%；若按面积口径则为1 − (1080×608)/(1920×1080) ≈ 68.4%）。这一数字意味着，一个原本包含三到四个主体的宽幅画面，裁剪后往往只剩中间一个主体。

从信息论角度看，裁剪是一种"有损压缩"：它直接丢弃了画面边缘的像素信息，且丢弃位置固定、不可恢复。而"不裁内容"的本质，是把横屏画面作为一个整体元素，重新嵌入到竖屏画布中，再对剩余区域进行填充或延展。这实际上是一个画布重构（canvas recomposition）问题，而非简单的缩放问题。

本文评述：业界常把"横转竖"简化为"加个模糊背景"，这掩盖了问题的真正难点——如何在保留全部原始信息的同时，让观众的注意力仍然落在主体上。裁剪之所以流行，恰恰因为它"免费"地完成了注意力引导；不裁方案必须用其他手段补回这一功能。这正是本文提出双维主线的现实动因。

需要明确的是，"不裁内容"并不等于"不损失任何信息"。任何画布重构都会引入新的视觉元素（模糊层、补图、黑边等），这些元素本身构成对原始信息的"干扰"。因此，评价标准不应是"零损失"，而应是主体信息保真度与观众注意力效率之间的平衡。这一判断贯穿全文。

1.1 平台侧的硬约束

主流竖屏平台对画布比例有明确要求。TikTok、抖音、快手、Instagram Reels、YouTube Shorts均以9:16为原生比例。据Meta 2023年发布的Reels创作指南，非9:16素材会被自动加黑边或以模糊背景填充，且可能影响推荐权重。YouTube官方帮助文档（2024年更新）也指出，Shorts的竖屏原生内容在信息流中占据更大展示面积。这些平台规则构成了工程约束的"硬边界"。

1.2 四类方法的初步定位

方法	信息保真度	视觉引导力	实现成本
模糊背景	高（100%保留）	中低	极低
上下补图	高	中	低—中
关键帧运镜	高（分时呈现）	高	中
AI生成延展	中—高（有幻觉风险）	高	高

表1：四类方法在双维框架下的初步定位（本文整理，定性评估）

二、分析主线：信息保真度与视觉引导力的双维框架

为了让全文的讨论不散漫，笔者确立一条贯穿始终的分析主线：任何横转竖方案，都可以在信息保真度（Information Fidelity, IF）与视觉引导力（Visual Guidance, VG）两个维度上定位。IF衡量原始画面信息被保留的程度，VG衡量观众注意力被有效导向主体的程度。理想方案是双高，但现实中两者常存在权衡。

2.1 信息保真度的量化

IF可以从像素层面定义。设原始横屏画面为I_orig，重构后竖屏画面中对应区域为I_rec，则像素级保真度可写为：

IF_pixel = 1 - (1/N) * Σ |I_orig(x,y) - I_rec(x,y)| / 255

其中 N 为原始画面像素总数，(x,y) 遍历原始画面坐标。
若重构中原始画面被等比缩放，则需先对齐尺度再计算。

但像素级IF会低估"感知保真度"。人眼对高频细节的敏感度低于低频结构，因此更合理的做法是引入结构相似性（SSIM）或感知相似性（LPIPS）。Wang等人2004年提出的SSIM至今仍是图像质量评估的基石，而Zhang等人2018年提出的LPIPS则更贴近人眼感知。本文评述：在横转竖场景中，由于原始画面通常被整体保留（只是缩放），SSIM往往接近1，真正拉开差距的是"新增填充区域是否干扰主体"——这属于VG范畴。

2.2 视觉引导力的量化

VG可以用显著性检测（saliency detection）来近似。给定重构后的竖屏画面，计算显著性图S，再计算原始主体区域R上的显著性占比：

VG = Σ_{(x,y)∈R} S(x,y) / Σ_{all} S(x,y)

VG 越接近 1，说明注意力越集中在主体上。
显著性图可用 Itti 等 1998 年的经典模型，
或近年基于深度学习的 SalGAN、BASNet 等生成。

这一量化方式的好处是：它把"模糊背景会不会抢戏""补图会不会喧宾夺主"这类主观问题，转化为可计算的指标。笔者认为，虽然显著性模型本身有误差，但作为相对比较工具，它足以支撑工程决策。

2.3 双维框架的决策含义

把四类方法放入IF-VG平面，可以清晰看到它们的定位：模糊背景是"高IF、中低VG"；上下补图是"高IF、中VG"；关键帧运镜是"高IF、高VG"但需要时间维度配合；AI生成延展是"中高IF、高VG"但存在幻觉风险。后文每一章都会回到这个坐标系。

三、方法一：模糊背景——最低成本的画布填充

模糊背景（blurred background）是当前最普及的横转竖方案。其流程是：把原始横屏画面等比放大到铺满竖屏画布，做高斯模糊作为底层；再把原始画面等比缩放后居中叠加在顶层。这样既保留了全部原始信息，又用模糊层填满了上下空白。

3.1 数学建模

设原始画面宽W、高H，目标画布宽W'、高H'，且W'/H' < W/H（即目标更"竖"）。底层模糊图的缩放系数为：

s_bg = max(W'/W, H'/H)   // 铺满画布所需的放大倍数
顶层原始图的缩放系数为：
s_fg = min(W'/W, H'/H)   // 完整放入画布所需的缩小倍数

以 1920×1080 → 1080×1920 为例：
s_bg = max(1080/1920, 1920/1080) = max(0.5625, 1.778) = 1.778
s_fg = min(0.5625, 1.778) = 0.5625

即底层放大 1.778 倍，顶层缩小到 0.5625 倍。

模糊半径的选择需要权衡：太小则底层细节仍可见，容易与顶层抢注意力；太大则底层变成纯色块，失去"氛围延续"的作用。经验值通常取画布短边的2%—5%。对1080×1920画布，短边1080，模糊半径约22—54像素（σ值，非核大小）。

3.2 FFmpeg 实现

FFmpeg是批量处理的首选工具。以下命令实现"模糊背景+居中前景"：

ffmpeg -i input.mp4 -filter_complex "
[0:v]scale=1080:1920:force_original_aspect_ratio=increase,
     crop=1080:1920,
     gblur=sigma=30[bg];
[0:v]scale=1080:-1[fg];
[bg][fg]overlay=(W-w)/2:(H-h)/2
" -c:a copy output.mp4

这段命令的关键点：force_original_aspect_ratio=increase保证底层铺满，crop裁掉溢出部分，gblur做高斯模糊，overlay居中叠加。音频直接复制，避免重编码损失。

如果希望模糊层更暗一些以突出前景，可以在gblur后加eq=brightness=-0.1。如果希望模糊层有轻微缩放动画（避免死板），可以引入zoompan，但这会增加编码复杂度。

3.3 构图美学：为什么"居中"不一定最好

居中叠加是最简单的做法，但未必最优。根据三分法（rule of thirds），把主体放在画面上三分之一或下三分之一处，往往更符合人眼扫视习惯。对于人物访谈类素材，把人物眼睛放在上三分之一线附近，通常比几何居中更自然。

实现上，只需调整overlay的y坐标。例如把前景放在画面上方1/3处：

[bg][fg]overlay=(W-w)/2:(H-h)/3

本文评述：模糊背景方案的最大优点是"零信息损失"，但它的VG短板也很明显——模糊层虽然不抢焦点，却也无法提供任何叙事信息，观众会感觉上下两条"带子"是浪费的空间。这为方法二、方法三留下了改进空间。

3.4 进阶：动态模糊与色彩呼应

静态模糊容易显得呆板。一种改进是让模糊层随时间缓慢变化——例如对底层做极慢的缩放（Ken Burns效果的弱化版），制造微妙的呼吸感。另一种改进是色彩呼应：用原始画面的主色调生成渐变背景，而非直接模糊。这需要先做颜色量化（如k-means取主色），再生成线性渐变。Adobe Premiere Pro的"自动重构"功能与剪映的"智能背景"都在朝这个方向演进。

四、方法二：上下补图——从纯色到智能延展

上下补图（padding with graphics）指在原始画面上下方填充有信息量的内容，而非模糊或纯色。填充内容可以是品牌色块、字幕区、装饰图形、相关图片，甚至AI生成的延展画面。这一方法的核心价值在于：把"浪费的空间"转化为"承载信息的空间"，从而提升VG。

4.1 纯色与渐变填充

最基础的补图是纯色。选择与画面主色调协调的颜色，可以形成"画框"效果。FFmpeg实现：

ffmpeg -i input.mp4 -filter_complex "
color=c=0x1a1a2e:s=1080x1920[bg];
[0:v]scale=1080:-1[fg];
[bg][fg]overlay=(W-w)/2:(H-h)/2
" -c:a copy output.mp4

渐变填充需要借助gradients滤镜或先生成渐变图片再叠加。纯色/渐变的好处是干净、可控，适合品牌调性统一的账号；缺点是信息密度低，长视频中容易显得单调。

4.2 信息型补图：字幕、标题、进度条

把字幕、章节标题、进度条放在补图区，是提升VG的有效手段。观众在观看主体画面的同时，余光可以扫到上方标题和下方字幕，形成"主画面+信息条"的复合阅读体验。这在知识类、教程类视频中尤其有效。

工程上，这通常分两步：先用上述命令生成带补图区的视频，再用字幕工具（如FFmpeg的subtitles滤镜、ASS字幕）叠加文字。也可以直接在非线性编辑工具中完成，如Premiere Pro的"基本图形"面板、DaVinci Resolve的Fusion页面。

4.3 智能延展：内容感知填充

内容感知填充（content-aware fill）试图"猜"出画面边缘之外的内容，并生成自然的延展。经典方法包括PatchMatch（Barnes等，2009）和基于深度学习的图像外推（outpainting）。在视频领域，由于需要帧间一致性，难度更高。

Adobe的"内容感知填充"和Photoshop的"生成式扩展"已在图像领域成熟，视频领域的代表是Runway的Gen-2、Pika等。但笔者认为，当前AI延展在横转竖场景中仍属"高风险高回报"：回报是画面浑然一体，风险是生成内容可能与原始场景矛盾（如把室内延展成室外），造成观众认知失调。

4.4 补图区的安全区设计

竖屏平台通常在顶部和底部有UI遮挡（如TikTok的账号信息、评论区入口）。据TikTok官方创作指南，建议把关键文字放在画面中央的"安全区"内，避开上下各约15%的区域。这意味着补图区如果放字幕，需要放在安全区边缘而非最顶端/最底端。工程上，可以把补图区高度设为画布的12%—18%，文字放在补图区靠内的一侧。

五、方法三：关键帧运镜——用时间换空间

关键帧运镜（keyframe camera movement）是四类方法中VG最高的一种。它的思路是：既然竖屏画布装不下整个横屏画面，那就让"视口"在横屏画面上移动——通过关键帧控制裁剪窗口的位置和大小，在不同时间展示不同区域。这样，观众在任一时刻只看到局部，但随时间推移能看到全部内容。

5.1 视口运动的数学描述

设原始画面尺寸W×H，竖屏视口尺寸w×h（w/h = 9/16）。视口在原始画面中的位置用左上角坐标(x(t), y(t))表示，缩放系数为s(t)。则视口覆盖的原始区域为：

Region(t) = [x(t), x(t) + w/s(t)] × [y(t), y(t) + h/s(t)]

约束：0 ≤ x(t) ≤ W - w/s(t)
      0 ≤ y(t) ≤ H - h/s(t)

当 s(t) = w/W 时，视口覆盖整个宽度，y方向可移动；
当 s(t) > w/W 时，视口只覆盖部分宽度，x方向也可移动。

关键帧运镜的设计，就是设计x(t)、y(t)、s(t)三条曲线。常见模式包括：水平平移（从左到右扫过）、垂直平移（从上到下）、推拉（s变化）、以及组合运动。

5.2 FFmpeg 的 zoompan 实现

FFmpeg的zoompan滤镜支持基于表达式的动态裁剪。以下命令实现"从左到右缓慢平移"：

ffmpeg -i input.mp4 -filter_complex "
[0:v]scale=1920:1080,
     zoompan=z='1.0':x='(iw-iw/zoom)*on/(25*10)':y='(ih-ih/zoom)/2':
     d=1:s=1080x1920:fps=25
" -c:a copy output.mp4

这里x表达式让视口在10秒内从最左移到最右，y保持居中，z=1.0表示不缩放。注意zoompan的表达式语法与常规不同，on是输出帧序号，iw/ih是输入宽高。

zoompan的缺点是表达式调试困难、性能开销大。对于复杂运镜，更推荐用Python脚本配合OpenCV逐帧处理，或使用专业工具的关键帧功能。

5.3 运镜节奏与视觉舒适度

运镜速度直接影响观看舒适度。太快会让观众晕眩，太慢则显得拖沓。影视摄影中的经验是：水平摇镜速度一般不超过每秒画面宽度的1/3，否则人眼难以追踪。在竖屏短视频中，由于观看距离更近，这个阈值应更保守。

本文评述：关键帧运镜的本质是"用时间换空间"——它把横屏的宽幅信息分摊到时间轴上，让观众逐段接收。这带来一个副作用：观众无法一眼看到全貌，可能错过边缘信息。因此它更适合"主体在画面中移动"或"需要逐段展示细节"的场景，而不适合"多个主体同时存在且需对比"的场景。

5.4 与主体跟踪的结合

如果画面中有明确主体（如人物、车辆），可以让视口自动跟随主体。这需要先做目标检测与跟踪（如YOLO、ByteTrack），得到主体轨迹，再据此设计x(t)、y(t)。Adobe Premiere Pro的"自动重构"、DaVinci Resolve的"智能重构"都内置了类似能力。开源方案中，可以用Python + OpenCV + 跟踪算法自行实现。

六、方法四：AI生成延展——前沿与边界

AI生成延展（generative outpainting）是近年最受关注的方向。它试图用生成模型"画出"原始画面之外的内容，从而把横屏画面自然扩展为竖屏。与模糊背景、补图相比，它的目标是让观众感觉"这本来就是竖屏拍的"。

6.1 技术路线

主流路线基于扩散模型（diffusion model）。给定原始画面作为条件，模型在上下空白区域逐步去噪，生成与原始画面风格一致的内容。代表工作包括：

• 图像外推：Paint by Example（Yang等，2023）、PowerPaint（Zhuang等，2024）
• 视频外推：M3DDM、Gen-L-Video、以及Runway、Pika等商业产品
• 视频修复与延展统一框架：ProPainter（Zhou等，2023）

视频外推比图像外推难得多，核心挑战是时序一致性：相邻帧生成的内容必须连贯，否则会出现闪烁、抖动。当前解决方案包括光流引导、时序注意力、以及基于视频扩散模型的联合建模。

6.2 幻觉风险与适用边界

生成模型可能产生"幻觉"（hallucination）——生成与原始场景不符的内容。例如，把室内访谈的上下方延展成墙壁和天花板时，模型可能生成错误的透视或材质。在新闻、纪实、法律证据等场景中，这种幻觉是不可接受的。

笔者认为，AI延展的适用边界应明确：娱乐、创意、广告类内容可以接受一定程度的生成；新闻、教育、医疗、法律类内容应避免或严格审核。此外，平台对AI生成内容的标注要求也在收紧，如TikTok、Meta均要求对AI生成内容进行标识。

6.3 工程落地现状

截至2024—2025年，AI延展在横转竖的落地仍以"半自动"为主：工具生成候选结果，人工筛选和修正。Runway的"Expand Video"、Adobe Firefly的视频扩展、以及部分国内厂商的"智能扩图"功能，都在这一阶段。全自动、高一致性、低幻觉的方案尚未成熟。

从成本看，AI延展的算力开销显著高于前三类方法。以1080p、30fps、1分钟视频为例，生成式延展可能需要数分钟到数十分钟的GPU时间，而模糊背景方案在CPU上即可实时完成。这决定了AI延展目前更适合"精品化"而非"批量化"。

七、质量评估：如何量化"转得好不好"

没有评估就没有优化。横转竖的质量评估应覆盖三个层面：像素保真、感知质量、注意力效率。

7.1 客观指标

指标	衡量对象	适用方法
PSNR	像素级差异	模糊背景、补图
SSIM	结构相似性	全部
LPIPS	感知相似性	全部
时序一致性	帧间稳定性	AI延展、运镜
显著性占比	注意力集中度	全部

表2：横转竖质量评估指标（本文整理）

7.2 主观评估

客观指标不能完全替代主观感受。推荐采用ITU-R BT.500建议的标准主观评估方法，或简化为5级MOS（Mean Opinion Score）打分。评估维度包括：画面自然度、主体突出度、观看舒适度、信息完整度。

7.3 数据集与预处理

公开的横转竖评估数据集较少。可参考的包括：DAVIS（视频分割数据集，可用于主体跟踪评估）、REDS（视频超分数据集，可用于时序一致性评估）、以及各平台公开的短视频样本集。使用这些数据集时需注意：它们并非为横转竖任务设计，需自行构造"横屏输入—竖屏输出"的配对。预处理细节包括：统一分辨率、统一帧率、去除水印、按场景切分。

本文评述：当前横转竖领域缺乏公认的基准数据集和评测协议，这是制约方法比较的瓶颈。笔者认为，社区应推动建立一个包含多种内容类型（人物、风景、运动、动画）和多种难度（单主体、多主体、快速运动）的标准化基准。

八、工程决策树与批量流水线

理论讲完，落到工程。面对一个具体的横屏视频，如何选择方法？笔者给出一棵决策树。

8.1 决策树

输入：横屏视频 + 内容类型 + 质量要求 + 算力预算

1. 内容是否为新闻/纪实/法律等"零幻觉"要求？
   ├─ 是 → 排除 AI 生成延展
   └─ 否 → 可考虑 AI 延展

2. 主体是否单一且明确？
   ├─ 是 → 优先"关键帧运镜 + 主体跟踪"
   └─ 否 → 进入第 3 步

3. 是否需要同时展示多个主体？
   ├─ 是 → 优先"模糊背景"或"上下补图"（保留全画面）
   └─ 否 → 进入第 4 步

4. 是否有品牌/字幕/信息条需求？
   ├─ 是 → 优先"上下补图"（信息型）
   └─ 否 → 优先"模糊背景"（最低成本）

5. 算力预算是否充足且追求精品？
   ├─ 是 → 尝试"AI 生成延展"
   └─ 否 → 回到第 3 步的选择

8.2 批量流水线设计

对于需要处理大量视频的团队，建议构建如下流水线：

1. 探测：用ffprobe读取分辨率、帧率、时长、编码格式。
2. 分类：根据内容类型（可用轻量分类模型）决定方法。
3. 处理：调用对应FFmpeg命令或AI服务。
4. 质检：计算SSIM、显著性占比，低于阈值则人工复核。
5. 输出：统一编码参数（H.264/H.265，码率按平台建议）。

编码参数方面，抖音、TikTok建议竖屏视频码率在4—8 Mbps（1080p），YouTube Shorts建议8—12 Mbps。音频建议AAC 128—192 kbps。

8.3 常见坑与规避

• 模糊层过亮：导致前景不突出，加eq=brightness=-0.1。
• 运镜过快：观众晕眩，控制速度在每秒画面宽度1/3以内。
• 补图区文字被UI遮挡：遵守平台安全区规范。
• AI延展闪烁：检查时序一致性，必要时降帧率或改用非生成方案。
• 音频不同步：处理视频时用-c:a copy避免重编码。

九、前沿预判与结论

站在2025年回看，横转竖技术正经历从"规则驱动"到"生成驱动"的转变。笔者认为，未来三到五年可能出现以下趋势：

第一，实时化。随着移动端NPU算力提升，模糊背景、简单运镜已可实时完成；AI延展的实时化是下一个目标，但受限于扩散模型的迭代步数，短期内难以在手机端实时运行。

第二，个性化。不同观众的注意力模式不同，未来的转制可能根据用户画像动态调整运镜路径。这涉及显著性预测与用户建模的交叉。

第三，标准化。行业需要统一的评估基准和标注规范，否则"转得好不好"永远各说各话。

回到本文主线：信息保真度与视觉引导力的双维框架，为方法选择提供了清晰坐标。模糊背景守住IF，关键帧运镜拉高VG，上下补图在两者间取平衡，AI延展则试图同时突破两者但承担幻觉风险。没有万能方案，只有匹配场景的方案。

最后，笔者想强调一个容易被忽视的点：横转竖不只是技术问题，更是叙事问题。同一个视频，转制方式不同，观众接收到的信息顺序和重点就不同。技术方案的选择，本质上是对叙事意图的选择。理解了这一点，才算真正理解了"不裁内容"的含义。

十、参考文献与拓展资源

10.1 主要参考文献（8—9篇）

1. Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE TIP, 2004, 13(4): 600-612.
2. Zhang R, Isola P, Efros A A, et al. The unreasonable effectiveness of deep features as a perceptual metric[C]. CVPR, 2018: 586-595.
3. Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE TPAMI, 1998, 20(11): 1254-1259.
4. Barnes C, Shechtman E, Finkelstein A, et al. PatchMatch: A randomized correspondence algorithm for structural image editing[J]. ACM TOG, 2009, 28(3): 24.
5. Yang B, Gu S, Zhang B, et al. Paint by Example: Exemplar-based image editing with diffusion models[C]. CVPR, 2023: 18381-18391.
6. Zhuang J, Zeng Y, Liu W, et al. A Task is Worth One Word: Learning with Task Prompts for High-Quality Versatile Image Inpainting[C]. ECCV, 2024.
7. Zhou S, Li C, Chan K C K, et al. ProPainter: Improving propagation and transformer for video inpainting[C]. ICCV, 2023: 10477-10486.
8. Wu J Z, Ge Y, Wang X, et al. Tune-A-Video: One-shot tuning of image diffusion models for text-to-video generation[C]. ICCV, 2023: 7623-7633.
9. Blattmann A, Rombach R, Ling H, et al. Align your latents: High-resolution video synthesis with latent diffusion models[C]. CVPR, 2023: 22563-22575.

10.2 拓展资源与教程链接

• FFmpeg官方滤镜文档：https://ffmpeg.org/ffmpeg-filters.html
• FFmpeg zoompan使用教程：https://trac.ffmpeg.org/wiki/Zoompan
• Adobe Premiere Pro自动重构指南：https://helpx.adobe.com/premiere-pro/using/auto-reframe.html
• DaVinci Resolve智能重构教程：https://www.blackmagicdesign.com/products/davinciresolve
• Runway Expand Video：https://runwayml.com
• TikTok创作指南：https://www.tiktok.com/creator-academy
• YouTube Shorts帮助中心：https://support.google.com/youtube
• OpenCV视频处理教程：https://docs.opencv.org

10.3 数据集说明

本文涉及的公开数据集包括DAVIS（视频目标分割）、REDS（视频超分）、以及各平台公开短视频样本。使用时的预处理细节：统一缩放至目标分辨率、统一帧率至25/30fps、去除水印与片头片尾、按场景切分。本文中的定性评估与定位表为作者基于文献与工程经验的整合判断，非实验数据；如涉及模拟数据，已在文中标注。