竖屏视频去字幕去水印：横转竖前的素材清理步骤

一、问题定义：横转竖为什么必须先清素材

横屏视频转竖屏，主流做法有两种：一是上下补模糊背景的“信箱式”适配，二是裁切放大主体。前者保留原画面全部内容，字幕水印仍在；后者把画面放大1.5至2.5倍，原本位于画面下三分之一处的字幕条会被推到主体区域，角落台标也会同步放大，视觉干扰成倍增加。因此，在裁切之前完成去字幕去水印，是横转竖流程中不可跳过的前置步骤。

从信号处理角度看，字幕和水印属于叠加在原始画面上的“加性污染层”。设原始画面为 I(x,y,t)，叠加层为 S(x,y,t)，观测画面可近似表示为：

I_obs(x, y, t) = I(x, y, t) + S(x, y, t) + n(x, y, t)

其中 n 为压缩噪声。字幕层通常具有高对比度、边缘锐利、位置相对固定的特征；水印层则可能是半透明的，与背景存在 alpha 混合：

I_obs = α·W + (1 − α)·I

半透明水印的去除难度显著高于不透明字幕，因为需要同时估计 alpha 通道与底层内容。本文评述：把去水印当成“抹掉”是常见误解，它本质是一个欠定逆问题——已知观测与遮罩位置，求解被遮挡区域的原像素，解空间不唯一。不同代际技术的差异，就在于用什么先验约束来缩小解空间。

1.1 横转竖带来的额外约束

横转竖的裁切会改变有效分辨率。假设原片1920×1080，裁切为1080×1920的竖屏，若保持主体占比，往往需要先放大再裁切，等效于对修复区域做二次采样。这意味着修复瑕疵会被放大：在横屏下肉眼难辨的模糊块，放大后可能成为明显的“涂抹感”。因此横转竖场景对修复质量的要求，比单纯的去水印任务更高。

1.2 与超分辨率、插帧任务的关系

去字幕去水印常与超分、插帧串联使用。工程上建议的顺序是：先去字幕去水印，再做超分，最后插帧。原因是修复阶段依赖原始帧的时域信息，若先插帧会引入合成帧，可能干扰光流估计；若先超分，则遮罩区域被放大后边界更难对齐。这一顺序在多个开源修复项目的文档中均有类似建议（如 E2FGVI、ProPainter 的官方示例流程）。

二、分析主线：时域一致性为何是核心矛盾

视频修复与单图修复的根本区别，在于时间维度。单图修复只需让结果“看起来合理”，视频修复还必须保证相邻帧之间不闪烁、不抖动、不出现纹理漂移。这就是时域一致性。

时域不一致的典型表现有三种：一是亮度闪烁，修复区域在帧间忽明忽暗；二是纹理蠕动，草地、水面等高频纹理在帧间“爬行”；三是结构断裂，直线边缘在帧间错位。这三种伪影在横转竖放大后都会被强化，是验收时最需要盯住的指标。

本文评述：时域一致性可以形式化为一个帧间约束——修复结果 R 在相邻帧的对应区域，其像素分布应满足 R(x,y,t) ≈ R(x+u, y+v, t+1)，其中 (u,v) 为光流位移。任何修复算法，本质都在用不同方式逼近这个约束。

基于这条主线，后文三代技术可以统一理解：第一代静态遮罩完全忽略时域约束，所以必然闪烁；第二代时域修复显式建模光流，用帧间信息填补；第三代 AI 重绘隐式学习时域先验，用大规模视频数据训练出的生成能力保证连贯。这条演进线，就是本文的组织骨架。

三、第一代：静态遮罩与模糊填充

最朴素的做法是：在字幕或水印位置画一个矩形遮罩，然后用模糊、马赛克或纯色填充。这类方法在早期剪辑软件中很常见，实现简单、速度快，但缺陷明显。

3.1 模糊填充的数学本质

高斯模糊填充相当于对遮罩区域做低通滤波，结果是该区域丢失高频细节，与周围画面形成“糊斑”。在静态镜头中尚可接受，一旦镜头运动，糊斑与背景的相对运动不一致，会产生明显的“贴片感”。

3.2 马赛克与纯色填充

马赛克把区域降采样再放大，视觉上更“规整”，但同样丢失纹理。纯色填充（如黑条、白条）在横转竖后尤其突兀，因为竖屏画面主体占比大，任何色块都极易被注意到。

3.3 适用边界

静态遮罩并非一无是处。当满足以下条件时，它仍是性价比最高的选择：遮罩区域位于画面边缘、背景为纯色或低频渐变、镜头基本静止。例如纯色背景上的台标、天空区域的角标，用内容感知填充（content-aware fill）配合静态遮罩即可达到可接受效果。

四、第二代：时域修复与光流对齐

第二代方法的核心思想是：用其他帧中未被遮挡的像素，来填补当前帧被遮挡的区域。这就需要知道像素在帧间的对应关系，即光流。

4.1 光流估计基础

光流估计相邻帧每个像素的位移矢量。经典方法如 Lucas-Kanade、Farnebäck，深度学习方法如 FlowNet、RAFT、GMFlow。RAFT（Teed & Deng, ECCV 2020）通过迭代更新光流场，在多个基准上取得领先精度，至今仍是修复流程中的常用组件。GMFlow（Xu et al., CVPR 2022）则用全局匹配思路提升了大位移场景的鲁棒性。

本文评述：光流的质量直接决定修复质量。在遮罩区域内部，光流本身是缺失的，需要从遮罩边界外推。这是第二代方法的主要误差来源——边界光流估计不准，填补内容就会错位。

4.2 代表性算法

算法	核心思路	发表
Deep Video Inpainting	编解码 + 光流引导	CVPR 2019
FGVC	光流 + 注意力传播	ECCV 2020
E2FGVI	端到端流引导，分步优化	CVPR 2022
ProPainter	双域传播 + 光流补全	ICCV 2023
DiffuEraser	扩散模型 + 先验引导	arXiv 2025

E2FGVI 把修复拆成“光流补全—特征传播—内容融合”三步，每一步都有明确的物理含义，工程上易于调试。ProPainter 引入双域传播（图像域 + 特征域）和光流补全模块，在长视频和大遮罩场景下表现更稳。本文评述：ProPainter 的流补全模块是第二代向第三代过渡的关键设计，它承认了“遮罩内光流不可靠”这一事实，并显式去修复光流本身。

4.3 工程参数建议

• 光流模型：优先 RAFT 或 GMFlow，前者精度高，后者大位移更稳。
• 时间窗口：参考帧取前后各 5–10 帧，过长会引入形变误差，过短则信息不足。
• 遮罩膨胀：在检测框基础上膨胀 3–5 像素，覆盖半透明边缘。
• 分辨率：修复在原始分辨率或 0.5 倍分辨率下进行，避免二次缩放损失。

五、第三代：AI重绘与生成式修复

第三代方法不再依赖显式光流，而是用大规模视频数据训练生成模型，让模型“学会”在缺失区域生成符合场景语义与运动规律的内容。代表方向包括扩散模型修复、视频生成模型引导修复。

5.1 扩散模型修复原理

扩散模型通过逐步去噪从随机噪声恢复图像。用于修复时，通常采用“重绘”策略：对遮罩区域加噪，再在文本或图像先验引导下逐步去噪，使生成内容与周围区域协调。Stable Diffusion 系列的 inpainting 能力已被广泛用于单图修复，视频版本则需额外引入时域模块。

本文评述：扩散模型修复的最大优势是语义合理性——它能“猜”出被遮挡的物体结构，而不仅是复制邻近纹理。但代价是计算量大、时域一致性需要额外约束，否则容易逐帧“各画各的”。

5.2 时域一致性的生成式解法

为解决生成内容的帧间漂移，研究者提出多种方案：一是引入光流作为条件，约束相邻帧生成结果对齐；二是使用 3D 注意力或时序注意力层，让模型在生成时“看到”前后帧；三是采用关键帧 + 传播策略，只在关键帧重绘，其余帧用光流传播。

DiffuEraser（arXiv 2025）的思路是先用轻量模型生成粗略修复结果作为先验，再用扩散模型精修，并用光流引导保证时序稳定。本文评述：“先验 + 精修”是当前工程上较务实的折中，纯端到端扩散修复在消费级硬件上仍偏慢。

5.3 硬件与耗时参考

方法	硬件	1080p 每秒耗时（模拟估算）
静态模糊填充	CPU	实时
E2FGVI	RTX 3060	约 0.3–0.8 s
ProPainter	RTX 3060	约 0.5–1.2 s
扩散修复	RTX 4090	约 2–8 s

上表为基于公开项目文档与社区测试的整合估算，非严格基准测试，仅供量级参考。实际耗时与遮罩面积、帧数、批大小强相关。

六、字幕与水印的检测定位方法

修复的前提是准确定位。字幕和水印检测可分为传统图像处理与深度学习两条路线。

6.1 传统方法

字幕通常具有高对比度、水平排列、位置固定等特征。可用边缘检测（Canny、Sobel）配合形态学操作提取候选区域，再用连通域分析筛选。水印则常利用其半透明、低对比度、周期性出现的特征，通过多帧差分或频域分析定位。

6.2 深度学习方法

文本检测模型如 EAST、DBNet、PSENet 可用于字幕定位；通用目标检测如 YOLO 系列、DETR 可用于台标、角标检测。视频字幕检测还需考虑时序：字幕通常在连续多帧出现，可用时序平滑过滤误检。

本文评述：检测环节的召回率比精确率更重要。漏检一个字幕像素，修复后就会留下明显残影；而多检几个像素，修复算法通常能处理。因此遮罩宁可略大，不可略小。

6.3 手动标注的适用场景

当素材量不大、字幕位置固定时，手动标注遮罩反而更快更准。常用工具包括 After Effects 的遮罩工具、DaVinci Resolve 的窗口工具，以及开源的标注工具如 CVAT、LabelMe。对于固定位置的台标，只需标注一次，全片复用。

七、完整工程链路与参数配置

把前述环节串起来，一条可复现的横转竖素材清理链路如下。

7.1 步骤一：素材分析与预处理

• 检查分辨率、帧率、编码格式，统一转为无损或高质量中间格式（如 ProRes、FFV1）。
• 抽帧检查字幕、水印位置是否固定，是否随时间变化。
• 分离音频轨，避免后续处理影响音画同步。

7.2 步骤二：遮罩生成

• 自动检测 + 人工校验，生成逐帧遮罩序列（PNG 或视频格式）。
• 遮罩膨胀 3–5 像素，边缘羽化 2–3 像素。
• 对半透明水印，遮罩需覆盖 alpha 混合边缘，通常比可见范围大 1–2 像素。

7.3 步骤三：修复执行

# 以 ProPainter 为例的推理命令（示意）
python inference_propainter.py \
  --video input.mp4 \
  --mask masks/ \
  --output results/ \
  --fp16 \
  --save_fps 30

参数说明：--fp16 开启半精度加速；--save_fps 保持原帧率。具体参数以官方文档为准。

7.4 步骤四：横转竖裁切

• 确定主体位置，选择裁切窗口。
• 若需放大，优先使用高质量缩放算法（Lanczos、Bicubic）。
• 检查修复区域在放大后是否出现明显伪影，必要时回退参数重做。

7.5 步骤五：输出与封装

• 合并音频，检查音画同步。
• 按平台要求设置码率、编码（H.264/H.265/AV1）。
• 保留工程文件与遮罩，便于后续修改。

八、质量评估：如何判断“修干净了”

修复质量评估分主观与客观两类。

8.1 客观指标

指标	含义	局限
PSNR	峰值信噪比	与人眼感知相关性弱
SSIM	结构相似度	对纹理区域不敏感
LPIPS	感知相似度	依赖预训练网络
VFID	视频分布距离	计算成本高
时域一致性误差	帧间光流残差	需可靠光流

本文评述：客观指标只能作为参考，不能替代肉眼验收。修复区域小、背景复杂时，PSNR 可能很高但视觉上仍有闪烁。建议以逐帧放大检查为主，指标为辅。

8.2 主观检查清单

• 修复区域是否有可见边界或色差？
• 连续播放时是否有闪烁、抖动？
• 纹理是否自然，有无“涂抹感”？
• 放大到 200% 后是否出现明显块状伪影？
• 横转竖裁切后，修复区域是否仍在画面内且不突兀？

九、合规边界与版权风险

去水印技术在法律与平台规则层面存在明确边界，工程实践中必须重视。

9.1 版权层面

去除他人作品的水印或台标，可能涉及侵犯著作权中的署名权、保护作品完整权。即使技术上可行，未经授权去除他人版权标识并传播，存在法律风险。本文评述：技术能力不等于使用许可，这是从业者必须建立的底线意识。

9.2 平台规则层面

多数内容平台禁止搬运、去水印后二次发布他人内容。平台审核系统也在持续升级，能够识别常见的去水印痕迹。合规做法是：仅处理自己拥有版权的素材，或已获得明确授权的素材。

9.3 合理使用场景

• 处理自有素材中的旧台标、旧字幕，用于重新发布。
• 学术研究、技术验证中的受控实验。
• 获得版权方书面授权的商业项目。

十、前沿预判与演进方向

结合近三年文献与开源项目动态，去字幕去水印技术呈现三条演进线。

10.1 生成式修复的时域统一

扩散模型与视频生成模型的融合是明显趋势。未来可能出现“一次生成整段视频”的修复方案，从根本上绕开逐帧一致性问题。本文评述：这条路线的前提是视频生成模型在长时序上的稳定性取得突破，目前仍受限于显存与推理速度。

10.2 端侧实时化

随着移动端 NPU 算力提升，轻量化修复模型开始落地。剪映、CapCut 等移动剪辑工具已内置智能去水印功能，背后多为轻量分割 + 修复网络。本文评述：端侧方案的优势是隐私与即时性，劣势是遮罩面积受限、复杂场景效果打折。

10.3 检测与修复的联合优化

当前流程多为“先检测、后修复”的串行结构，检测误差会传导到修复。未来可能出现端到端的联合模型，让检测与修复共享特征、互相校正。本文评述：联合优化在理论上更优，但工程上调试难度更高，短期内串行结构仍是主流。

10.4 数据与评测标准化

视频修复领域已有 DAVIS、YouTube-VOS 等数据集被广泛用于评测。但这些数据集并非专为去字幕去水印设计，遮罩分布与真实场景存在差异。本文评述：建立面向字幕水印的专用评测基准，是该领域走向工程标准化的关键一步。

十一、参考文献与声明

主要参考文献

1. Teed Z, Deng J. RAFT: Recurrent All-Pairs Field Transforms for Optical Flow. ECCV 2020.
2. Xu H, Zhang J, Cai J, et al. GMFlow: Learning Optical Flow via Global Matching. CVPR 2022.
3. Li Z, Lu C Z, Qin J, et al. Towards An End-to-End Framework for Flow-Guided Video Inpainting. CVPR 2022.
4. Zhou S, Li C, Chan K C K, et al. ProPainter: Improving Propagation and Transformer for Video Inpainting. ICCV 2023.
5. Gao C, Saraf A, Huang J B, et al. Flow-Edge Guided Video Completion. ECCV 2020.
6. Kim D, Woo S, Lee J Y, et al. Deep Video Inpainting. CVPR 2019.
7. Zhang K, Fu J, Liu D. Flow-Guided Transformer for Video Inpainting. ECCV 2022.
8. DiffuEraser: Video Inpainting with Diffusion Prior. arXiv preprint, 2025.

注：本文涉及的数据集与基准（DAVIS、YouTube-VOS 等）均为公开数据集。DAVIS 预处理通常包括：统一分辨率至 480p 或 1080p、按官方划分提取训练/验证序列、遮罩二值化并膨胀 2 像素。YouTube-VOS 需注意其标注为稀疏关键帧，用于视频修复评测时通常需插值补全遮罩。