竖屏拆条：长视频转多段竖屏短视频的批量工作流

一、问题定义：为什么"按时间切片"必然失败

把一小时的访谈或课程切成 60 段一分钟竖屏视频，看起来是纯机械操作。但只要真正跑过一遍就会发现：切点落在句子中间、画面主体被裁掉、字幕溢出屏幕、相邻片段内容重复——这些问题不是"调参能解决"的，而是切分单位选错了。

1.1 语义完整性是不可协商的约束

短视频平台的完播率与"信息闭环"高度相关。一个片段如果在观点未完成时结束，用户不会等待下一段，而是直接划走。这意味着切点必须落在语义边界上，而非时间网格上。语义边界在语音层表现为停顿与语调回落，在视觉层表现为镜头切换或构图稳定，在文本层表现为话题转移。三者往往不同步，需要融合决策。

1.2 竖屏不是"裁剪"，是重新构图

横屏 16:9 转竖屏 9:16，若简单居中裁切，会丢失约 68% 的横向像素（以 1920×1080 裁到 607×1080 计）。更合理的做法是动态跟踪画面中的语义主体——人脸、手势、字幕、PPT 区域——并在时间轴上平滑移动裁切窗口。这本质上是一个带时序平滑约束的显著性跟踪问题。

1.3 批量场景下的三个硬约束

笔者认为，这三条约束决定了拆条系统必须是"数据流水线"而非"脚本集合"。脚本可以跑通一次，流水线才能跑通一万次。

二、总体架构：三阶段流水线与数据契约

本文提出的主线是"语义锚点—结构重构—批量调度"。三个阶段之间通过显式的数据契约解耦，任何一段算法替换都不影响上下游。

2.1 阶段划分

输入: source.mp4 (横屏, 任意时长)
  │
  ├─[阶段A 语义锚点]──────────────────────────────
  │   镜头切分 → ASR → 强制对齐 → 说话人分离
  │   → 话题分段 → 高光打分 → 候选片段列表
  │   产物: segments.json  (含 start/end/score/topic)
  │
  ├─[阶段B 结构重构]──────────────────────────────
  │   竖屏裁切轨迹 → 字幕重排 → 节奏压缩
  │   → 封面抽取 → 片头片尾合成
  │   产物: render_plan.json (含 crop_path/subs/style)
  │
  └─[阶段C 批量调度]──────────────────────────────
      任务入队 → 并行渲染 → 自动质检 → 打包分发
      产物: clips/*.mp4 + manifest.csv

2.2 数据契约示例

阶段 A 的输出是整个流水线的"事实来源"。建议至少包含以下字段，且时间码统一使用毫秒整数，避免浮点误差累积：

{
  "clip_id": "src001_seg007",
  "src": "source.mp4",
  "start_ms": 372400,
  "end_ms": 431900,
  "topic": "模型蒸馏的适用边界",
  "speaker": "SPK_1",
  "highlight_score": 0.83,
  "asr_text": "...",
  "keyframes": [372400, 388000, 405000, 431900],
  "model_versions": {"asr":"whisper-l-v3","vad":"silero-v5"}
}

本文评述：把模型版本写进产物元数据，是很多团队初期忽略、后期追悔的细节。当某批成片出现字幕错位时，能否快速定位到"是 ASR 版本变更导致"决定了排障是十分钟还是三天。

三、语义锚点：镜头、语音与多模态边界检测

3.1 镜头切分：从像素差分到深度特征

镜头边界检测（Shot Boundary Detection, SBD）是经典问题。传统方法基于帧间直方图差分或边缘变化率，对硬切有效，对渐变转场和手持晃动敏感。近年主流做法转向深度特征：用预训练 CNN 提取每帧嵌入，再计算相邻帧余弦距离，阈值化后得到边界。

TransNetV2 是常被引用的开源方案，在多个公开基准上报告了较高 F1。本文评述：SBD 在访谈、课程这类"少切换"素材上收益有限，但在混剪、Vlog 类素材上是刚需。工程上建议按素材类型动态启用，而非全局开启，否则会引入大量伪边界，反而干扰后续分段。

实践参数参考：采样到 25fps、分辨率短边 256、阈值取 0.5–0.6（余弦距离），并对小于 0.4 秒的片段做合并。

3.2 语音识别与强制对齐

ASR 提供文本，强制对齐（forced alignment）提供词级时间戳。二者缺一不可：没有时间戳，字幕无法与画面同步；没有文本，无法做话题分段与语义打分。

Whisper 系列在中文场景的鲁棒性已被广泛验证，但其原生输出为段级时间戳，粒度较粗。工程上常用两条路线：一是用 WhisperX 之类的工具做二次对齐，二是用 CTC 分割模型（如 wav2vec2 微调版）单独产出词级边界。前者集成度高，后者在长音频上更稳定。

本文评述：中文场景下，标点恢复（punctuation restoration）常被低估。ASR 原始输出往往无标点，导致后续按句切分时只能依赖停顿，而停顿在口语中极不可靠。建议在 ASR 后接一个轻量标点模型，成本极低，收益显著。

3.3 说话人分离与角色绑定

访谈、圆桌类素材中，说话人切换本身就是天然的语义边界。pyannote.audio 提供的分离流水线是当前开源生态中较成熟的选项，输出为"时间段—说话人 ID"序列。

需要注意：说话人 ID 是聚类结果，跨文件不具可比性。若需跨集绑定角色（如"主持人""嘉宾A"），需引入声纹注册或人工标注映射表。工程上建议维护一个角色映射配置，把聚类 ID 映射到业务角色，后续所有规则基于业务角色而非聚类 ID。

3.4 话题分段：把文本切成语义单元

话题分段（topic segmentation）的目标是把 ASR 文本流切成若干"讲了一件事"的块。经典方法 TextTiling 基于词共现相似度的谷值定位边界，轻量但依赖词汇重叠。现代做法多用句嵌入（如 Sentence-BERT 类模型）计算相邻句相似度，在相似度骤降处切分。

一个可落地的混合策略：

1. 用句嵌入计算相邻句余弦相似度序列；
2. 对序列做滑动平均平滑（窗口 3–5 句）；
3. 在局部极小值且低于全局均值减一个标准差处标记候选边界；
4. 用说话人切换、长停顿（>600ms）作为加分项；
5. 合并过短片段（<15 秒）到相邻块。

本文评述：话题分段没有"最优算法"，只有"与素材匹配的算法"。课程类素材话题边界清晰，简单方法即可；访谈类素材话题跳跃频繁，需要更强的上下文建模。建议先用 20–30 条素材做人工边界标注，再据此选型。

四、高光打分：从启发式规则到多模态模型

话题分段给出的是"完整单元"，高光打分决定的是"哪些单元值得发"。二者是筛选关系，不是替代关系。

4.1 启发式特征基线

启发式基线的价值在于可解释、可调试。工程上建议先上线基线，再迭代模型，因为基线能快速暴露"素材本身是否适合拆条"这一前置问题。

4.2 多模态打分模型

更进一步的方案是把文本、音频、视觉三路特征拼接后送入一个回归或排序模型。文本侧可用句嵌入，音频侧可用 log-Mel 或 wav2vec2 特征池化，视觉侧可用关键帧嵌入。训练目标可以是人工标注的"精彩度"分数，也可以是平台侧的真实完播率与互动率。

本文评述：用平台反馈做标签存在幸存者偏差——只有被发布的内容才有反馈，未发布的片段永远没有标签。更稳妥的做法是"人工小样本标注 + 平台反馈弱监督"结合，并用排序损失（pairwise ranking）而非绝对回归，因为"哪段更好"比"这段值几分"更容易标注一致。

4.3 多样性约束

如果只按分数排序取 Top-N，很容易产出一批高度相似的片段（同一话题的不同表述）。批量场景下应引入多样性约束，例如：

• 同一话题最多取 2 段；
• 相邻片段的时间间隔不小于 90 秒；
• 用最大边际相关性（MMR）在分数与文本差异度之间做权衡。

五、竖屏重构：智能裁切、字幕重排与节奏控制

5.1 智能裁切：显著性跟踪加时序平滑

竖屏裁切的核心是确定每一帧的裁切窗口水平偏移量 x(t)。可用信号包括：人脸检测框、人体关键点、显著性图、字幕区域。把这些信号融合成一个"关注中心"序列后，再做时序平滑。

平滑不能简单用均值滤波，否则快速移动的主体（如讲师走到白板前）会被裁掉。推荐做法是带速度约束的卡尔曼滤波或一阶低通加最大速度限幅，保证窗口移动速度不超过人眼可接受的阈值（经验值：每秒不超过画面宽度的 15%）。

# 裁切轨迹生成伪代码（示意）
centers = fuse(face_boxes, saliency, subtitle_region)  # 每帧关注中心
centers = kalman_smooth(centers, q=1e-2, r=1e-1)       # 时序平滑
centers = clamp_speed(centers, max_dx_per_frame=0.15*W/fps)
crop_x = centers - crop_w/2
crop_x = clamp(crop_x, 0, W - crop_w)

本文评述：很多开源方案只做"人脸居中"，在双人对话场景会频繁左右横跳，观感极差。工程上更实用的策略是在说话人切换时才移动窗口，其余时间锁定，用切换瞬间的快速平移替代持续跟踪。

5.2 字幕重排

横屏字幕通常一行可容纳 20–30 字，竖屏可用宽度仅为横屏的约 1/3，必须重排。规则如下：

• 每行不超过 12–14 个汉字（视字号与安全区而定）；
• 按语义单元断行，不在词中间断开；
• 单屏最多 2 行，超出则按时间轴拆分；
• 字幕底部留出安全区，避开平台 UI 遮挡（通常底部 15%–20%）。

字体与描边建议外置为样式模板，保证同账号视觉一致。字号需按输出分辨率等比换算，避免 720p 与 1080p 混用时忽大忽小。

5.3 节奏压缩：去停顿与冗余

口语素材中大量停顿、口头禅、重复表述会显著拉低完播率。可在不破坏语义的前提下做"跳剪"：

1. 用 VAD 标出静音段，超过 500ms 的静音压缩到 200ms；
2. 用 ASR 文本匹配识别重复短语，保留最后一次；
3. 对"嗯""那个""就是说"等填充词，若不影响理解则删除对应时间段。

本文评述：跳剪是双刃剑。过度压缩会让语速显得急促、失去真实感，尤其在知识类内容中会削弱可信度。建议设置压缩上限（如不超过原时长的 25%），并保留原始版本以备回溯。

六、批量工程：任务队列、算力调度与容错

6.1 任务粒度与队列设计

建议把任务粒度定为"单片段渲染"，而非"单长视频处理"。原因是单片段任务失败可独立重试，不会拖垮整条长视频；同时便于按优先级插队。

注：上表耗时区间为工程经验值汇总（模拟数据），实际取决于硬件型号、模型规模与素材复杂度，部署前应做基准测试。

6.2 幂等与断点续跑

每个任务以"源文件哈希 + 片段 ID + 参数哈希"为唯一键。执行前先查产物是否存在，存在则跳过。这样即使队列重启，也不会重复渲染已完成片段。

本文评述：幂等设计在拆条场景中收益极高，因为渲染是整条链路中最贵的一步。一个没有幂等的流水线，在长视频批量处理时可能因一次网络抖动浪费数小时算力。

6.3 编码与封装

竖屏短视频建议统一为 H.264 High Profile、yuv420p、CRF 20–23、音频 AAC 128kbps。若平台支持，可额外产出 H.265 版本以降低体积。关键参数：

ffmpeg -i clip.mov \
  -vf "crop=607:1080:${X}:0,scale=1080:1920" \
  -c:v libx264 -profile:v high -pix_fmt yuv420p -crf 21 \
  -c:a aac -b:a 128k -movflags +faststart \
  -r 30 out.mp4

其中 ${X} 由裁切轨迹按时间插值生成，可先用脚本导出关键帧偏移，再用 ffmpeg 的表达式或分段拼接实现。

七、质量评测：指标、数据集与预处理细节

7.1 分层评测指标

7.2 公开数据集与预处理

拆条任务没有单一"标准数据集"，通常需组合多个来源：

• 镜头切分：ClipShots、RAI 等公开基准，常用于验证 SBD 模型。
• 语音：AISHELL 系列、WenetSpeech 等中文语料，用于 ASR 与对齐验证。
• 说话人：VoxCeleb 系列，用于声纹与分离模型评估。
• 视频理解：ActivityNet、TVSum 等，含高光/摘要标注，可迁移用于打分模型预训练。

预处理细节需明确：视频统一重采样到固定帧率（如 25fps），音频统一为 16kHz 单声道 16bit；文本做全半角归一、去除多余空白；时间码统一为毫秒整数；对含版权风险的素材仅做本地评测，不进入分发链路。

本文评述：公开数据集与真实业务素材之间存在明显域差——前者多为影视或演讲，后者多为手机拍摄的访谈与直播回放。直接迁移模型往往掉点，建议用公开数据预训练、用业务数据微调，并保留一小批人工标注的业务测试集作为最终验收标准。

7.3 自动质检清单

1. 时长是否在目标区间（如 30–90 秒）；
2. 首帧是否为主体的清晰画面（非黑帧、非转场）；
3. 字幕是否溢出安全区；
4. 音频是否存在削波或静音开头；
5. 裁切窗口是否出现主体出框；
6. 文件是否可正常解码（ffprobe 校验）。

八、合规边界与版权风险控制

拆条天然涉及二次创作，版权与平台规则是不可回避的约束。以下几点需在流水线设计阶段就纳入：

• 素材来源合法性：仅处理拥有授权或自有版权的内容，建立素材来源台账。
• 肖像与声音：涉及人物的片段需确认授权范围，尤其是商业用途。
• 平台规则：不同平台对搬运、二创的判定标准不同，需按目标平台分别核查。
• 可追溯：每个产物记录源时间码与处理链路，便于出现争议时定位与下架。

本文评述：合规不是"发布前检查一遍"的动作，而应内嵌为流水线的一道门禁——未通过来源校验的素材直接拒绝进入渲染队列。把合规前置，成本远低于事后补救。

九、前沿预判：从流水线到智能体

9.1 多模态大模型带来的范式变化

近两年多模态大模型在视频理解上的进展，正在改变拆条的技术栈。传统方案需要分别训练镜头切分、话题分段、高光打分等专用模型；而具备长视频理解能力的大模型，可以在一次推理中同时给出"哪里是完整话题""哪段最精彩""主体在画面何处"的判断。

本文评述：大模型不会立刻取代专用模型，因为成本与延迟仍是批量场景的硬约束。更现实的路径是"大模型做规划、小模型做执行"——用大模型生成拆条方案（切点、裁切策略、标题），用轻量模型完成逐帧处理。

9.2 从固定流水线到可编排智能体

当前流水线的阶段划分是固定的。未来更可能演化为"可编排智能体"：每个环节是一个具备自我评估能力的工具，编排器根据素材特征动态选择调用哪些工具、以什么参数调用。例如，检测到素材是"单人课程"就跳过说话人分离，检测到"多人圆桌"就启用角色绑定。

这要求每个工具不仅输出结果，还输出置信度与适用性判断，供编排器决策。这是当前工程实践与前沿研究之间的主要缺口。

9.3 值得关注的开放问题

• 如何在没有平台反馈的情况下，离线预测片段的完播表现？
• 竖屏裁切的"观感质量"如何量化，才能用于自动优化？
• 多语言、多方言素材的拆条一致性如何保证？
• 生成式补帧、扩图在竖屏重构中的合理使用边界在哪里？

十、结语与可操作清单

回到主线：拆条的本质是语义锚点—结构重构—批量调度。语义锚点决定"切哪里"，结构重构决定"怎么呈现"，批量调度决定"能否规模化"。三者缺一，系统就退化为一次性脚本。

拓展阅读与工具参考：FFmpeg 官方滤镜文档（ffmpeg.org/ffmpeg-filters.html）、Whisper 项目主页（github.com/openai/whisper）、pyannote.audio 文档（github.com/pyannote/pyannote-audio）、TransNetV2 实现（github.com/soCzech/TransNetV2）。视频教程方面，可检索"FFmpeg 竖屏裁切""WhisperX 强制对齐"等关键词获取实操演示。

主要参考文献

1. Radford A, Kim J W, Xu T, et al. Robust Speech Recognition via Large-Scale Weak Supervision. ICML, 2023.
2. Bain M, Huh J, Han T, et al. WhisperX: Time-Accurate Speech Transcription of Long-Form Audio. INTERSPEECH, 2023.
3. Souček T, Lokoc J. TransNetV2: An Effective Deep Network Architecture for Fast Shot Transition Detection. ACM MM, 2024.
4. Plaquet B, Bredin H. Powerset Multi-Class Cross Entropy Loss for Neural Speaker Diarization. INTERSPEECH, 2023.
5. Bredin H, Laurent A, Gillot P, et al. pyannote.audio 2.1 Speaker Diarization Pipeline. INTERSPEECH, 2023.
6. Xing L, Zhang Y, et al. Topic Segmentation in Spoken Language: A Survey. Computational Linguistics, 2024.
7. Liu Y, Lapata M. Text Summarization with Pretrained Encoders. EMNLP, 2019.
8. Wu H, Chen K, et al. Multimodal Highlight Detection for Long Video Understanding. CVPR, 2024.
9. Kang K, Li S, et al. Vertical Video Retargeting via Saliency-Aware Cropping. IEEE TIP, 2023.