视频动画技术

Adobe Firefly Quick Cut:原始素材自动出粗剪初稿的专业流程

👤 为我痴狂 👁 1 阅读 ❤ 0 点赞 ➦ 0 分享 📅 2026-10-01
首页› 视频动画› 视频动画技术› 正文
Adobe Firefly Quick Cut:原始素材自动出粗剪初稿的专业流程

从语义锚点到时间线装配——一条可复现、可度量、可干预的自动化粗剪技术链路

关键词:Firefly Video / Quick Cut / 多模态检索 / 语音转写 / 场景切分 / 自动粗剪 / 时间线装配

摘要

自动粗剪(Automated Rough Cut)长期被视为剪辑自动化中“最不性感却最费时间”的环节。Adobe 在 Firefly 视频体系下推出的 Quick Cut 能力,本质上不是“一键成片”,而是把素材整理、语义理解、结构映射与时间线装配串成一条可干预的流水线。本文提出一条贯穿全文的分析主线:语义锚点(Semantic Anchor)→ 结构映射(Structure Mapping)→ 节奏重建(Rhythm Reconstruction),并据此逐层拆解 Quick Cut 的技术栈与工程落地路径。

全文覆盖媒体预处理与代理生成、语音转写与说话人分离、镜头边界检测与场景聚类、多模态向量检索、脚本到时间线的映射算法、音频节奏对齐、以及人工复核的“最小干预集”。文中给出可直接落地的参数配置、批处理脚本、质量评估指标与失败模式清单,并讨论版权、素材合规与元数据治理问题。本文评述:Quick Cut 的真正价值不在于替代剪辑师,而在于把剪辑师从“翻素材”中解放出来,把创作精力前移到判断与取舍。

笔者认为,判断一套自动粗剪系统是否专业,标准只有三条:可解释、可干预、可复现。缺任何一条,它都只是玩具。

一、引言:粗剪为什么是自动化的“深水区”

在任何一条专业后期流水线里,粗剪(Rough Cut)承担的是“把故事讲通”的职责:确定叙事顺序、挑选可用镜头、搭建基本节奏。它不追求画面精致,但决定成片的结构上限。问题在于,粗剪的时间成本极高——一部 30 分钟的纪录片,原始素材动辄 20 到 60 小时,剪辑师需要反复浏览、标记、比对,才能挑出可用片段。行业内长期流传的经验比例是“拍摄素材与成片时长比”在 20:1 到 60:1 之间,纪录片甚至更高(该比例为行业经验区间,非精确统计)。

自动化粗剪的研究并非新事物。早在 2000 年代,学界就尝试用镜头边界检测 + 规则模板生成摘要视频,代表性工作包括基于视觉显著性的事件检测与基于音频能量的精彩片段提取。本文评述:这些早期方法的核心缺陷是“只做减法不做结构”——它们能挑出“好看的片段”,却无法回答“这些片段应该按什么顺序、以什么节奏组合”。粗剪的本质是结构问题,不是筛选问题。

近三年,随着多模态大模型与语音识别精度提升,自动粗剪重新进入工程可行区间。Adobe 在 Firefly 视频能力矩阵中引入的 Quick Cut 思路,正是把“理解素材”和“装配时间线”两件事分开处理,再用一层可编辑的映射逻辑连接起来。笔者认为,这一分工是它区别于早期“一键生成”工具的关键。

二、Quick Cut 的能力边界与产品定位

2.1 它做什么,不做什么

把 Quick Cut 理解为“自动成片”是常见误解。更准确的定位是:它输出的是可编辑的粗剪初稿(Editable Assembly),而不是成品。它完成的是素材整理、语义标注、初步筛选与时间线装配;它不负责调色、混音、字幕精修与最终节奏打磨。

能力维度 Quick Cut 覆盖情况 说明
素材入库与代理生成✅ 覆盖自动生成低码率代理,支持后台转码
语音转写与说话人标注✅ 覆盖依赖 ASR 引擎,中文/英文精度较高
镜头边界与场景切分✅ 覆盖基于视觉特征与音频变化点
语义检索与片段召回✅ 覆盖多模态向量检索,支持自然语言查询
时间线自动装配✅ 覆盖按脚本/意图映射到序列
精剪节奏与情绪曲线⚠️ 部分提供初稿节奏,需人工微调
调色/混音/包装❌ 不覆盖属于后续专业环节

2.2 与同类方案的差异

市面上自动剪辑工具大致分三类:模板驱动型(如部分社媒剪辑 App)、转录驱动型(以文本编辑驱动视频)、以及语义检索驱动型。Quick Cut 更接近第三类,并叠加了与 Premiere Pro 时间线的直接互通能力。本文评述:与 NLE(非线性编辑软件)的原生互通,是专业场景下最被低估的竞争力——再聪明的算法,如果输出无法顺畅进入既有工程,就等于零。

三、主线一:语义锚点——把素材变成可检索的语义单元

“语义锚点”是本文提出的核心概念:指在素材中被赋予稳定语义标签、可被检索与引用的最小单元。它可以是一句话、一个镜头、一段环境音,也可以是一个视觉对象。语义锚点的质量,直接决定后续结构映射的上限。

3.1 媒体预处理与代理生成

原始素材格式繁杂(不同机型、编码、帧率、色彩空间),直接送入分析管线会导致解码开销巨大。标准做法是先统一转码为分析用代理:分辨率降到 720p 或 540p,编码用 H.264/ProRes Proxy,音频统一为 48kHz 单声道或立体声 PCM。

# 批量生成分析代理(FFmpeg 示例)
ffmpeg -i input.mov \
  -vf "scale=-2:540,fps=25" \
  -c:v libx264 -preset veryfast -crf 23 \
  -c:a pcm_s16le -ar 48000 -ac 1 \
  proxy_output.mp4

关键参数说明:scale=-2:540 保证宽度为偶数以兼容编码器;fps=25 统一帧率便于后续镜头检测;音频转单声道可显著降低 ASR 处理成本,但若需说话人分离,建议保留立体声或原始多轨。

3.2 语音转写与时间戳对齐

语音是纪录片、访谈、口播类素材最强的语义来源。现代 ASR 系统(如 Whisper 系列及其衍生模型)可输出词级时间戳,这为“文本驱动剪辑”提供了基础。工程上需要注意三点:

  • 时间戳精度:词级时间戳误差通常在 ±100ms 量级,用于粗剪足够,但用于精确对口型则不足。
  • 标点与断句:ASR 原始输出往往缺少标点,需要额外的标点恢复模型,否则语义单元切分会很粗糙。
  • 专业术语:行业术语、人名、品牌名容易识别错误,建议维护自定义词表(hotwords)提升召回。

本文评述:转写文本是粗剪的“第一索引”,但绝不是唯一索引。只依赖语音会丢掉大量无对白的有效镜头(空镜、动作、表情),这些恰恰是纪录片和广告片的重要素材。

3.3 镜头边界检测与场景聚类

镜头边界检测(Shot Boundary Detection, SBD)是经典问题。传统方法基于帧间直方图差异、边缘变化率等;近年基于深度特征的相似度度量在渐变转场(溶解、划像)上表现更好。工程上常用的折中方案是:先用颜色直方图做快速预筛,再用轻量 CNN 特征做二次确认。

方法类型 硬切召回 渐变转场 计算成本
直方图差分高低极低
边缘变化率中高中低
深度特征相似度高高中高
多模态融合高高高

场景聚类则是在镜头之上再做一层聚合:把同一场景、同一地点、同一时间段的镜头归为一组。这一步对粗剪非常重要,因为它让系统可以“按场景选素材”,而不是“按镜头选素材”。

3.4 多模态向量检索

把视觉帧、语音文本、音频特征分别编码到同一向量空间,是当前多模态检索的主流范式。CLIP 类模型提供了图文对齐基础,视频领域则常用视频-文本对比学习模型。工程落地时,通常构建三套索引:

  1. 文本索引:转写文本 + 标点恢复 + 分句,支持关键词与语义检索。
  2. 视觉索引:关键帧向量,支持“找类似画面”“找某类物体/场景”。
  3. 音频索引:环境音、音乐、情绪标签,支持“找安静的空镜”“找有掌声的段落”。

本文评述:多模态检索的难点不在建索引,而在“跨模态对齐的稳定性”。同一个查询词,在不同素材类型上的召回质量差异可能很大。因此专业流程中必须保留“检索结果人工确认”这一环,不能全自动直出。

四、主线二:结构映射——从脚本/意图到时间线骨架

有了语义锚点,下一步是把它们“装配”成结构。这是 Quick Cut 最核心、也最容易被忽视的部分。结构映射的输入通常有三种:文字脚本、参考片、以及自然语言意图描述。

4.1 脚本驱动的映射

如果已有分镜脚本或解说词,映射问题就转化为“文本段落 → 素材片段”的匹配问题。典型流程:把脚本切分为语义段落 → 对每段生成查询向量 → 在语义锚点库中召回 Top-K 候选 → 按时间顺序装配。

# 伪代码:脚本段落 → 素材片段映射
for segment in script_segments:
    query_vec = encode_text(segment.text)
    candidates = vector_index.search(query_vec, top_k=8)
    candidates = rerank(candidates, criteria=[
        "duration_fit",      # 时长匹配
        "visual_quality",    # 画面质量
        "speaker_match",     # 说话人一致性
        "novelty"            # 避免重复使用
    ])
    timeline.append(select_best(candidates))

这里的 rerank 策略是关键。纯向量相似度往往选出“语义最像但时长不合适”的片段,必须叠加工程约束。本文评述:自动粗剪的质量,70% 取决于 rerank 规则的设计,而不是召回模型本身。

4.2 意图驱动的映射

没有脚本时,可以用自然语言描述意图,例如“剪一个 60 秒的产品亮点,节奏偏快,突出使用场景”。系统需要把这种模糊意图拆解为可执行约束:目标时长、节奏密度、镜头类型偏好、音乐情绪等。

意图要素 可执行约束 实现手段
目标时长总时长 ±10%片段时长加权分配
节奏偏快平均镜头时长 ≤2.5s优先选短镜头
突出使用场景场景类标签权重提升标签加权检索
音乐情绪匹配 BPM 与能量曲线音频特征匹配

4.3 结构模板与叙事弧线

专业剪辑中存在大量可复用的结构模板:问题-解决、悬念-揭晓、时间线推进、对比并列等。把这些模板形式化为“片段角色序列”,可以显著提升初稿的可读性。例如产品片常用结构:痛点 → 产品出现 → 功能演示 → 使用效果 → 行动号召。

本文评述:结构模板是自动粗剪从“能用”走向“好用”的分水岭。没有结构模板,系统只是把片段拼在一起;有了结构模板,初稿才具备叙事逻辑。

五、主线三:节奏重建——音频、镜头与情绪的对齐

结构决定“讲什么”,节奏决定“怎么讲”。节奏重建是自动粗剪最容易被低估的环节,也是初稿“像不像人剪的”的关键。

5.1 音频节拍与镜头切换对齐

音乐驱动剪辑的核心是节拍检测(Beat Tracking)与强拍识别(Downbeat Detection)。工程上常用动态规划或神经网络方法估计 BPM 与拍点,然后把镜头切换点吸附到拍点附近(允许 ±2 帧容差)。

# 用 librosa 估计节拍(示意)
import librosa
y, sr = librosa.load("music.wav")
tempo, beats = librosa.beat.beat_track(y=y, sr=sr, units="time")
print("BPM:", tempo)
print("Beat times:", beats[:10])

注意:节拍对齐不是“每个切换都卡点”。专业剪辑会在强拍卡点、弱拍留白,形成呼吸感。全卡点反而显得机械。

5.2 语音节奏与停顿处理

访谈类素材的节奏主要由语音停顿决定。自动粗剪需要识别“可剪点”(cut point):句间停顿、语气转折、呼吸间隙。常见做法是结合 ASR 词级时间戳与音频能量包络,找出静音区间,再按最小停顿阈值(如 300ms)决定是否切。

本文评述:语音剪辑的“去废话”要克制。过度删除停顿会让受访者显得急促、不自然。专业做法是保留语义停顿,只删除明显口误与重复。

5.3 情绪曲线与镜头时长分布

情绪曲线可以用音频能量、语速、画面运动幅度等特征近似估计。高潮段落镜头更短、切换更密;铺垫段落镜头更长、更稳。把这条曲线作为约束加入装配算法,可以让初稿的“呼吸”更接近人类剪辑习惯。

六、完整工程流程:从素材入库到初稿交付

把前面三条主线串起来,就是一条可落地的工程流水线。下面按阶段给出操作路径。

6.1 阶段一:素材入库与规范化

  1. 按项目/日期/机位建立目录结构,保留原始素材只读。
  2. 生成代理文件,写入统一元数据(时间码、机型、帧率)。
  3. 校验素材完整性(时长、音轨数、是否损坏)。

6.2 阶段二:语义锚点构建

  1. 运行 ASR,输出词级时间戳与说话人标签。
  2. 运行镜头检测,输出镜头列表与关键帧。
  3. 对关键帧做视觉标签与向量编码。
  4. 对音频做事件检测与情绪标签。
  5. 合并为统一锚点库(JSON/SQLite/向量库)。

6.3 阶段三:结构映射与装配

  1. 输入脚本或意图描述,切分为语义段落。
  2. 逐段召回候选片段,执行 rerank。
  3. 按结构模板排序,生成时间线骨架。
  4. 执行节奏重建,调整切换点与时长。

6.4 阶段四:导出与复核

  1. 导出为 XML/AAF/EDL,导入 Premiere Pro 或 DaVinci Resolve。
  2. 按“最小干预集”方法复核(见第九节)。
  3. 记录修改日志,反哺后续项目的参数优化。

七、参数配置与批处理脚本实操

下面给出一组可复用的工程参数建议。这些参数来自公开文档与行业实践的综合,具体数值需按项目类型调整。

环节 参数 建议值 备注
代理转码分辨率540p分析够用,速度快
代理转码CRF23画质与体积平衡
镜头检测阈值0.3–0.4过高漏检,过低误检
ASR最小静音300ms用于切句
检索Top-K8–12再 rerank
节奏平均镜头时长2–4s按片型调整
# 批量提取音频用于 ASR(FFmpeg)
for f in *.mp4; do
  ffmpeg -i "$f" -vn -ac 1 -ar 16000 "${f%.mp4}.wav"
done

# 批量生成关键帧缩略图(每 2 秒一帧)
for f in *.mp4; do
  ffmpeg -i "$f" -vf "fps=1/2,scale=320:-1" "thumbs_${f%.mp4}_%04d.jpg"
done

延伸学习资源:Adobe 官方 Firefly 视频相关文档与教程可在 Adobe Help Center 查阅;FFmpeg 官方文档见 ffmpeg.org;Whisper 开源实现见 GitHub - openai/whisper;librosa 音频分析文档见 librosa.org。

八、质量评估:指标、基准与失败模式

8.1 可量化指标

指标 定义 目标参考
结构完整率脚本段落被有效覆盖的比例≥90%
语义匹配准确率片段与段落语义一致的比例≥75%
冗余率重复使用同一素材的比例≤10%
节奏偏差与目标平均镜头时长偏差±20%
人工修改率需替换/删除的片段占比≤30%

注:以上目标参考为行业实践中的经验区间(模拟数据),并非来自单一实验,实际项目应按片型设定基线。

8.2 典型失败模式

  • 语义漂移:向量检索召回“看起来像但意思不对”的片段,常见于抽象概念查询。
  • 时长挤压:为凑总时长强行截断完整语句,导致语义断裂。
  • 节奏同质化:全片镜头时长过于均匀,缺乏起伏。
  • 说话人混淆:多人对话场景中说话人标签错误,导致答非所问。
  • 素材过曝/欠曝:视觉质量筛选缺失,选入技术不合格镜头。

本文评述:失败模式清单比成功案例更有工程价值。把每次失败归因到具体环节,才能持续优化参数与规则。

九、人工复核的“最小干预集”方法论

自动粗剪不可能一次到位,人工复核是必经环节。但复核方式决定效率。本文提出“最小干预集”方法:只修改对成片影响最大的少数决策点,而不是逐帧检查。

  1. 先看结构:段落顺序是否合理,有没有明显逻辑断裂。
  2. 再看关键片段:开头 15 秒、结尾 15 秒、每个段落的第一个镜头。
  3. 最后看节奏:整体时长、高潮段落密度、是否有拖沓段落。

实践表明,按这个顺序复核,通常 20% 的修改量就能带来 80% 的质量提升(经验观察,非严格实验结论)。

十、前沿研究与技术预判

10.1 视频-语言模型带来的变化

近三年视频-语言预训练模型(Video-LLM、Video-Language Pretraining)发展迅速,使“用自然语言直接操作时间线”成为可能。未来 Quick Cut 类工具可能不再需要显式脚本,而是通过对话式交互逐步收敛到目标结构。

10.2 个性化剪辑风格建模

每位剪辑师都有自己的节奏偏好与结构习惯。通过学习历史工程文件,系统可以建立“风格画像”,让自动初稿更贴近个人习惯。本文评述:风格建模是自动粗剪商业化的下一个差异化点,但涉及隐私与版权,需要谨慎设计数据边界。

10.3 实时协作与云端装配

随着云剪辑普及,自动粗剪可能从“本地批处理”转向“云端实时服务”:素材上传即分析,团队多人同时基于同一锚点库工作。这对元数据标准与协作协议提出更高要求。

十一、合规、版权与元数据治理

自动粗剪涉及大量素材分析与索引,必须注意合规问题:

  • 肖像与隐私:人脸、声音属于敏感信息,分析前应获得授权,存储时脱敏。
  • 音乐版权:自动匹配的背景音乐必须来自可商用曲库。
  • 素材来源:AI 生成素材需标注来源,避免版权争议。
  • 元数据治理:锚点库应记录生成时间、模型版本、参数,便于追溯。

十二、结论与行动清单

Adobe Firefly Quick Cut 代表的不是“一键成片”的幻想,而是一条可解释、可干预、可复现的自动粗剪流水线。本文以“语义锚点—结构映射—节奏重建”为主线,给出了从素材入库到初稿交付的完整路径。

行动清单:

  1. 先建立标准化素材入库流程,代理与元数据先行。
  2. 优先保证 ASR 与镜头检测质量,这是语义锚点的地基。
  3. 设计 rerank 规则,而不是迷信召回模型。
  4. 用结构模板约束装配,避免片段堆砌。
  5. 节奏重建要克制,留白比卡点更重要。
  6. 复核按“结构→关键片段→节奏”顺序,控制修改量。
  7. 记录每次失败,持续迭代参数与规则。

笔者认为,自动粗剪的终局不是取代剪辑师,而是把剪辑师从重复劳动中解放出来,让创作回归判断与取舍。工具越强,判断力越值钱。

主要参考文献

[1] Radford A, Kim J W, Hallacy C, et al. Learning Transferable Visual Models From Natural Language Supervision[C]//ICML, 2021.

[2] Radford A, Kim J W, Xu T, et al. Robust Speech Recognition via Large-Scale Weak Supervision[C]//ICML, 2023.

[3] Bain M, Nagrani A, Varol G, et al. Frozen in Time: A Joint Video and Image Encoder for End-to-End Retrieval[C]//ICCV, 2021.

[4] Xu H, Ghosh G, Huang P Y, et al. VideoCLIP: Contrastive Pre-training for Zero-shot Video-Text Understanding[C]//EMNLP, 2021.

[5] Smeulders A W M, Worring M, Santini S, et al. Content-Based Image Retrieval at the End of the Early Years[J]. IEEE TPAMI, 2000.

[6] Laptev I, Marszalek M, Schmid C, et al. Learning Realistic Human Actions from Movies[C]//CVPR, 2008.

[7] Wang L, Xiong Y, Wang Z, et al. Temporal Segment Networks: Towards Good Practices for Deep Action Recognition[C]//ECCV, 2016.

[8] Ellis D P W. Beat Tracking by Dynamic Programming[J]. Journal of New Music Research, 2007.

[9] McFee B, Raffel C, Liang D, et al. librosa: Audio and Music Signal Analysis in Python[C]//SciPy, 2015.

[10] Adobe. Firefly Video Documentation[EB/OL]. Adobe Help Center, 2024–2025.

[11] FFmpeg Developers. FFmpeg Documentation[EB/OL]. ffmpeg.org, 2025.

[12] OpenAI. Whisper Repository[EB/OL]. GitHub, 2024.

[13] Vaswani A, Shazeer N, Parmar N, et al. Attention Is All You Need[C]//NeurIPS, 2017.

[14] Dosovitskiy A, Beyer L, Kolesnikov A, et al. An Image Is Worth 16x16 Words: Transformers for Image Recognition at Scale[C]//ICLR, 2021.

[15] Arnab A, Dehghani M, Heigold G, et al. ViViT: A Video Vision Transformer[C]//ICCV, 2021.

[16] Bertasius G, Wang H, Torresani L. Is Space-Time Attention All You Need for Video Understanding?[C]//ICML, 2021.

[17] Patrick M, Campbell D, Asano Y, et al. Keeping Your Eye on the Ball: Trajectory Attention in Video Transformers[C]//NeurIPS, 2021.

[18] Li K, He Y, Wang Y, et al. VideoChat: Chat-Centric Video Understanding[EB/OL]. arXiv:2305.06355, 2023.

[19] Zhang H, Li X, Bing L. Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding[C]//EMNLP Demo, 2023.

[20] Maaz M, Rasheed H, Khan S, et al. Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models[C]//ACL, 2024.

[21] Liu H, Li C, Wu Q, et al. Visual Instruction Tuning[C]//NeurIPS, 2023.

[22] Zhu D, Chen J, Shen X, et al. MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models[C]//ICLR, 2024.

[23] Li J, Li D, Savarese S, et al. BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models[C]//ICML, 2023.

[24] Wang J, Chen D, Wu Z, et al. Omnivore: A Single Model for Many Visual Modalities[C]//CVPR, 2022.

[25] Girdhar R, El-Nouby A, Liu Z, et al. ImageBind: One Embedding Space to Bind Them All[C]//CVPR, 2023.

[26] Xu J, Mei T, Yao T, et al. MSR-VTT: A Large Video Description Dataset for Bridging Video and Language[C]//CVPR, 2016.

[27] Anne Hendricks L, Wang O, Shechtman E, et al. Localizing Moments in Video with Natural Language[C]//ICCV, 2017.

[28] Lei J, Yu L, Bansal M, et al. TVQA: Localized, Compositional Video Question Answering[C]//EMNLP, 2018.

[29] Krishna R, Hata K, Ren F, et al. Dense-Captioning Events in Videos[C]//ICCV, 2017.

[30] Zhou L, Xu C, Corso J J. Towards Automatic Learning of Procedures from Web Instructional Videos[C]//AAAI, 2018.

[31] Miech A, Zhukov D, Alayrac J B, et al. HowTo100M: Learning a Text-Video Embedding by Watching Hundred Million Narrated Video Clips[C]//ICCV, 2019.

[32] Chen S, Li Y, Zhang Y, et al. Video Captioning with Multi-Faceted Attention[J]. TACL, 2022.

[33] Pan Y, Yao T, Li H, et al. Video Moment Retrieval with Fine-Grained Cross-Modal Interaction[J]. IEEE TIP, 2023.

[34] Zhang Z, Lin Z, Zhao Z, et al. Cross-Modal Interaction Networks for Query-Based Moment Retrieval in Videos[C]//SIGIR, 2019.

[35] Liu M, Nie L, Wang X, et al. Online Data Hiding in Video via Motion Vector Modification[J]. IEEE TIFS, 2021.

[36] Wu Z, Xiong C, Ma C Y, et al. UniVL: A Unified Video and Language Pre-Training Model for Multimodal Understanding and Generation[EB/OL]. arXiv:2002.06353, 2020.

[37] Sun C, Myers A, Vondrick C, et al. VideoBERT: A Joint Model for Video and Language Representation Learning[C]//ICCV, 2019.

[38] Zhu L, Yang Y. ActBERT: Learning Global-Local Video-Text Representations[C]//CVPR, 2020.

[39] Luo H, Ji L, Zhong M, et al. CLIP4Clip: An Empirical Study of CLIP for End-to-End Video Clip Retrieval[J]. Neurocomputing, 2022.

[40] Fang H, Xiong P, Xu L, et al. CLIP2Video: Mastering Video-Text Retrieval via Image CLIP[EB/OL]. arXiv:2106.11097, 2021.

[41] Portillo-Quintero A, Ortiz-Barajas J, et al. A Straightforward Framework for Video Retrieval Using CLIP[C]//IbPRIA, 2021.

[42] Gabeur V, Sun C, Alahari K, et al. Multi-Modal Transformer for Video Retrieval[C]//ECCV, 2020.

[43] Liu Y, Albanie S, Nagrani A, et al. Use What You Have: Video Retrieval Using Representations from Collaborative Experts[EB/OL]. arXiv:1907.13487, 2019.

[44] Amrani E, Ben-Ari R, Rotman D, et al. Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning[C]//AAAI, 2021.

[45] Zellers R, Lu X, Hessel J, et al. MERLOT: Multimodal Neural Script Knowledge Models[C]//NeurIPS, 2021.

[46] Alayrac J B, Recasens A, Schneider R, et al. Flamingo: A Visual Language Model for Few-Shot Learning[C]//NeurIPS, 2022.

[47] Li J, Selvaraju R R, Gotmare A, et al. Align before Fuse: Vision and Language Representation Learning with Momentum Distillation[C]//NeurIPS, 2021.

[48] Kim W, Son B, Kim I. ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision[C]//ICML, 2021.

[49] Wang Z, Yu J, Yu A W, et al. SimVLM: Simple Visual Language Model Pretraining with Weak Supervision[C]//ICLR, 2022.

[50] Chen Y C, Li L, Yu L, et al. UNITER: Universal Image-Text Representation Learning[C]//ECCV, 2020.

[51] Zhang P, Li X, Hu X, et al. VinVL: Revisiting Visual Representations in Vision-Language Models[C]//CVPR, 2021.

[52] Bao H, Wang W, Dong L, et al. VL-BEiT: Generative Vision-Language Pretraining[EB/OL]. arXiv:2202.01169, 2022.

[53] Wang W, Bao H, Dong L, et al. Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks[C]//CVPR, 2023.

[54] Li C, Gan Z, Yang Z, et al. Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning[C]//NeurIPS, 2022.

[55] Liang V W, Zhang Y, Kwon Y, et al. Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning[C]//NeurIPS, 2022.

[56] Zhou K, Yang J, Loy C C, et al. Learning to Prompt for Vision-Language Models[J]. IJCV, 2022.

[57] Jia C, Yang Y, Xia Y, et al. Scaling Up Visual and Vision-Language Representation Learning with Noisy Text Supervision[C]//ICML, 2021.

[58] Yuan L, Chen D, Chen Y L, et al. Florence: A New Foundation Model for Computer Vision[EB/OL]. arXiv:2111.11432, 2021.

[59] Wang P, Yang A, Men R, et al. OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework[C]//ICML, 2022.

[60] Reed S, Zolna K, Parisotto E, et al. A Generalist Agent[J]. TMLR, 2022.

[61] Adobe. Premiere Pro XML/AAF/EDL Export Guide[EB/OL]. Adobe Help Center, 2025.

文章声明

本文内容仅为作者学习、思考、经验、笔记的总结,仅供技术交流与参考。文中观点仅代表笔者个人思辨,不构成任何学术建议、商业建议或专业建议。所有数据来源已标注,引用时请以原始文献为准。

内容仅供学习参考。如需引用,请以原始文献为准。  |  全文约 12600 字  |  参考文献 61 篇(主要)

分享到

💬
微信
📷
朋友圈
🐧
QQ好友
🌐
QQ空间
👁
微博
📌
钉钉
🔗
复制链接
📑
复制图文

微信扫一扫分享

打开微信「扫一扫」,扫描二维码后在微信中分享给好友或朋友圈。

💬 评论 (0)

评论功能已关闭

⏸️ 本站暂未开放评论功能,不能进行评论,此为规划的后续开发预留
首页| 关于本网| 网站声明| 联系我们| 网站纠错| 服务| 网站地图
黔ICP备19010680号-1  |  邮箱:six528528@163.com
贵公网安备 52010302001819号
Copyright 2019-2026 http://www.databrush.com/ All rights reserved.
QQ
QQ扫一扫
Logo
DBN数据刷