素材准备规范：6-15 段、动作差异大、时长 1-3 秒的拍摄清单

一、问题的起点：为什么素材规范值得单独写一章

大多数团队在启动一个动作识别或视频生成项目时，会把 80% 的讨论时间花在模型选型上，剩下 20% 才轮到数据。但工程现实恰恰相反：模型架构的边际收益正在快速收敛，而数据侧的改进空间依然巨大。Google 在 2021 年发布的 Video Transformer 系列工作中就指出，当预训练数据规模跨过某个门槛后，数据质量与多样性对下游任务的贡献开始超过模型参数量的增加（Arnab et al., ViViT, ICCV 2021）。这一判断在随后几年被反复验证。

那么"素材规范"到底规范什么？它至少包含四个维度：单条素材的时长、单条素材内的动作段数量、段与段之间的差异程度、以及每段的标注粒度。这四者互相牵制——段数多则单段短，差异大则标注难，时长长则注意力散。所谓"6-15 段、动作差异大、时长 1-3 秒"，本质上是在这四个维度上给出的一组可行解，而不是唯一解。

本文评述：把素材规范单独成章，是因为它处在"数据采集"与"模型训练"之间的接口位置。接口定义模糊，上游拍得再多也白费，下游模型再强也吃不进去。很多项目失败并非模型不行，而是素材从一开始就没有按照模型能吃的方式组织。

1.1 三类典型场景对素材的不同诉求

不同任务对素材的诉求并不一致，理解这一点才能避免"一刀切"地套用规范。下表整理了当前主流三类场景的差异。

场景	核心诉求	对段数的偏好	对时长的偏好
时序动作定位（TAL）	边界清晰、类别均衡	偏多，8-15 段	偏短，1-2 秒
视频-语言预训练	语义丰富、可描述	中等，6-10 段	2-3 秒
视频生成/动作合成	动作完整、物理合理	偏少，6-8 段	2-3 秒

可以看到，6-15 这个区间恰好覆盖了三类场景的交集。这也是规范选择该区间的现实理由之一。

1.2 一个被忽视的成本模型

素材规范的经济意义常被忽略。假设标注一条 10 秒素材的成本为 C，其中固定开销（打开、定位、提交）为 C0，每段标注成本为 c。则总成本 C = C0 + n·c，n 为段数。若把同样 10 秒切成 5 段而非 15 段，单条成本下降，但为了达到相同的总段数，需要采集的素材条数增加，固定开销 C0 被重复支付。存在一个最优段数使单位段成本最低，这个最优值在多数标注平台的实际计费结构下落在 6-15 区间。本文评述：规范的经济性不是附加项，而是决定它能否被团队长期执行的关键。

二、核心主线：动作语义密度 ASD 的定义与度量

要让"6-15 段、差异大、1-3 秒"这三条不显得零散，需要一个统一的主线把它们串起来。本文提出的主线是动作语义密度（Action Semantic Density, ASD）：单位时间内可被独立标注、且语义上互不重复的动作事件数量。

ASD 的直觉很简单：一段素材如果 10 秒里只有 1 个动作，密度就是 0.1 事件/秒；如果有 10 个动作，密度就是 1.0 事件/秒。密度太低，模型学不到时序结构；密度太高，标注者来不及反应，边界模糊。6-15 段配 1-3 秒时长，恰好把 ASD 锁定在一个可控区间。

2.1 ASD 的形式化

设一条素材总时长 T，其中包含 n 个动作段，第 i 段时长 t_i，则：

ASD = n / T
平均段时长 t̄ = T / n = 1 / ASD

这个关系式揭示了一个关键事实：段数与时长不是两个独立约束，而是同一个约束的两种表述。当我们说"6-15 段、1-3 秒"时，实际在说 ASD 应落在 [1/3, 1/1] 区间，即 0.33 到 1.0 事件/秒。若 T = 15 秒、n = 6，则 t̄ = 2.5 秒，ASD ≈ 0.4；若 T = 15 秒、n = 15，则 t̄ = 1 秒，ASD = 1.0。两端都在合理区间内。

2.2 为什么用密度而非绝对段数

绝对段数会随素材总时长漂移。一条 30 秒素材含 15 段，ASD = 0.5；一条 6 秒素材含 15 段，ASD = 2.5，后者已经超出人类可靠标注的边界。用 ASD 作为主线，可以在不同总时长下保持规范的一致性。本文评述：规范写成"6-15 段"是为了现场好记，但真正约束模型行为的是 ASD，工程上应以后者为准做验收。

2.3 ASD 与下游指标的经验关联

在时序动作定位任务中，mAP@tIoU 是常用指标。多项公开研究显示，训练集 ASD 过低时模型倾向于预测长片段，tIoU 高阈值下的召回明显下降；ASD 过高时模型预测碎片化，边界抖动加剧。这一现象在 ActivityNet 与 THUMOS14 两个基准上均有体现（相关分析见 Zhao et al., 2022；Liu et al., 2023）。需要说明的是，这些结论来自对公开数据集的统计观察，并非受控实验，读者应结合自身数据验证。

工程提示：在自建数据集时，建议先统计现有素材的 ASD 分布，再决定是否需要补采。若中位数已落在 0.4-0.8，通常无需大改；若低于 0.3，说明素材过于"拖沓"，是补采的强信号。

三、约束一：为什么是 6-15 段

6 和 15 这两个数字不是随手写的。它们分别对应两个边界：下界来自"时序结构可学性"，上界来自"标注注意力衰减"。

3.1 下界 6：时序结构可学性

认知科学中有一个经典发现：人类在观看连续行为时，会自动将其切分为层级化的事件单元。Newtson 在 1973 年的实验中发现，当被要求"尽可能细地"标记行为边界时，受试者的切分密度存在一个稳定范围，且过细的切分会导致一致性骤降。后续研究（Zacks & Tversky, 2001；Baldassano et al., 2017）进一步表明，事件边界的感知与大脑海马体的神经活动变化相关，边界处往往伴随显著的情境转换。

把这一结论迁移到素材设计：如果一条素材只有 2-3 个动作段，段间转换太少，模型难以学到"转换"这一模式本身。6 段是让转换模式至少出现 5 次的经验下界。本文评述：这是从"模式可学"角度给出的下界，而非从统计显著性角度。5 次转换在多数时序模型里已能形成可区分的特征响应。

3.2 上界 15：标注注意力与一致性

标注是一项高认知负荷工作。多项标注一致性研究（如 Sigurdsson et al., Charades, ECCV 2016；Kuehne et al., 2014 的 Breakfast 数据集工作）显示，当单条素材需要标注的动作段超过 15 个时，标注者之间的边界一致性（以 tIoU 衡量）会明显下降。Charades 数据集的构建报告就提到，为控制质量，他们对单条视频的标注动作数量做了上限约束。

此外，标注平台的界面通常一屏只能显示有限时长，段数过多会导致频繁滚动，进一步拉低效率。15 段是在"信息量"与"可标注性"之间折中的上界。

段数区间	主要风险	建议动作
< 6	时序结构不足，模型学到"长片段"偏置	补采或合并多条素材
6-15	—（目标区间）	正常进入标注流程
> 15	标注一致性下降，边界抖动	拆分为多条素材

3.3 段数与总时长的耦合

如果坚持 6-15 段，总时长就应落在 6×1=6 秒到 15×3=45 秒之间。实际工程中，多数团队会把单条素材总时长控制在 10-30 秒，这样既满足段数要求，又不至于单条素材过大影响传输与解码。本文评述：10-30 秒是一个"甜区"，它让 ASD 自然落在 0.2-1.5 之间，覆盖了绝大多数任务的需求。

四、约束二：动作差异大的可操作定义

"动作差异大"是最容易被口头化、也最容易被忽略的一条。如果一条素材里 10 段全是"挥手"，模型学到的只是同一动作的重复，泛化能力无从谈起。但"差异大"到底指什么？需要给出可操作的定义。

4.1 三个层次的差异

笔者认为，动作差异应分三个层次考察，缺一不可：

1. 类别差异：动作语义类别不同，如"挥手"与"蹲下"。这是最粗粒度、也最容易保证的差异。
2. 动力学差异：即使类别相近，运动的速度、幅度、方向不同。如"快速挥手"与"缓慢挥手"在动力学上差异显著。
3. 情境差异：动作发生的背景、交互对象、视角不同。这决定了模型能否学到与情境解耦的动作表征。

只满足类别差异的素材，在跨域测试时往往表现不佳。Charades 数据集之所以强调"日常室内活动"，正是因为情境多样性对泛化至关重要。

4.2 差异性的量化：从主观到可计算

主观判断"差异大"不可复现。工程上可以用以下方式量化：

方法一：类别标签的熵。对一条素材内所有段的类别标签计算香农熵 H = -Σ p_i log p_i。熵越高，类别分布越均匀，差异越大。若 10 段全同类，H = 0；若 10 段全不同类，H = log 10 ≈ 2.30。建议单条素材类别熵不低于 1.0。

方法二：光流统计距离。对每段计算平均光流幅度与方向直方图，段间计算直方图距离（如 Earth Mover's Distance）。距离越大，动力学差异越显著。这一方法计算量较大，适合抽样质检而非全量。

方法三：特征嵌入余弦距离。用预训练视频编码器（如 VideoMAE、InternVideo）提取每段特征，计算段间平均余弦距离。这是当前最实用的方法，兼顾速度与语义敏感性。

# 段间特征差异度（模拟示例）
import numpy as np
feats = np.load("segment_feats.npy")   # shape: [n_seg, d]
feats = feats / np.linalg.norm(feats, axis=1, keepdims=True)
sim = feats @ feats.T
n = sim.shape[0]
off_diag = sim[~np.eye(n, dtype=bool)]
mean_sim = off_diag.mean()
diversity = 1 - mean_sim          # 越大越多样
print(f"mean_sim={mean_sim:.3f}, diversity={diversity:.3f}")

本文评述：三种方法各有取舍。类别熵最省事但粒度粗；光流最贴近物理但慢；特征嵌入是当前性价比最高的选择。建议在采集阶段用类别熵做快速筛查，在验收阶段用特征嵌入做抽样复核。

4.3 差异性的"度"：过犹不及

差异并非越大越好。如果一条素材内动作类别毫无关联（如"切菜"接"跑步"接"弹琴"），语义上缺乏连贯性，模型反而难以学到合理的时序先验，标注者也容易困惑。理想的素材应满足"主题相关、动作多样"——同一场景或同一任务链条下的多种动作。本文评述：这一原则与电影剪辑中的"场景内多镜头"逻辑相通，本质是在多样性与连贯性之间取平衡。

五、约束三：1-3 秒时长的边界推导

单段 1-3 秒，是三条约束里最"硬"的一条，因为它直接由人类动作的物理时长与模型的时间感受野共同决定。

5.1 下界 1 秒：动作可辨识性

一个动作要被可靠识别，至少需要包含完整的"起始-过程-结束"三个阶段。多数日常动作（如拿起杯子、挥手、开门）的完整周期在 0.8-1.5 秒之间。低于 1 秒，往往只能截取动作的一部分，标注者难以判断边界，模型也难以学到完整运动模式。这一观察与动作识别数据集的设计一致：Kinetics-400 的片段普遍在数秒量级，而更细粒度的动作单元研究（如 FineGym，Shao et al., CVPR 2020）则把体操动作细分到 1-3 秒的子动作。

5.2 上界 3 秒：时序定位的歧义控制

超过 3 秒的段，内部往往包含多个子动作或状态变化，标注者对其边界的判断开始分歧。时序动作定位研究中的 tIoU 阈值（常用 0.5）意味着预测段与真实段需有 50% 以上重叠才算命中。段越长，达到高 tIoU 越难，模型训练信号越稀疏。把段长控制在 3 秒内，可以让 tIoU 评估更稳定。

5.3 与模型时间感受野的匹配

主流视频模型的时间维度设计也支持 1-3 秒这一区间。以 30fps 计，1 秒 = 30 帧，3 秒 = 90 帧。多数 3D 卷积或时空 Transformer 在单次前向中处理 16-64 帧，通过时间下采样或滑窗覆盖更长时间。1-3 秒的段恰好落在单窗口或少量窗口内，便于模型对齐。

段时长	30fps 帧数	主要问题
< 1 秒	< 30	动作不完整，边界难判
1-3 秒	30-90	—（目标区间）
> 3 秒	> 90	内部子动作多，tIoU 难达标

本文评述：1-3 秒这个区间并非绝对真理，而是"动作物理时长"与"模型处理能力"在当前技术条件下的交集。随着长视频建模能力提升，上界可能放宽；但在可预见的几年内，它仍是稳健选择。

六、拍摄清单：从脚本到现场执行

理论讲完，进入可执行部分。以下清单可直接打印带到拍摄现场。

6.1 拍摄前：脚本设计清单

• 确定主题：每条素材围绕一个场景或任务链，如"厨房备菜""办公室整理"。避免跨场景拼接。
• 列出动作清单：为每条素材列出 6-15 个候选动作，确保类别熵 ≥ 1.0。
• 预估时长：每个动作按 2 秒估算，总时长控制在 12-30 秒。
• 标注视角与机位：固定机位优先，避免剧烈晃动；如需多视角，单独成条。
• 准备场记表：记录每条素材的动作顺序、大致时间点，便于后期切分。

6.2 拍摄中：现场执行要点

现场执行最容易出的问题是"动作之间停顿过长"或"动作之间衔接过紧"。前者导致 ASD 偏低，后者导致边界模糊。建议在动作之间保留 0.3-0.5 秒的自然过渡，既不拖沓也不粘连。

光照与背景同样重要。背景杂乱会干扰模型对动作主体的关注，建议使用纯色或低纹理背景。若无法控制背景，至少保证同一素材内背景一致，避免模型把背景变化误学为动作变化。

现场口诀：一个场景、一条主线、六到十五个动作、每个动作两秒左右、动作之间留半秒。

6.3 拍摄后：素材入库清单

1. 检查总时长是否落在 12-45 秒。
2. 粗数动作段数，是否在 6-15 之间。
3. 抽查 3 段，判断动作是否完整、边界是否清晰。
4. 记录元数据：拍摄时间、地点、设备、机位、光照条件。
5. 按统一命名规则入库，如 scene_kitchen_001.mp4。

七、标注与切分流程的工程落地

素材拍完只是开始，切分与标注才是决定数据可用性的关键环节。

7.1 切分策略：人工、半自动与全自动

切分方式有三类。人工切分精度高但慢；半自动用镜头检测或运动突变检测给出候选边界，再由人工修正；全自动依赖时序动作分割模型，目前精度尚不足以直接用于生产。本文评述：在数据量不大（数千条以内）时，半自动是性价比最高的选择。

开源工具方面，PySceneDetect 可用于镜头边界检测，TransNetV2 在镜头转换检测上有较好表现。这些工具给出的是"镜头边界"，与"动作边界"并不完全一致，需要人工二次判断。相关教程可参考 PySceneDetect 官方文档与 GitHub 仓库。

7.2 标注规范：边界与标签

标注规范应明确两件事：边界如何定、标签如何选。边界方面，建议以"动作起始帧"为段起点，"动作结束帧的下一帧"为段终点，避免重叠。标签方面，应维护一个受控词表，禁止标注者自由发挥，否则后期合并成本极高。

规范项	要求	常见错误
段起点	动作起始帧	提前 10 帧以上
段终点	动作结束帧下一帧	与下一段重叠
标签	受控词表内	同义异名
段数	6-15	漏标或重复标

7.3 一致性校验

建议对 10% 的素材做双人标注，计算边界 tIoU 与标签一致率。tIoU 低于 0.7 或标签一致率低于 0.85 的素材，应退回重标或剔除。这一流程虽增加成本，但能显著降低下游模型的噪声。

八、质量验收：指标、阈值与失败模式

验收是规范落地的最后一环。以下给出一套可量化的验收指标。

8.1 核心验收指标

指标	定义	建议阈值
段数合规率	段数在 6-15 的素材占比	≥ 90%
ASD 中位数	n / T 的中位数	0.4-0.8
类别熵均值	单条素材类别熵的均值	≥ 1.0
段时长合规率	段长在 1-3 秒的占比	≥ 85%
边界一致率	双标 tIoU ≥ 0.7 的占比	≥ 80%

上述阈值为工程经验值，不同任务可微调。本文评述：阈值的作用不是卡人，而是让问题早暴露。若某批素材段数合规率只有 60%，说明拍摄脚本阶段就出了问题，应回溯流程而非硬扛。

8.2 五类典型失败模式

1. 拖沓型：动作之间停顿过长，ASD 偏低。对策：现场留白控制在 0.5 秒内。
2. 粘连型：动作衔接过紧，边界模糊。对策：动作间留 0.3 秒自然过渡。
3. 重复型：段内动作高度相似，类别熵低。对策：脚本阶段强制动作多样性。
4. 碎片型：段数过多或段长过短。对策：合并相邻同类段。
5. 漂移型：背景或光照在素材内剧烈变化。对策：固定机位与光照。

九、前沿预判：从人工清单到自动化生成

当前素材准备仍以人工为主，但趋势已经清晰：自动化程度会逐步提高。

9.1 自动切分与主动学习

时序动作分割模型的精度在持续提升，未来有望承担初筛工作。主动学习（Active Learning）则可以让模型挑选"最有价值"的片段请求人工标注，从而在同等标注预算下获得更高信息量。相关研究在视频理解领域已有初步探索。

9.2 合成数据与真实数据的配比

合成数据（如通过游戏引擎或扩散模型生成）成本低、可控性强，但与真实数据存在域差异。当前较稳妥的做法是"真实为主、合成为辅"，合成数据用于补充长尾类别。本文评述：合成数据短期内不会取代真实拍摄，但会显著改变素材准备的成本结构。

9.3 规范本身的演化

随着长视频建模能力增强，1-3 秒的上界可能放宽；随着标注工具智能化，15 段的上界也可能上移。但 ASD 这一主线不会过时，因为它描述的是"信息密度"这一本质约束。规范可以变，主线应稳定。

十、结论与可复用检查表

本文以动作语义密度 ASD 为主线，把"6-15 段、动作差异大、时长 1-3 秒"这三条看似独立的经验规则，统一到一个可度量、可验收的框架下。核心结论有三点：其一，段数与时长本质是同一约束的两种表述，工程上应关注 ASD 而非绝对数字；其二，动作差异需从类别、动力学、情境三个层次考察，并可用类别熵或特征嵌入距离量化；其三，1-3 秒的时长边界由动作物理时长与模型感受野共同决定，短期内稳健。

素材规范不是束缚创造力的枷锁，而是让数据资产可复用、可积累的基础设施。把它写下来、执行下去、定期复盘，是团队从"作坊式采集"走向"工程化数据生产"的必经一步。

主要参考文献

说明：文中涉及的公开数据集（ActivityNet、THUMOS14、Charades、Kinetics-400、FineGym）均为学术界公开资源，其统计特征与预处理细节请以原始论文与官方仓库为准。本文引用的经验阈值来自对公开资料的整合与工程实践归纳，部分为模拟数据，仅作示意，不代表任何机构的官方标准。