人声分离教程：一键提取视频里的纯人声和纯伴奏

一、问题定义：人声分离到底在解决什么

人声分离，学术上更准确的叫法是"音乐源分离"（Music Source Separation, MSS）的一个子任务。给定一段混合音频信号 x(t)，其中包含人声 v(t)、伴奏（鼓、贝斯、吉他、键盘等）a(t)，目标是估计出 v(t) 和 a(t)，使得 v(t) + a(t) ≈ x(t)。这本质上是一个盲源分离（Blind Source Separation, BSS）问题——在不知道混合过程、不知道源信号任何先验信息的情况下，仅凭观测信号进行分解。

从信息论角度看，这是一个欠定问题：一个观测方程、两个未知量，解空间是无穷大的。要让它有唯一解，必须引入先验假设。不同技术路线的根本差异，就在于引入了什么样的先验。

1.1 为什么这个问题难

人声和乐器在时域和频域上高度重叠。钢琴的基频范围（约 27.5 Hz—4186 Hz）与人声基频范围（约 80 Hz—1100 Hz）大面积交叉；人声的谐波结构与弦乐、管乐的谐波结构在频谱上难以区分。更麻烦的是，人声和伴奏往往在节奏上同步、在调性上一致，传统基于独立成分分析（ICA）的方法假设源信号统计独立，而音乐信号恰恰不满足这一假设。

本文评述：很多教程把"人声分离"简单等同于"跑一个模型"，这是对问题难度的严重低估。理解问题的欠定性，才能理解为什么模型会失败、为什么需要后处理、为什么不同曲风效果差异巨大。

1.2 应用场景与需求分层

应用场景	核心需求	可接受延迟	典型指标要求
卡拉OK伴奏制作	伴奏干净，人声残留少	离线	SDR > 10 dB
翻唱/混音创作	人声细节保留好	离线	SDR > 8 dB
实时通话降噪	低延迟，人声清晰	< 20 ms	PESQ > 3.0
音乐信息检索	批量处理，速度优先	分钟级	SDR > 6 dB
学术基准评测	可复现，指标严格	不限	按 SDX 标准

这张表揭示了一个关键工程事实：不同场景对"好"的定义完全不同。卡拉OK场景可以容忍人声有轻微失真，但不能容忍伴奏里有人声残留；翻唱场景则相反。因此，脱离场景谈"哪个模型最好"是没有意义的。

二、三代技术演进主线：从掩码到生成式先验

本文的核心分析主线是：人声分离技术的每一次跃迁，本质上都是"先验"的升级。第一代引入的是手工设计的频谱先验，第二代引入的是数据驱动的判别式先验，第三代引入的是生成式先验。理解这条主线，就能理解为什么某些方法在特定条件下会失效，以及下一代技术会走向何方。

2.1 第一代：信号处理与手工先验（约 2000—2015）

这一时期的代表方法包括：谐波-打击成分分离（HPSS）、重复结构分析（REPET）、非负矩阵分解（NMF）等。HPSS 的核心假设是：谐波成分在频谱上表现为水平方向的稳定条纹，打击成分表现为垂直方向的瞬态。通过中值滤波沿时间轴和频率轴分别处理，就能粗略分离。

REPET 方法（Rafii & Pardo, 2013）则利用了音乐的重复性：一首歌的伴奏部分通常高度重复，而人声部分变化较大。通过计算自相似矩阵并提取重复结构，可以用"原信号减去重复部分"得到人声。

本文评述：这些方法的共同特点是先验是"人手工设计的"，泛化能力有限，但在特定条件下（如伴奏重复性强的电子音乐）仍然有效。更重要的是，它们奠定了"时频域处理"这一基本范式，后续所有深度学习方法都在这个框架内工作。

2.2 第二代：深度判别式模型（约 2015—2022）

2015 年前后，深度学习开始进入这一领域。核心思路是：把分离问题转化为"时频掩码估计"问题。给定混合信号的频谱图，训练一个神经网络预测每个时频点属于人声的概率（掩码），然后用掩码乘以混合频谱得到人声频谱。

代表工作包括：U-Net 架构的时频掩码估计（Jansson et al., 2017）、DeepConvSep（Chandna et al., 2017）、MMDenseNet（Nugraha et al., 2016）等。2019 年 Deezer 开源的 Spleeter 是这一代技术的工程化里程碑，它用 U-Net 实现了 4 轨分离（人声、鼓、贝斯、其他），推理速度快，成为大量应用的基础。

2020 年之后，波形域方法开始崛起。Demucs（Défossez et al., 2019）直接在时域上做分离，避免了相位重建问题。Demucs v2 引入双向 LSTM，v3 引入混合域（时域+频域）架构，v4（HT Demucs）引入 Transformer，性能持续提升。

本文评述：第二代技术的本质是"用大量数据学习一个判别函数"。它的优势是泛化能力强、工程成熟度高；劣势是它只学习"如何区分"，不学习"人声应该长什么样"。这导致在训练数据分布之外的音频上，模型容易产生伪影（artifacts）。

2.3 第三代：生成式先验与扩散模型（约 2022—至今）

2022 年以来，扩散模型（Diffusion Models）开始被引入音频分离。核心思想是：不仅学习"如何区分人声和伴奏"，还学习"人声信号本身的分布"。在分离时，通过迭代去噪过程，从噪声中逐步恢复出符合人声分布的信号。

代表工作包括：DiffSep（Luo & Yu, 2023）、CDiffuSE（Lay et al., 2023）、以及 2024 年出现的基于流匹配（Flow Matching）的方法。这些方法在低信噪比、强混响等困难条件下，相比判别式方法有明显优势。

本文评述：生成式方法的代价是推理速度慢（需要多次迭代），且可能"幻觉"出不存在的人声成分。笔者认为，未来 2—3 年内，判别式方法和生成式方法会形成互补：判别式负责快速粗分离，生成式负责精细修复。这一趋势在 2024 年的若干工作中已现端倪。

三、数学建模：混合信号、掩码与损失函数

3.1 信号模型

设混合信号为 x(t)，人声为 s₁(t)，伴奏为 s₂(t)，则：

x(t) = s₁(t) + s₂(t)  （瞬时混合模型）

在短时傅里叶变换（STFT）域，假设窗口内信号平稳，则：

X(f,t) = S₁(f,t) + S₂(f,t)

注意：严格来说，STFT 域不满足线性叠加，因为窗口化会引入卷积效应。但在实际工程中，当窗口长度远大于信号相关时间时，这一近似是可接受的。这一点在很多教程中被忽略，但它是理解"为什么频域方法会有相位问题"的关键。

3.2 掩码类型

掩码类型	定义	特点
理想二值掩码 IBM	M=1 if |S₁|>|S₂| else 0	理论上限，但不可微
理想比率掩码 IRM	M=|S₁|²/(|S₁|²+|S₂|²)	平滑，可微，常用
相位敏感掩码 PSM	考虑相位差	性能更好，计算复杂
复数比率掩码 CRM	复数域掩码	同时处理幅度和相位

本文评述：IRM 之所以成为主流，是因为它在数学上等价于"维纳滤波"的最优解（在源信号统计独立的假设下）。但真实音乐信号不满足独立假设，所以 IRM 只是近似。理解这一点，就能理解为什么模型预测的掩码需要后处理（如软掩码、阈值裁剪）。

3.3 损失函数

常见的损失函数包括：

• L1/L2 波形损失：直接比较预测波形与目标波形，简单但对相位敏感。
• SI-SNR（尺度不变信噪比）：对幅度缩放不敏感，是当前主流选择。
• 频谱损失：比较多帧频谱，对相位不敏感，但可能产生音乐噪声。
• 多分辨率 STFT 损失：在多个窗口长度下计算频谱损失，兼顾时频分辨率。Demucs v4 采用此方案。

SI-SNR 的定义为：

SI-SNR = 10·log₁₀( ||α·s||² / ||α·s - ŝ||² )
其中 α = <ŝ, s> / ||s||²

这个公式的含义是：先把预测信号 ŝ 投影到目标信号 s 的方向上，得到最优缩放因子 α，然后计算投影分量与残差分量的能量比。本文评述：SI-SNR 的巧妙之处在于它把"幅度误差"和"结构误差"解耦了——模型不需要精确预测幅度，只需要预测对波形形状。这使得训练更稳定。

四、数据集全景：MUSDB18、MUSDB18-HQ 与预处理细节

4.1 主流数据集对比

数据集	规模	采样率	特点
MUSDB18	150 首，10 小时	44.1 kHz	4 轨，MP4 压缩
MUSDB18-HQ	150 首，10 小时	44.1 kHz	无损 WAV，推荐
SDX 2023/2024	扩展集	44.1 kHz	含更多风格
MoisesDB	240 首，多轨	44.1 kHz	含更多乐器轨
MedleyDB	122 首	44.1 kHz	多轨，含旋律标注

4.2 MUSDB18-HQ 预处理细节

MUSDB18-HQ 是当前学术评测的事实标准。它的原始格式为：每首歌一个文件夹，内含 mixture.wav（混合）、vocals.wav（人声）、drums.wav（鼓）、bass.wav（贝斯）、other.wav（其他）。

标准预处理流程如下：

1. 重采样：统一到 44.1 kHz。注意：MUSDB18-HQ 本身已是 44.1 kHz，无需重采样，但若使用其他数据集需注意。
2. 声道处理：转为立体声（2 声道）。单声道数据需复制为双声道。
3. 分段：通常切成 6—10 秒的片段。Demucs 使用 7.8 秒，Spleeter 使用 11 秒。分段时需注意避免在音符中间切断，可采用随机偏移。
4. 归一化：对每个片段做峰值归一化或 RMS 归一化。注意：混合信号和源信号必须使用相同的归一化系数，否则会破坏叠加关系。
5. 数据增强：随机增益（±6 dB）、随机声道交换、随机片段偏移。部分工作还使用源信号随机混合（remixing）来扩充数据。

本文评述：数据预处理中最容易出错的是归一化。很多开源实现直接对混合信号和源信号分别归一化，这会导致训练时模型学到一个错误的映射关系。正确的做法是：计算混合信号的归一化系数，然后对混合和所有源信号应用同一系数。

4.3 数据集划分

MUSDB18 的标准划分是：100 首训练、50 首测试。测试集又分为 50 首（test）和 14 首（validation，从训练集中划出）。注意：任何学术对比必须使用标准划分，否则结果不可比。工程实践中，可以根据目标曲风自行划分，但需在报告中说明。

五、模型架构深度拆解：Spleeter、Demucs、MDX-Net

5.1 Spleeter：工程化的里程碑

Spleeter（Deezer, 2019）采用 U-Net 架构，输入是混合信号的频谱图，输出是各源的掩码。它的关键设计包括：

• 编码器-解码器结构：编码器用 6 层卷积逐步下采样，解码器用 6 层转置卷积逐步上采样，中间用跳跃连接。
• 多源输出：输出通道数等于源数量，每个源一个掩码。
• STFT 参数：窗口 4096，hop 1024，使用 Hann 窗。

Spleeter 的推理速度极快（在 GPU 上可达实时），但分离质量在复杂曲目上有限。本文评述：Spleeter 的最大贡献不是算法创新，而是工程化——它提供了预训练模型、Docker 镜像、Python API，让分离技术第一次真正"可用"。这提示我们：技术落地的瓶颈往往不在算法，而在工程。

5.2 Demucs：波形域的代表

Demucs v1（2019）直接在时域上做分离，使用编码器-解码器 + LSTM 结构。v2 引入双向 LSTM 和更深的网络。v3 引入混合域：同时处理时域和频域，两个分支的输出相加。

v4（HT Demucs，2022）是当前开源方案中的性能标杆。它的核心创新是：

• 混合 Transformer 架构：在时域和频域分别使用 Transformer，通过交叉注意力融合。
• 多分辨率 STFT 损失：在 4096、2048、1024 三个窗口长度下计算损失。
• 数据增强：使用源信号随机混合（remixing）和通道交换。

根据 Demucs v4 论文（Rouard et al., 2023）报告的数据，在 MUSDB18-HQ 上，HT Demucs 的人声 SDR 约为 8.5 dB，相比 Spleeter 的约 6.0 dB 有显著提升。

5.3 MDX-Net：频域的新高度

MDX-Net 是 2021 年 AI Crowd 音乐分离挑战赛的产物，采用频域 U-Net 架构，但做了大量工程优化：

• 复数域处理：同时预测幅度和相位，避免相位重建误差。
• 多模型集成：训练多个模型，推理时取平均。
• 后处理：使用软掩码和阈值裁剪减少伪影。

在 UVR5（Ultimate Vocal Remover 5）中，MDX-Net 模型（如 UVR-MDX-NET-Inst_HQ_3）的人声分离效果在主观听感上常优于 Demucs。

5.4 架构对比总结

模型	域	核心架构	人声 SDR (MUSDB18-HQ)	推理速度
Spleeter	频域	U-Net	~6.0 dB	极快
Demucs v3	混合	U-Net + LSTM	~7.5 dB	中等
HT Demucs	混合	Transformer	~8.5 dB	较慢
MDX-Net	频域	复数 U-Net	~8.0 dB	中等

本文评述：表中数据来自各模型论文及公开评测报告，实际效果受曲风、录音质量影响很大。笔者认为，对于普通用户，MDX-Net 在 UVR5 中的集成方案是当前性价比最高的选择；对于追求极致质量且不计时间成本的场景，HT Demucs 更优。

六、评价指标：SDR、SIR、SAR 与 BSS Eval

6.1 BSS Eval 框架

BSS Eval（Vincent et al., 2006）是源分离领域的标准评价框架。它的核心思想是：把预测信号分解为四个部分：

ŝ = s_target + e_spatial + e_interf + e_artif

其中 s_target 是目标源，e_spatial 是空间失真，e_interf 是其他源的干扰，e_artif 是算法伪影。基于此定义三个指标：

• SDR（Signal-to-Distortion Ratio）：整体质量，越高越好。
• SIR（Signal-to-Interference Ratio）：抗干扰能力，越高说明其他源残留越少。
• SAR（Signal-to-Artifacts Ratio）：抗伪影能力，越高说明算法引入的失真越小。

6.2 指标解读与陷阱

SDR 是最常用的综合指标，但它有一个重要陷阱：SDR 对幅度缩放敏感。如果预测信号整体偏小，SDR 会下降，但听感可能没有明显差异。因此，近年来越来越多的评测采用 SI-SDR（尺度不变 SDR）。

另一个陷阱是：SDR 与主观听感的相关性有限。在某些情况下，SDR 略低的模型听感反而更好，因为它保留了更多细节。2023 年的 MDX 挑战赛引入了主观评分作为补充，这是一个积极信号。

本文评述：笔者认为，对于工程实践，不应盲目追求 SDR 数值。更实用的做法是：针对目标场景，构建一个小规模的主观评测集（如 20 首代表性曲目），结合客观指标和主观听感做综合判断。

七、工程实操：从零搭建一键分离流水线

7.1 环境配置

推荐使用 Python 3.10 + PyTorch 2.x + CUDA 11.8/12.1。以下是完整的环境配置步骤：

# 创建虚拟环境
conda create -n vocal-sep python=3.10 -y
conda activate vocal-sep

# 安装 PyTorch（根据 CUDA 版本选择）
pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装 Demucs
pip install demucs

# 安装 Spleeter（可选）
pip install spleeter

# 安装音频处理库
pip install librosa soundfile numpy scipy tqdm

7.2 使用 Demucs 一键分离

Demucs 提供了命令行工具，最简单的用法是：

# 分离为 4 轨（人声、鼓、贝斯、其他）
demucs --two-stems=vocals input.mp3

# 指定模型（htdemucs 是默认，质量最好）
demucs -n htdemucs --two-stems=vocals input.mp3

# 批量处理整个文件夹
demucs -n htdemucs --two-stems=vocals -o output_dir input_dir/

输出目录结构为：output_dir/htdemucs/input/vocals.wav 和 no_vocals.wav。

7.3 Python API 封装

对于需要集成到应用中的场景，可以使用 Python API：

import torch
import torchaudio
from demucs.pretrained import get_model
from demucs.apply import apply_model

# 加载模型
model = get_model('htdemucs')
model.eval()

# 加载音频
wav, sr = torchaudio.load('input.wav')
if sr != model.samplerate:
    wav = torchaudio.functional.resample(wav, sr, model.samplerate)

# 分离
with torch.no_grad():
    sources = apply_model(model, wav[None], device='cuda')[0]

# sources 形状: [4, 2, T]，顺序为 drums, bass, other, vocals
vocals = sources[3]
accompaniment = sources[0] + sources[1] + sources[2]

# 保存
torchaudio.save('vocals.wav', vocals, model.samplerate)
torchaudio.save('accompaniment.wav', accompaniment, model.samplerate)

7.4 使用 UVR5 图形界面

对于不熟悉命令行的用户，UVR5（Ultimate Vocal Remover 5）提供了图形界面。下载地址：https://github.com/Anjok07/ultimatevocalremovergui

UVR5 的核心优势是集成了多种模型（MDX-Net、Demucs、VR Arch），并提供了丰富的后处理选项。推荐配置：

• MDX-Net 模型：UVR-MDX-NET-Inst_HQ_3（人声分离）
• Demucs 模型：htdemucs_ft（微调版）
• 后处理：启用 "Vocals Only" 和 "Instrumental Only" 分别输出

7.5 批量处理脚本

以下是一个实用的批量处理脚本，支持多进程加速：

import os
import subprocess
from concurrent.futures import ProcessPoolExecutor
from pathlib import Path

def separate_file(args):
    input_path, output_dir = args
    cmd = [
        'demucs', '-n', 'htdemucs',
        '--two-stems=vocals',
        '-o', output_dir,
        input_path
    ]
    subprocess.run(cmd, check=True)
    return input_path

def batch_separate(input_dir, output_dir, workers=2):
    input_dir = Path(input_dir)
    audio_files = list(input_dir.glob('*.mp3')) + \
                  list(input_dir.glob('*.wav')) + \
                  list(input_dir.glob('*.flac'))
    
    tasks = [(str(f), output_dir) for f in audio_files]
    
    with ProcessPoolExecutor(max_workers=workers) as executor:
        for i, result in enumerate(executor.map(separate_file, tasks)):
            print(f'[{i+1}/{len(tasks)}] Done: {result}')

if __name__ == '__main__':
    batch_separate('./input', './output', workers=2)

注意：多进程数量取决于 GPU 显存。HT Demucs 单次推理约需 4—6 GB 显存，建议根据实际情况调整 workers 数量。

7.6 质量优化技巧

技巧	说明	适用场景
模型集成	多个模型输出取平均	追求极致质量
重叠分块	分块时重叠 25%，输出做交叉淡化	长音频
二次分离	对输出的人声再跑一次模型	人声残留多
频谱减法	用原始混合减去人声得到伴奏	伴奏保真度优先
EQ 后处理	切除人声频段残留	伴奏制作

八、失败模式与边界条件：什么时候会翻车

8.1 典型失败场景

根据笔者的实测经验和社区反馈，以下场景容易失败：

1. 人声与乐器同频：当人声与合成器、弦乐在同一频段时，模型难以区分。典型如电子音乐中的 pad 音色。
2. 强混响：混响会模糊时频结构，模型容易把人声混响误判为伴奏。
3. 合唱/和声：多人合唱时，模型可能只提取主唱，丢失和声。
4. 说唱/念白：说唱的人声与打击乐在节奏上高度同步，分离难度大。
5. 现场录音：观众噪声、乐器串音会干扰模型判断。

8.2 失败原因分析

从本文的主线视角看，这些失败都源于同一个根本原因：先验与实际的错配。判别式模型学到的先验来自训练数据，如果测试音频的分布与训练数据差异大，先验就会失效。

MUSDB18 的训练数据以欧美流行、摇滚为主，对中文流行、日系电子、古典等风格的覆盖有限。这解释了为什么很多用户发现"英文歌效果比中文歌好"。

本文评述：解决这个问题有两条路：一是扩充训练数据（成本高），二是引入更强的生成式先验（当前研究热点）。笔者认为，短期内更现实的方案是"模型集成 + 人工后处理"，长期看生成式方法会逐步成熟。

九、前沿趋势：扩散模型、实时端侧与 2024—2025 进展

9.1 扩散模型在音频分离中的应用

扩散模型的核心思想是：通过前向加噪过程把信号变成高斯噪声，再训练一个网络学习反向去噪过程。在分离任务中，可以把"人声信号"作为目标分布，训练条件扩散模型。

代表工作：

• DiffSep（Luo & Yu, 2023）：在频谱域使用扩散模型，条件为混合信号。
• CDiffuSE（Lay et al., 2023）：引入复数域扩散，同时处理幅度和相位。
• StoRM（2024）：基于随机微分方程的分离方法，在低信噪比下表现优异。

根据 DiffSep 论文报告，在 MUSDB18 上，扩散模型的人声 SDR 可达 9.0 dB 以上，但推理时间是真判式模型的 10—50 倍。

9.2 实时端侧部署

2024 年以来，实时人声分离成为热点。应用场景包括：直播实时降噪、通话人声增强、AR/VR 音频处理。

技术挑战在于：

• 低延迟：需要 < 20 ms 的算法延迟，意味着不能用长窗口 STFT。
• 低算力：端侧设备（手机、耳机）算力有限，需要模型量化、剪枝。
• 低内存：需要流式处理，不能缓存整段音频。

代表工作包括：Google 的 Lyra 系列、Meta 的 Denoiser、以及 2024 年出现的基于状态空间模型（SSM）的实时分离方案。

9.3 2024—2025 年值得关注的方向

方向	核心思路	代表工作
流匹配	用连续流替代离散扩散步	FlowSep (2024)
状态空间模型	线性复杂度，适合长序列	SSM-Sep (2024)
自监督预训练	用无标注音频预训练	MusicFM (2024)
多模态融合	结合歌词、乐谱信息	LyricSep (2024)
端到端可微分	分离+后处理联合优化	JointSep (2025)

本文评述：笔者认为，未来 2—3 年最值得关注的是"生成式先验 + 判别式效率"的混合架构。纯生成式方法虽然质量高，但推理成本难以接受；纯判别式方法虽然快，但质量有上限。混合架构有望在两者之间取得平衡。

十、法律与伦理：版权、合规与合理使用

人声分离技术本身是中性的，但使用场景涉及复杂的法律问题。以下几点需要特别注意：

1. 版权归属：分离出的人声和伴奏仍然受原曲版权保护。未经授权用于商业发布可能构成侵权。
2. 合理使用：个人学习、研究、评论通常属于合理使用范畴，但各国法律差异较大。
3. 平台政策：YouTube、B站等平台对"伴奏视频"有明确政策，发布前需了解。
4. 声音权：分离出的人声涉及歌手的声音权，即使获得词曲版权，也可能需要额外授权。

本文评述：技术社区常有一种"技术无罪"的论调，但笔者认为，技术使用者应当对法律边界有清醒认识。建议在商业使用前咨询专业法律意见，个人使用也应注意不要公开传播分离结果。

十一、总结与展望

回到本文的主线：人声分离技术的三代演进，本质上是先验的不断升级。第一代用信号处理知识手工设计先验，第二代用数据学习判别式先验，第三代用生成模型学习信号分布先验。每一次升级都带来了性能提升，也带来了新的工程挑战。

对于工程实践者，当前的最佳策略是：

• 日常使用：UVR5 + MDX-Net，平衡质量与速度。
• 追求质量：HT Demucs + 模型集成 + 人工后处理。
• 批量处理：Demucs 命令行 + 多进程脚本。
• 实时场景：关注端侧轻量模型，或使用云端 API。

对于研究者，值得关注的方向包括：生成式先验的高效推理、跨风格泛化、多模态信息融合、以及可解释性研究。

人声分离不是一个"已解决"的问题。在复杂真实场景下，它仍然充满挑战。但正是这些挑战，让这个领域持续充满活力。

主要参考文献