突发杂音处理：咳嗽声、关门声的分割删除与音量归零

一、问题的本质：为什么突发杂音这么难处理

1.1 突发杂音与稳态噪声的根本区别

音频降噪领域长期被“稳态噪声”主导——空调嗡鸣、电流底噪、风扇声，这类信号在时间维度上统计特性相对稳定，用谱减法、维纳滤波乃至基于深度学习的谱映射都能取得不错效果。但咳嗽声、关门声、拍手声、键盘敲击声属于完全不同的范畴：它们持续时间短（通常50ms到500ms）、能量突变剧烈、频谱宽且非平稳，在时频图上表现为一条条突兀的“竖线”。

这类信号在学术上被归类为声学事件（Acoustic Event），与语音、音乐并列为三大音频内容类型。它们和稳态噪声的核心差异在于：稳态噪声可以“减掉”，而突发事件只能“切除”或“替换”。这是本文的一条核心判断——降噪与去事件是两类问题，工具和思路不能混用。

1.2 处理目标的两条路线：删除 vs. 归零

面对一段夹杂咳嗽声的语音，处理目标其实有两种截然不同的取向：

• 分割删除（Cut/Splice）：把杂音所在的时间片段整段剪掉，再把前后语音拼接起来。优点是彻底干净，缺点是会改变时间轴，可能造成语音截断、节奏突变，对音乐或有严格时间对齐要求的场景不适用。
• 音量归零（Mute/Gate）：保留时间轴，只把杂音片段的增益拉到极低（如-60dB或数字静音）。优点是不破坏时间结构，缺点是留下一个“静音坑”，在连续语音中听感突兀，且若杂音与语音重叠则无法干净去除。

笔者认为，这两条路线并非二选一，而应根据杂音是否与目标语音重叠来决策：无重叠时优先分割删除，有重叠时只能归零或转向语音分离/补全。这个决策树是全文工程方法论的骨架。

1.3 一个被低估的难点：边界与淡入淡出

无论删除还是归零，真正的工程难点往往不在“检测到杂音”，而在“边界处理”。检测模型给出的时间戳通常有几十毫秒误差，如果直接硬切，会在拼接点产生“咔哒”声（click），这是波形不连续导致的瞬态冲击。因此工程上必须做边界扩展（padding）与交叉淡化（crossfade）。这部分细节在学术论文中常被一笔带过，却是决定成品听感的关键。

二、声学事件检测的技术演进与核心方法

2.1 从信号处理到深度学习的三个阶段

声学事件检测（Sound Event Detection, SED）的发展大致经历三个阶段。第一阶段（2000年代前后）以手工特征加传统分类器为主，典型流程是提取MFCC、过零率、谱通量等特征，再用GMM、SVM或HMM建模。这一阶段在受控环境下有效，但泛化能力弱。

第二阶段（2015年前后）随DCASE挑战赛兴起，深度神经网络成为主流。卷积循环神经网络（CRNN）成为SED的经典架构，卷积层提取局部时频特征，循环层建模时间依赖，输出帧级或段级事件概率。这一架构至今仍是许多工程方案的基线。

第三阶段（2020年至今）以自监督预训练和Transformer架构为标志。PANNs、AST、BEATs、WavLM等模型通过大规模音频预训练获得强泛化表征，在下游SED任务上以少量标注即可达到甚至超越全监督模型。这一转变对工程实践意义重大——过去需要数千小时标注数据才能训好的检测器，现在可以基于开源预训练模型快速微调。

表1：声学事件检测技术演进对比（据DCASE历年任务报告及公开文献整理）

2.2 强标签、弱标签与半监督

SED任务的数据标注粒度直接决定方法选择。强标签（strong labels）给出每个事件的确切起止时间，训练出的模型能做精确时间定位，但标注成本极高。弱标签（weak labels）只标注一段音频里出现了哪些事件，不标时间，训练出的模型只能做分类。真实场景中，强标签数据稀缺，弱标签和未标注数据大量存在。

DCASE 2018 Task 4首次系统提出弱标签与半监督框架，后续多年任务延续这一设定。主流做法是多实例学习（MIL）：把一段音频切成多个片段，弱标签作用于整段，模型学习为每个片段打分，最终通过时间聚合得到事件位置。本文评述：MIL思路巧妙，但存在“注意力塌缩”风险——模型可能只关注最显著的片段而忽略其他事件，工程中需配合帧级平滑与阈值后处理。

2.3 定位精度：从帧级到样本级

对杂音删除而言，检测的时间精度直接决定切得干不干净。帧级定位通常以10ms或20ms为帧移，精度在几十毫秒量级；样本级定位则追求毫秒甚至亚毫秒精度。近年来出现了一些针对瞬态事件的高精度定位方法，例如基于起始点检测（Onset Detection）的辅助定位，先用谱通量找到能量突变的起始帧，再在局部用高分辨率分析精修边界。

笔者认为，纯数据驱动的检测器在边界精度上往往不如“检测器粗定位+信号处理精修”的混合方案。工程实践中，先用模型给出大致区间，再用能量包络的拐点检测精修边界，是性价比很高的做法。

三、特征工程：从短时能量到自监督表征

3.1 经典声学特征及其适用性

在深度学习普及之前，突发杂音检测主要依赖几类手工特征。短时能量（Short-Time Energy）对能量突变敏感，是检测咳嗽、关门最直接的指标；谱通量（Spectral Flux）衡量相邻帧频谱变化，对瞬态事件响应强烈；过零率（Zero-Crossing Rate）区分清音与噪声；MFCC则提供音色层面的表征。

这些特征至今仍有价值——它们计算量小、可解释性强，适合作为轻量级检测器的输入或深度模型的辅助特征。但单独使用时，短时能量容易被语音本身的爆破音（如/p/、/t/）误触发，谱通量对音乐中的打击乐也敏感。因此实际系统很少只用单一特征。

3.2 时频图与梅尔谱

深度模型普遍以对数梅尔谱（Log-Mel Spectrogram）作为输入。相比线性频谱，梅尔刻度更贴近人耳感知，对数压缩则平衡了动态范围。典型配置为：采样率16kHz或32kHz，FFT窗长1024或2048，帧移10ms或20ms，梅尔滤波器组64或128个。这一配置在DCASE和AudioSet相关任务中被广泛验证。

对于咳嗽声这类宽带瞬态事件，梅尔谱能清晰呈现其“竖条纹”特征。关门声则表现为低频能量集中加宽带冲击。这些视觉模式正是CNN擅长捕捉的。

3.3 自监督表征的崛起

2021年以来，音频自监督学习取得突破。BEATs（Chen等，2023）通过迭代式掩码声学建模，在AudioSet上刷新多项记录；WavLM（Chen等，2022）面向语音但表征可迁移；AudioMAE将视觉MAE思路迁移到音频谱图。这些模型输出的表征可直接用于下游SED，或用少量标注微调。

本文评述：自监督表征的最大价值在于降低了对强标注数据的依赖。对于咳嗽声检测这种标注成本高、隐私敏感的任务，基于预训练模型微调几乎是当前最优解。但要注意，预训练模型多在AudioSet这类通用数据上训练，对特定录音环境（如手机近场、会议室远场）仍需领域适配。

四、模型选型：CRNN、PANNs、BEATs与专用方案

4.1 CRNN：经久不衰的基线

CRNN由卷积层、循环层和全连接层组成。卷积层在梅尔谱上滑动，提取局部时频模式；双向GRU或LSTM沿时间轴建模上下文；输出层给出每帧的事件概率。在DCASE 2017至2019的多个任务中，CRNN及其变体长期占据榜首。

工程上，CRNN的优势是结构简单、推理快、易于部署。一个中等规模的CRNN在CPU上也能接近实时。对于只需要检测咳嗽、关门等少数几类事件的场景，从头训练一个CRNN配合适量数据，往往比调用大模型更实用。

4.2 PANNs与AudioSet预训练

PANNs（Kong等，2020）是在AudioSet上预训练的卷积神经网络集合，包含CNN14等不同规模模型。它提供两类用法：一是直接用作音频标签分类器，二是提取中间层特征作为下游任务的输入。PANNs的CNN14在AudioSet mAP上达到0.431（据原论文），成为后续大量工作的基线。

对杂音处理而言，PANNs的价值在于它已经“认识”咳嗽、关门、敲击等类别。直接推理即可得到帧级或段级的事件概率，再配合后处理即可用于定位。笔者认为，对于快速原型验证，PANNs是最省事的选择。

4.3 BEATs与Transformer时代

BEATs（Bootstrapping Audio Representation from Transformers）通过两阶段训练：先在大规模无标注音频上做掩码声学建模，再用有标注数据微调。其在AudioSet上的表现优于PANNs，且表征迁移能力强。AST（Audio Spectrogram Transformer）则直接把ViT架构用于谱图，在多项任务上表现优异。

这类模型的代价是参数量和推理成本。BEATs-base约9000万参数，在GPU上推理尚可，在边缘设备上则吃力。工程选型时需权衡精度与部署约束。

表2：主流声学事件检测模型对比（参数量据各模型原论文，实际因配置略有差异）

4.4 专用方案：咳嗽检测的定制化思路

咳嗽检测在医疗和公共卫生领域有独立研究脉络。早期工作多用咳嗽的声学特征（如爆发性起始、特定频谱包络）配合分类器。近年有研究将咳嗽检测建模为二分类SED问题，用CRNN或CNN在自建数据集上训练。由于咳嗽声的类内差异大（干咳、湿咳、清嗓），单一模型往往需要较大数据量。

本文评述：通用SED模型在咳嗽检测上表现尚可，但若应用对误报率极敏感（如医疗监测），专用模型加后处理更可靠。工程中可采用“通用模型初筛+专用模型精判”的两级架构。

五、工程落地：分割删除与音量归零的实操路径

5.1 完整处理流水线

一个可落地的突发杂音处理系统包含以下环节：

1. 预处理：统一采样率、单声道化、去直流、归一化。
2. 分帧与特征提取：计算对数梅尔谱，帧移10ms。
3. 事件检测：模型推理得到帧级概率。
4. 后处理：阈值化、中值滤波、最小事件时长过滤、事件合并。
5. 边界精修：能量包络拐点检测，扩展padding。
6. 修复：分割删除或音量归零，配合交叉淡化。
7. 输出：重采样、响度归一化、导出。

5.2 后处理：决定成败的细节

模型输出的原始概率图往往有毛刺和孤立误报。后处理的目标是得到干净、连续的事件区间。常用手段包括：

• 阈值化：典型阈值0.5，但可根据误报/漏报代价调整。对杂音删除，宁可多切一点（低阈值）也不要漏。
• 中值滤波：在时间轴上平滑概率，消除单帧抖动。
• 最小事件时长：过滤掉短于50ms的检测，避免把语音瞬态误判为事件。
• 事件合并：间隔小于100ms的相邻事件合并为一段，避免碎片化切割。
• 边界扩展：向两侧各扩展20-50ms，确保事件完整覆盖。

这些参数没有普适最优值，需根据录音环境、事件类型和目标听感调优。笔者认为，后处理参数的调试比模型选择更影响最终效果，值得投入时间做A/B试听。

5.3 分割删除的实现要点

分割删除的核心是把非事件区间拼接起来。实现时需注意：

# 伪代码：分割删除
keep_segments = complement(event_segments, total_duration)
output = concatenate([audio[s:e] for s, e in keep_segments])
# 拼接处加交叉淡化
for boundary in boundaries:
    apply_crossfade(output, boundary, fade_ms=10)

交叉淡化时长通常5-20ms。太短仍有咔哒声，太长会吃掉语音起始。对于语音场景，10ms是较稳妥的默认值。此外，若删除片段导致语音被截断（如咳嗽恰好发生在词中），拼接后会出现语义断裂，此时应改用音量归零或考虑语音补全。

5.4 音量归零的实现要点

音量归零保留时间轴，把事件区间的样本乘以一个极小增益或直接置零。关键仍是边界：硬置零会产生突变，需在事件区间两端加淡出淡入（fade out/in），时长通常10-30ms。若杂音与语音重叠，归零会连语音一起削掉，此时可考虑频域门控——只在杂音主导的频带和时间段做衰减，保留语音成分。

本文评述：音量归零是“保守疗法”，适合时间轴敏感的场景（如视频配音、音乐）。但它留下的静音坑在连续语音中可能比原杂音更突兀。工程中应提供试听对比，让用户决定。

六、数据集、评测指标与预处理细节

6.1 常用数据集

声学事件检测的公开数据集主要有：

• AudioSet：Google发布，约200万段10秒音频，527类，弱标签为主。是预训练的主要数据源。
• DCASE Task 4数据集：每年更新，含强标签、弱标签和未标注数据，专门面向SED。
• ESC-50：50类环境声音，每类40段，规模小但干净，适合快速验证。
• UrbanSound8K：10类城市声音，含部分瞬态事件。
• 咳嗽专用数据集：如COUGHVID、Coswara等，面向公共卫生研究，含咳嗽录音及元数据。

需注意，这些数据集的录音条件、设备、语言环境各异，直接迁移到目标场景往往有域偏移。工程中通常需要采集少量目标域数据做微调或领域适配。

6.2 评测指标

SED常用指标包括段级F1、帧级F1、事件级F1（基于事件起止的匹配），以及polyphonic SED中的PSDS（Polyphonic Sound Detection Score）。PSDS对事件定位的容差和交叉触发有更细致的考量，近年被DCASE广泛采用。对杂音删除任务，除了检测指标，还应关注修复后音频的感知质量，可用PESQ、STOI或主观MOS评估。

6.3 数据预处理细节

以AudioSet为例，原始数据为YouTube音频片段，预处理通常包括：统一重采样至16kHz或32kHz；转为单声道；峰值归一化至-1dBFS；按10秒切片；计算对数梅尔谱（64或128梅尔，窗长1024，帧移10ms）。对于强标签数据（如DCASE），需将标注的时间戳对齐到帧索引，并处理边界帧的标签分配。

模拟数据说明：本文中涉及的参数配置和流程描述基于公开文献与工程实践总结，部分数值为典型推荐值而非某单一实验的精确结果，实际应用需根据具体数据调整。

七、工具链与代码实践

7.1 开源工具概览

7.2 最小可运行示例

以下给出一个基于PANNs的检测+归零的简化流程：

import librosa, numpy as np
from panns_inference import SoundEventDetection

# 1. 加载音频
audio, sr = librosa.load("input.wav", sr=32000, mono=True)

# 2. 加载PANNs SED模型
sed = SoundEventDetection(checkpoint_path=None, device="cpu")
framewise = sed.inference(audio)  # shape: (frames, 527)

# 3. 取咳嗽、关门等目标类别概率
target_idx = [sed.labels.index("Cough"), sed.labels.index("Door")]
prob = framewise[:, target_idx].max(axis=1)

# 4. 阈值化 + 平滑
mask = prob > 0.5
mask = median_filter(mask, size=5)

# 5. 音量归零 + 淡化
fade = int(0.02 * sr)
for i in range(len(mask)):
    if mask[i]:
        s, e = i*320, (i+1)*320  # 假设帧移10ms@32kHz
        audio[s:e] *= np.linspace(1, 0, fade)[:e-s] if s+fade>e else 0

实际工程中还需处理帧与样本的对齐、多类别合并、边界扩展等细节。这段代码意在展示流程骨架。

7.3 性能与部署考量

实时场景（如直播、通话）对延迟敏感，需用流式推理。CRNN可改造为因果卷积+单向RNN，PANNs和BEATs则需分块推理加状态缓存。离线场景（如播客后期）可用大模型追求精度。工程中常见的折中是两级处理：实时用轻量模型做初筛，离线用大模型精修。

八、前沿预判与开放问题

8.1 端到端音频修复

传统流程是“检测—切除—拼接”，而端到端修复模型试图直接从受损音频生成干净音频。语音增强领域的生成式方法（如基于扩散模型、GAN的语音修复）已展现潜力，但针对突发杂音的专用修复仍不成熟。挑战在于：模型需要“理解”被杂音遮挡的内容并合理补全，这比去稳态噪声难得多。

本文评述：端到端修复在语音场景有前景，但对音乐、环境声等非语音内容，生成式补全可能引入不自然伪影。短期内，“检测+切除/归零”仍是工程主流，生成式方法更适合作为重叠场景的补充。

8.2 实时与边缘部署

随着TinyML和边缘AI发展，在手机、耳机、会议终端上实时检测并抑制突发杂音成为可能。关键挑战是模型压缩与功耗。知识蒸馏、量化、剪枝可将CRNN压缩到百KB级，满足嵌入式部署。笔者认为，未来两三年内，端侧实时杂音处理将成为会议软件和录音App的标配功能。

8.3 多模态与上下文感知

纯音频检测有其天花板。结合视频（如会议中说话人嘴部动作）、文本（如ASR转写）可提升检测准确率并辅助修复决策。例如，若ASR显示某段有词被咳嗽打断，系统可优先考虑补全而非简单删除。这类多模态方案在近年的研究中开始出现，但工程落地尚早。

8.4 评测与主观听感的鸿沟

当前评测指标多关注检测精度，但用户最终感知的是修复后音频的自然度。检测F1高不代表听感好——过度切割会破坏语音流畅性，归零不当会留下突兀静音。建立面向修复任务的感知评测体系，是值得关注的方向。

九、总结与操作清单

突发杂音处理是一个横跨信号处理、机器学习和音频工程的交叉问题。本文的核心观点是：去事件与去噪声是两类问题，需用不同工具；检测精度与修复听感需分开评估；边界处理是工程成败的关键细节。

技术没有银弹。咳嗽声和关门声的完美处理，既需要算法层面的持续进步，也离不开工程细节的打磨。希望本文能为从事音频处理、播客制作、会议系统开发的读者提供一条清晰的路径。

主要参考文献

注：本文参考文献总数超过60篇，涵盖DCASE挑战赛历年报告、AudioSet相关论文、自监督音频表征、音频修复与增强等领域，其中近三年（2022-2024）文献占比超过50%。以上列出8篇主要参考文献，完整列表可向作者索取。数据集预处理细节见第6.3节说明。