小样本学习：支持集类别不均衡时原型网络直接坍缩到主导类，中心损失和重加权哪个更治本？

一、问题的准确定义：什么叫"坍缩到主导类"

在讨论"中心损失与重加权谁更治本"之前，必须先厘清一个常被含糊处理的现象。工程上说的"原型网络坍缩到主导类"，并不是指模型参数退化或嵌入全部相同，而是指判决分布的单侧集中：在 N-way K-shot 的评估回合中，查询样本被预测为主导类的比例显著高于其真实先验，稀有类的召回率趋近于零，且这一现象随不均衡度（imbalance ratio, IR）上升而单调加剧。

原型网络的基本判决规则可写作：对查询样本 x，计算其嵌入 f_φ(x) 与各类原型 c_k 的负欧氏距离，取 softmax 后最大者。原型定义为支持集中该类样本嵌入的算术平均：

c_k = (1 / |S_k|) * Σ_{x_i ∈ S_k} f_φ(x_i)

p(y = k | x) = exp(-d(f_φ(x), c_k)) / Σ_j exp(-d(f_φ(x), c_j))

关键点在于分母中的 |S_k|。当某一类样本数为 K_maj、稀有类为 K_min，且 K_maj ≫ K_min 时，主导类原型由更多样本平均得到，其估计方差按 1/|S_k| 收缩；稀有类原型仅由极少数点决定，方差大、位置漂移严重。判决时，查询点只要落在主导类原型的高密度吸引域内，就会被稳定判为主导类。

本文评述：把坍缩简单归因为"类别不平衡导致损失被主导类主导"，是一种只覆盖了训练阶段的解释。实际上，即便训练损失被完美平衡，推理阶段的均值聚合仍会引入先验偏移——这是一个结构性问题，而非单纯的优化问题。这一区分决定了后续所有方法的适用边界。

为便于后文讨论，这里给出三个可操作的量化定义（本文自拟，用于统一叙述，非引用某单一文献）：

• 判决偏移率（Prediction Bias, PB）：评估回合中预测为主导类的样本占比减去其真实占比。
• 稀有类召回（Rare Recall, RR）：稀有类查询样本被正确判定的比例。
• 原型离散度比（Prototype Dispersion Ratio, PDR）：稀有类原型到其支持集样本的平均距离，除以主导类对应值。PDR 越大，说明稀有类原型越"虚"。

这三个指标分别刻画结果、结果与几何成因，构成后文诊断流程的基础。需要强调的是，很多工程报告只报 overall accuracy，而 overall accuracy 在不均衡回合中会被主导类的高召回掩盖，这正是坍缩长期未被及时发现的统计原因。

二、坍缩机理：均值聚合、梯度失衡与几何退化

2.1 均值聚合的统计本质

原型是类条件分布的样本均值估计。若把每类嵌入视为围绕真实类中心 μ_k 的随机变量，则原型估计的偏差-方差分解为：E[‖c_k − μ_k‖²] = Var/|S_k| + Bias²。主导类 |S_k| 大，方差项小；稀有类 |S_k| 小，方差项被放大数倍。在 K_min=1 的极端情形下，原型就是单个样本，方差等于类内方差本身。

这一分解直接解释了为何"坍缩"在 1-shot 稀有类上最严重：不是模型没学到稀有类特征，而是原型估计的噪声淹没了类间可分性。本文评述：这意味着任何只在损失函数上做加权的方案，都无法消除推理阶段的估计方差——它至多让特征更可分，却不能改变"用几个点估计一个中心"这一信息论层面的劣势。

2.2 梯度层面的双重失衡

训练阶段存在两层失衡。第一层是样本级失衡：交叉熵或原型损失的梯度按样本累加，主导类贡献的梯度总量与其样本数成正比。第二层是原型级失衡：softmax 分母中主导类项数值大，导致稀有类 logit 的梯度被压缩，形成"强者愈强"的正反馈。

设第 k 类的 logit 为 z_k = −d(f(x), c_k)，则对原型 c_k 的梯度近似正比于 (p_k − y_k)·∂d/∂c_k。当 p_maj 已接近 1 时，主导类梯度趋零，稀有类梯度虽非零但方向被主导类原型"拉扯"，更新效率极低。这解释了训练后期坍缩往往已经固化、难以靠继续训练逆转的现象。

2.3 几何退化：类内方差与类间间隔的错配

从嵌入几何看，坍缩对应"稀有类簇被压扁并贴近主导类簇"。理想的小样本嵌入应满足类内紧致、类间有明确间隔（margin）。但不均衡支持集下，稀有类样本少，模型缺乏足够信号去约束其类内方差，稀有类簇容易沿主导类方向拉伸，形成狭长且指向主导类的形状。

笔者认为，几何退化是比梯度失衡更根本的成因：梯度失衡是"训练时没学好"，几何退化是"学到的表示本身不适合小样本判决"。前者可通过优化技巧缓解，后者需要显式的几何约束——这正是中心损失类方法的立足点。

三、重加权：作用点、形式与失效边界

3.1 重加权到底改了什么

重加权的通用形式是给每个样本或每个类的损失项乘一个系数 w_k，常见取法包括逆频率 w_k ∝ 1/n_k、有效样本数 w_k ∝ (1−β^n_k)/(1−β)（Cui 等，2019，CVPR），以及归一化到均值为 1 的变体。其作用点非常明确：改变损失标量中各样本的贡献比例。

在原型网络的语境下，重加权有两种落点。其一是对支持集样本加权，使原型计算变为加权均值 c_k = Σ w_i f(x_i) / Σ w_i；其二是对查询样本的损失加权，使稀有类查询的梯度被放大。前者影响推理，后者影响训练。

3.2 为什么它"见效快但不治本"

重加权的有效性来自一个朴素事实：它直接补偿了先验偏移。若稀有类被低估，放大其损失或降低其原型权重，判决边界会向主导类一侧移动，PB 立刻下降。这也是它在工业界被广泛采用的原因——改动小、可解释、无需改网络结构。

但其局限同样清晰。第一，权重只改变标量比例，不改变嵌入几何；稀有类原型的高方差依旧存在，RR 的提升有上限。第二，权重本身是超参数，逆频率在极端 IR 下会过度补偿，导致主导类召回崩塌，整体精度反而下降。第三，重加权对"原型估计方差"这一结构性缺陷无能为力。

本文评述：把重加权称为"治标"并非贬义。在推理阶段无法改动、只能调损失的部署场景中，重加权是性价比最高的第一道防线。问题在于把它当成终点——很多团队在 PB 下降后就停止排查，忽略了 PDR 仍然偏高这一隐患，导致模型在分布稍有偏移的新回合中再次坍缩。

3.3 一个常被忽视的坑：加权原型与距离度量的耦合

若采用加权均值构造原型，需注意权重与距离度量的耦合。欧氏距离对原型位置敏感，加权后原型可能偏离类条件均值，反而增大稀有类查询的误判。实践中更稳妥的做法是：训练阶段用查询侧重加权，推理阶段保持原型为算术均值，或仅在验证集上确认加权原型确有增益后再启用。这一细节在多数教程中被略过，但对 1-shot 场景影响显著。

四、中心损失：几何整形的能力与方差陷阱

4.1 中心损失的作用机制

中心损失（Center Loss，Wen 等，2016，ECCV）最初用于人脸识别，形式为 L_C = ½ Σ ‖f(x_i) − c_yi‖²，其中 c_yi 为类中心，随训练更新。它不直接约束类间间隔，而是压缩类内方差，使同类样本向中心聚拢。

在小样本不均衡场景中，这一机制恰好命中 2.3 节指出的几何退化：稀有类簇被压扁、狭长的问题，可通过类内紧致约束缓解。类内方差下降后，稀有类原型即便由少量点估计，其位置也更稳定，PDR 随之下降。

4.2 小样本下的估计方差陷阱

中心损失并非没有代价。类中心 c_k 本身是估计量，在稀有类样本极少时，中心估计同样高方差。若中心更新采用滑动平均，稀有类中心更新次数少、收敛慢，可能出现"中心漂移"——中心被少数样本拖走，反而拉大类内距离。

更微妙的问题是与原型网络的耦合：若中心损失的中心与原型共用同一组参数，二者会相互拉扯。原型要求类均值代表类，中心损失要求样本向中心聚拢，当稀有类样本分布偏斜时，两个目标可能冲突。本文评述：实践中应让中心损失的中心作为辅助正则存在，权重不宜过大，且中心更新学习率应低于主干网络，否则会观察到 RR 先升后降的非单调曲线。

4.3 与对比类方法的谱系关系

中心损失属于"类内紧致"路线，与之并列的是"类间分离"路线（如 triplet、对比损失）与"角度间隔"路线（如 CosFace、ArcFace）。近年小样本领域的进展多集中在后者，因其在基类预训练阶段能提供更强的判别性。但需注意：角度间隔方法通常假设类别均衡，直接迁移到不均衡支持集时，间隔对稀有类的约束会被样本数稀释。

笔者认为，中心损失的价值不在于它比对比学习更强，而在于它直接作用于类内方差这一坍缩的关键成因，且实现成本极低，适合作为诊断阶段的"探针"：若加入中心损失后 PDR 明显下降但 RR 提升有限，说明瓶颈在类间分离而非类内紧致，应转向间隔类方法；反之则说明几何整形方向正确。

五、对照实验设计与可验证的诊断指标

要回答"谁更治本"，不能靠直觉，需要可复现的对照。以下给出本文建议的实验协议，读者可据此在自己的数据上验证。

5.1 数据集与预处理

常用基准包括 miniImageNet（Ravi & Larochelle, 2017）与 tieredImageNet（Ren 等, 2018），二者均为 ImageNet 子集，类别不重叠划分。预处理建议统一为：短边缩放至 84 或 224 后中心裁剪，ImageNet 均值方差归一化；训练回合按 N-way K-shot 采样，评估回合固定随机种子以保证可比。需说明：本文未运行新实验，下述数值为文献报告值与模拟数据的整合，已标注来源类型。

注：上表为模拟数据，用于说明指标间的定性关系，不代表任何已发表实验的具体数值。真实复现请以原始论文与官方代码为准。

从模拟结果可读出一个关键信号：重加权把 PB 压得很低，但 PDR 几乎不动；中心损失把 PDR 显著拉低，但 PB 改善有限；组合后两者兼得。这提示二者并非替代关系，而是作用于不同环节。

5.2 消融步骤建议

1. 固定随机种子，先跑 IR=1 确认基线正常，记录 PB/RR/PDR 三指标。
2. 逐步提高 IR（如 2、5、10、20），观察三指标的单调性，定位坍缩起始点。
3. 单独启用重加权，记录 PB 与 RR 变化，确认是否出现主导类召回下降。
4. 单独启用中心损失，扫描权重（如 0.001、0.01、0.05），观察 PDR 与 RR 的非单调性。
5. 组合两者，重点看 RR 是否超过任一单独方案，以及 PDR 是否被重加权"抵消"。

拓展阅读可参考 PyTorch 官方教程中关于度量学习的实现思路（PyTorch 嵌入模型教程），以及 learn2learn 库的 few-shot 实现（learn2learn 文档）。视频类可参考 Stanford CS330 的元学习课程（CS330 讲座），其对原型网络与度量学习的推导较为清晰。

六、几何-权重解耦：一条更治本的工程路径

基于前文分析，本文提出"几何-权重解耦"的路径，核心思想是：先修几何，再校权重，且两者在不同阶段生效。这不是一个新损失函数，而是一套工程流程。

6.1 阶段一：基类预训练阶段做几何整形

在基类（base classes）上预训练时，类别通常均衡，此时引入中心损失或对比损失的成本最低、收益最稳。目标是得到一个类内紧致、类间可分的嵌入空间。此阶段不涉及支持集不均衡，重加权无用武之地。建议以中心损失作为辅助项，权重取主干损失的 1%–5%，并监控验证集上的 PDR。

6.2 阶段二：元训练阶段做方差抑制

在 N-way K-shot 回合训练中，稀有类原型方差是主要矛盾。此时可采用两类手段：一是对原型估计做收缩（shrinkage），将稀有类原型向全局均值或类内估计均值收缩，收缩系数随 |S_k| 自适应；二是采用"原型集成"，对稀有类做多次子采样取平均，降低单次估计方差。这两类手段直接作用于推理机制，比重加权更贴近病根。

# 自适应收缩原型（示意，非某文献原实现）
def shrunk_prototype(support_emb, global_mean, alpha=0.5):
    n = support_emb.size(0)
    lam = alpha / (alpha + n)          # 样本越少，收缩越强
    return (1 - lam) * support_emb.mean(0) + lam * global_mean

本文评述：收缩估计在统计上是有偏的，但换来方差大幅下降，在小样本下偏差-方差权衡通常偏向收缩一侧。工程上需在验证集上扫描 alpha，不宜拍脑袋取 0.5。

6.3 阶段三：推理阶段做权重校正

到了实际推理，若支持集先验与测试分布不一致，再启用重加权或先验校正（logit adjustment）。此时几何已稳定，权重只负责把判决边界推回正确位置，不会与几何目标冲突。这一"分阶段"设计正是解耦的含义：让中心损失管几何、重加权管先验，各司其职。

七、前沿进展评述与预判

2023 年以来，小样本不均衡问题的研究呈现三条线索。第一条是基于分布校准的原型修正，代表性思路是对原型做统计校准或引入不确定性估计，使稀有类原型附带置信区间而非点估计。第二条是基于提示（prompt）与视觉-语言模型的零样本/少样本迁移，利用 CLIP 类模型的语义先验缓解稀有类样本不足。第三条是基于最优传输与集合匹配的回合级对齐，从整体分布而非单类均值出发做判决。

本文评述：视觉-语言路线在稀有类上确有优势，因其不依赖支持集样本数，但代价是引入了跨模态对齐误差，且对细粒度类别（如物种、工业缺陷）提升有限。最优传输路线在理论上更优雅，能同时处理类内与类间不均衡，但计算开销与超参数敏感性使其在工业部署中尚不成熟。相对而言，本文提出的几何-权重解耦路径不依赖大模型，落地成本低，适合作为中期方案。

预判方面，笔者认为未来两年的关键突破点在于原型估计的不确定性建模：把原型从点估计升级为分布估计，判决时用分布距离替代点距离，可从根上消除"少数点决定一个类"的脆弱性。这一方向与贝叶斯少样本学习、conformal prediction 有交叉，值得关注。

八、结论与落地清单

回到标题的问题：中心损失和重加权哪个更治本？本文的结论是——单看任何一个都不治本。重加权作用于损失标量，能快速压低判决偏移，但不改变原型估计方差；中心损失作用于嵌入几何，能缓解类内退化，但小样本下自身也有方差陷阱。二者分别对应"决策边界"与"表征空间"两个层面，真正的治本之道是把它们放进分阶段的流程里，并补上原型估计这一环的方差抑制。

落地清单可归纳为四句话：先诊断（PB/RR/PDR 三指标齐上），再整形（预训练阶段几何约束），后抑制（元训练阶段原型收缩），末校正（推理阶段先验校正）。任何跳过诊断直接调损失的方案，都可能在不均衡度变化后失效。

本文评述：小样本不均衡不是一个"调参问题"，而是一个"估计问题"。原型网络的坍缩提醒我们，均值这一看似中性的聚合算子，在样本数悬殊时会悄悄把先验编码进几何。理解这一点，比记住哪个损失更好用更有价值。