小样本学习：跨域小样本微调反而加重attention sink，模型在目标域上类间判别力崩掉，该冻结哪一层？

一、摘要与问题陈述

跨域小样本学习（cross-domain few-shot learning, CDFSL）的标准范式是：在源域上预训练一个特征提取器，再用目标域上的 N-way K-shot 支持集做轻量微调。工程上这套流程几乎成了默认操作，因为它的实现成本极低，且在很多基准上确实能带来几个点的提升。但笔者在多个真实业务场景中反复观察到一个反常现象：微调之后，支持集上的分类准确率接近饱和，查询集上的类间距离却明显收缩，模型倾向于把所有样本推向同一个“安全”方向。换句话说，模型没有学到目标域的判别结构，而是学会了“不要犯错”的退化解。

把这条失败链往回追，会稳定地落到一个结构现象上：attention sink。所谓 attention sink，指序列中某些位置（通常是首个 token 或若干高显著性的“汇聚”位置）在几乎所有的注意力头上都获得异常高的注意力权重，即使这些位置在语义上与当前查询无关。本文评述：sink 本身不是 bug，它是 softmax 归一化约束下的必然产物——注意力权重必须归一化，模型需要一个“泄压阀”来吸收多余的注意力质量。问题在于，跨域微调会系统性地强化这个泄压阀，让模型把“分配注意力”这件事简化为“向 sink 倾倒”，从而牺牲掉对类间差异敏感的特征通道。

本文要回答的核心工程问题是：在跨域小样本微调中，应该冻结哪一层，才能既保留源域的可迁移表征，又抑制 sink 的过度强化？笔者的主张是，冻结决策不能按“浅层/深层”这种粗糙的经验法则来做，而应按“sink 显著性 × 层间表征漂移”的二维判据来定位。后文会给出可复现的诊断脚本、分层冻结的具体顺序，以及在多个跨域基准上的对照数据。需要说明的是，文中标注为“模拟数据”的部分，是笔者基于公开基准的统计分布做的整合推演，用于说明趋势而非声称新的实验结论；所有真实数据均标注原始来源。

关键判断：跨域小样本微调导致的判别力崩掉，本质是“注意力预算被 sink 挤占”与“目标域类间方差被源域先验压制”两个机制叠加的结果。冻结策略必须同时作用于这两条路径，单点冻结往往无效。

二、Attention Sink 的机制解剖

2.1 定义与形式化

设某一层的查询向量为 q，键矩阵为 K = [k₁, …, kₙ]，注意力权重为 a = softmax(qKᵀ/√d)。attention sink 指的是存在某个位置 s（通常是 s=1，即 BOS token 或序列首 token），使得对绝大多数 q 都有 a_s 显著高于其余位置的均值。Xiao 等人在 2023 年的工作中系统描述了这一现象（Xiao et al., “Efficient Streaming Language Models with Attention Sinks”, 2023），并指出移除 sink 会导致模型输出质量急剧下降。本文评述：这一发现的价值不在于“发现了 sink”，而在于它揭示了 softmax 注意力的结构性约束——归一化迫使模型必须有一个“无处安放的注意力”的去处，sink 就是这个去处。

从优化角度看，sink 的形成可以理解为一种“懒惰解”。当训练数据中大量样本的注意力模式缺乏明确指向时，模型最小化损失的最省力方式，是让某些位置的 key 向量范数变大、方向稳定，从而在点积中天然占优。这不需要模型理解语义，只需要调整少数参数。笔者认为，这正是 sink 在跨域场景下格外危险的原因：它是一条参数效率极高的捷径，微调时梯度会优先沿着这条捷径下降。

2.2 为什么 sink 在源域上“无害”

在源域大规模预训练中，sink 虽然存在，但模型同时学到了丰富的语义特征，sink 只吸收了“冗余注意力”，判别性信息仍由其他头承载。可以把它类比为：一个团队里有个专门接杂活的岗位，核心业务不受影响。源域数据量大、类间差异充分，模型有足够容量同时维持 sink 和判别特征。

但这里有个容易被忽略的边界条件：sink 的“无害”依赖于源域与目标域的分布接近。一旦跨域，源域学到的判别特征本身就可能失效，此时 sink 从“接杂活”变成“唯一还在工作的通道”，模型会进一步依赖它。这就为下一节的失败链埋下伏笔。

三、跨域小样本微调如何把 sink 推向致命

3.1 三条叠加的因果路径

路径一：梯度预算的错配。N-way K-shot 的支持集规模极小（典型为 5-way 1-shot 或 5-shot），可用的监督信号非常稀疏。在这种条件下，损失曲面在参数空间中存在大量“平坦方向”，模型会优先沿最容易降低损失的方向更新，而强化 sink 恰好是这样一个方向。Triantafillou 等人在 Meta-Dataset（2020）中已经指出跨域任务的难度主要来自域间差异而非样本量，但当时并未把 sink 纳入解释框架。本文评述：把 sink 引入后，Meta-Dataset 上“微调收益不稳定”的现象有了更具体的机制解释。

路径二：特征方差的压缩。小样本微调常用的损失（如 prototypical loss、cosine classifier）本质上在最大化类原型之间的间隔。当支持集样本极少时，类原型的估计方差很大，模型为了稳定损失，会倾向于把所有样本的表征向一个公共方向收缩，从而降低类内方差——但代价是类间方差也被同步压缩。这与 sink 强化是同一枚硬币的两面：都是“向公共方向汇聚”。

路径三：层间漂移的不均匀性。跨域微调中，不同层的表征漂移程度差异很大。浅层通常保留较多通用特征（边缘、纹理），漂移小；深层与语义强相关，漂移大。如果对深层做全量微调，深层会快速过拟合支持集，并把这种过拟合通过残差连接回传，进一步固化 sink。笔者认为，这条路径是“该冻结哪一层”问题的直接来源。

3.2 判别力崩掉的可观测形态

判别力崩掉不是抽象说法，它在指标上有清晰形态。笔者在多个跨域任务上观察到如下组合信号同时出现：支持集准确率 > 90%，查询集准确率下降 15–30 个百分点；类间余弦相似度均值上升；表征的有效秩（effective rank）下降；注意力熵在深层显著降低（注意力更集中到少数位置）。这四个信号同时出现，基本可以判定为 sink 驱动的退化解，而非普通的过拟合。

注：上表数值区间为笔者在多个公开跨域基准（Meta-Dataset、DomainNet、Office-Home 子集）上的整合观察，标注为模拟数据，用于说明趋势，不代表单一论文的原始结论。

四、判别力崩掉的诊断体系

4.1 先定位 sink，再谈冻结

很多团队一上来就问“冻结第几层”，这是把因果顺序搞反了。正确顺序是：先量化每一层的 sink 显著性，再结合层间漂移决定冻结集合。sink 显著性的一个实用度量是“首 token 注意力占比”（first-token attention ratio, FTAR）：对某一层所有头、所有查询位置，统计分配给位置 1 的注意力权重均值。FTAR 越高，该层越依赖 sink。另一个度量是“注意力熵”，熵越低说明注意力越集中，若同时 FTAR 高，则基本可判定为 sink 主导。

本文评述：FTAR 的优点是计算极便宜，一次前向即可得到；缺点是它对位置敏感，若模型使用非首 token 的 sink（部分架构中 sink 出现在分隔符位置），需要先做一次位置扫描。笔者的建议是先用小批量数据做位置扫描，确定 sink 的实际位置，再固定该位置计算 FTAR。

4.2 层间漂移的度量

层间漂移衡量的是“微调后某层表征相对预训练表征变化了多少”。常用做法是对同一批目标域样本，分别用预训练权重和微调后权重提取各层特征，计算两者的 CKA（centered kernel alignment）相似度。CKA 越低，漂移越大。把 CKA 曲线与 FTAR 曲线画在同一张图上，会看到一个很有用的模式：漂移最大的层，往往也是 FTAR 上升最快的层。这两条曲线的交点区域，就是冻结决策的关键区间。

# 伪代码：sink 显著性 + 层间漂移联合诊断
import torch, numpy as np

def ftar_per_layer(model, batch):
    """返回每层首 token 注意力占比"""
    ratios = []
    hooks = []
    def make_hook(idx):
        def hook(module, inp, out):
            # out: [B, H, T, T]
            attn = out.detach()
            first = attn[..., 0].mean().item()      # 位置 1 的平均权重
            ratios.append((idx, first))
        return hook
    for i, layer in enumerate(model.encoder.layers):
        hooks.append(layer.self_attn.register_forward_hook(make_hook(i)))
    with torch.no_grad():
        model(**batch)
    for h in hooks: h.remove()
    return dict(ratios)

def cka_drift(feat_pre, feat_post):
    """两批特征的线性 CKA"""
    X = feat_pre - feat_pre.mean(0)
    Y = feat_post - feat_post.mean(0)
    hsic = np.linalg.norm(Y.T @ X, 'fro') ** 2
    denom = np.linalg.norm(X.T @ X, 'fro') * np.linalg.norm(Y.T @ Y, 'fro')
    return hsic / (denom + 1e-8)

# 决策：FTAR 高且 CKA 低的层 -> 优先冻结

这段脚本刻意写得朴素，因为它要嵌入到已有的评估流水线里，而不是另起炉灶。笔者认为，诊断工具的第一原则是可插入性——如果一个诊断脚本需要重构训练代码才能跑，它在工程上就失败了。

4.3 一个容易踩的坑：把 sink 和“注意力集中”混为一谈

注意力熵低不一定坏。在判别性任务中，注意力集中到关键区域是好事。区分二者的关键是“集中到哪里”：如果集中到语义相关的 token，是好事；如果集中到与查询无关的固定位置（sink），是坏事。因此单看熵会误判，必须结合 FTAR 和位置分布一起看。笔者见过不少团队因为只看熵，把正常的注意力锐化误判为 sink，结果做了不必要的冻结，反而损失了精度。

五、该冻结哪一层：分层冻结的决策框架

5.1 核心判据：二维定位

笔者提出的判据是二维的：横轴是层间漂移（CKA 低表示漂移大），纵轴是 sink 显著性（FTAR 高表示 sink 强）。四个象限对应四种策略：

• 高漂移 + 高 sink：最危险区域，优先冻结。这些层既在过拟合支持集，又在强化 sink。
• 高漂移 + 低 sink：可微调但需强正则。漂移来自正常的域适配，不必然有害。
• 低漂移 + 高 sink：冻结注意力子模块，保留 FFN 可训练。sink 主要与注意力相关。
• 低漂移 + 低 sink：可自由微调，风险最低。

本文评述：这个二维框架比“冻结前 N 层”的经验法则更细，但也没有细到不可操作。它的代价是需要一次诊断前向，这在工程上完全可以接受。值得注意的是，象限划分的阈值不是普适的，需要按模型规模和任务调整；笔者的经验是先用中位数切分，再根据验证集表现微调。

5.2 具体冻结顺序与操作步骤

基于上述判据，笔者推荐如下操作顺序，按优先级从高到低：

1. 第一步：冻结高 sink 层的注意力投影矩阵（q_proj、k_proj、v_proj、o_proj），保留 FFN。理由是 sink 的形成主要依赖 key 向量的范数与方向，冻结投影矩阵能直接切断 sink 强化的参数路径。
2. 第二步：对高漂移深层做部分冻结，即只训练最后 1–2 层的 FFN 和 LayerNorm。这一步控制过拟合，同时保留一定的适配能力。
3. 第三步：对浅层保持可训练但加低学习率（约为深层的 1/10）。浅层漂移小，但完全冻结会损失域适配的灵活性。
4. 第四步：分类头全量训练，并加入类间间隔正则（如 cosine 分类器的温度缩放）。

这个顺序的合理性在于：它先处理最直接的因果路径（sink 参数），再处理次级的过拟合路径。笔者在多个跨域任务上做过消融，按此顺序冻结相比“全量微调”在查询集上通常有稳定提升，而相比“冻结全部骨干”则保留了适配收益。需要强调，这些是趋势性观察，具体数值随任务波动较大。

5.3 一个反直觉的边界条件

并非所有跨域任务都适用上述策略。当源域与目标域的差异属于“低层视觉差异”（如颜色、光照、分辨率）而非“高层语义差异”时，浅层漂移反而更大，此时冻结浅层注意力会适得其反。判断方法是看 CKA 曲线的形状：如果漂移集中在浅层，说明差异是低层的，应优先冻结浅层；如果漂移集中在深层，则按前述策略。这个边界条件在文献中讨论不多，但笔者在工业质检类任务中多次遇到，值得单独强调。

六、工程落地：代码、超参与常见坑

6.1 冻结的实现

冻结本身很简单，难的是“按诊断结果动态生成冻结集合”。下面这段代码把诊断结果转成冻结配置，可以直接接进训练脚本。注意它冻结的是模块而非参数名，这样对不同的模型结构都能复用。

def build_freeze_config(model, ftar, cka, sink_thr, drift_thr):
    cfg = {}
    for i, layer in enumerate(model.encoder.layers):
        high_sink = ftar.get(i, 0) > sink_thr
        high_drift = cka.get(i, 1.0) < drift_thr
        if high_sink and high_drift:
            cfg[i] = "attn_only"      # 冻结注意力投影
        elif high_sink:
            cfg[i] = "attn_only"
        elif high_drift:
            cfg[i] = "ffn_ln_only"    # 只训 FFN + LN
        else:
            cfg[i] = "full"
    return cfg

def apply_freeze(model, cfg):
    for i, layer in enumerate(model.encoder.layers):
        mode = cfg.get(i, "full")
        if mode == "attn_only":
            for p in layer.self_attn.parameters():
                p.requires_grad = False
        elif mode == "ffn_ln_only":
            for p in layer.self_attn.parameters():
                p.requires_grad = False
            # 保留 FFN 与 LayerNorm 可训练
    return model

6.2 超参建议

小样本微调的学习率不宜大。笔者的经验区间是：分类头 1e-3 到 5e-3，可训练骨干层 1e-5 到 5e-5，浅层再乘 0.1。训练轮数控制在 20–50 个 epoch，配合早停（以查询集准确率为准）。批大小受支持集规模限制，通常很小，此时梯度噪声大，建议用梯度累积稳定更新。另一个容易忽略的点是 LayerNorm 的统计量：跨域时目标域的激活分布与源域不同，若冻结 LayerNorm 参数，统计量的偏移无法被修正，可能导致训练不稳定。笔者的做法是 LayerNorm 始终可训练，即使其所在层被判定为冻结。

6.3 常见坑

• 用支持集做模型选择：这是最隐蔽的坑。支持集准确率在 sink 退化时反而更高，用它选模型会系统性选中退化模型。必须用查询集或独立验证集。
• 忽略 sink 位置扫描：不同架构的 sink 位置不同，直接假设在位置 1 会算错 FTAR。
• 冻结过度：把“高 sink”层全部冻结，包括 FFN，会损失适配能力。注意力与 FFN 应分开处理。
• 忘记重校准：冻结后模型输出分布会偏移，分类头的温度参数需要重新校准。

关于跨域小样本的基准与工具，读者可参考 Meta-Dataset 官方页面（github.com/google-research/meta-dataset）与 DomainBed 的评测协议（github.com/facebookresearch/DomainBed）。关于 attention sink 的原始讨论，可参阅 Xiao 等人的论文与相关解读（arxiv.org/abs/2309.17453）。若想快速上手小样本微调流程，Hugging Face 的 PEFT 教程（huggingface.co/docs/peft）提供了可直接运行的示例。

七、前沿预判与开放问题

第一个开放问题是 sink 的可控性。目前的做法是“冻结以抑制”，属于被动策略。更主动的方向是在微调目标函数中显式加入 sink 正则项，例如惩罚高 FTAR 层的注意力分布偏离均匀分布的程度。这类方法在文献中已有雏形（如对注意力熵的正则），但针对跨域小样本的系统研究仍不多。笔者认为，主动正则比冻结更优雅，因为它不牺牲参数容量，但实现难度更高，短期内冻结仍是工程首选。

第二个开放问题是架构层面的。部分新架构（如采用可学习 sink token 的设计）把 sink 显式化，这为控制提供了接口。如果 sink token 可以被单独冻结或约束，跨域微调的稳定性会显著提升。这属于架构与训练策略的协同设计，值得关注。

第三个问题是评估协议。当前跨域小样本的评测多以平均准确率为准，掩盖了判别力崩掉的信号。笔者建议在评测中强制报告“支持集-查询集差距”和“类间相似度”两个辅助指标，否则退化模型会被平均指标掩盖。这一建议与近期一些关于小样本评测可靠性的讨论方向一致。

八、总结

回到标题的问题：该冻结哪一层？笔者的回答不是某一层，而是一个由诊断驱动的集合——高 sink 且高漂移的层优先冻结其注意力投影，高漂移的深层只保留 FFN 与 LayerNorm 可训练，浅层低学习率微调，LayerNorm 始终可训练。这套策略的根据是：跨域小样本微调的失败不是简单的过拟合，而是注意力预算被 sink 挤占与类间方差被压缩的叠加，冻结必须同时作用于这两条路径。

需要诚实说明的是，本文的定量区间多为整合观察与模拟推演，用于说明机制与趋势，具体任务的最优冻结集合仍需以本地诊断为准。方法的价值不在于给出普适答案，而在于提供一套可复现的定位流程。工程上，先诊断、再冻结、用查询集选模型，这三条原则的执行成本很低，但能避开大多数退化陷阱。