小样本学习：少样本ICL里“随机标签不伤、同质标签要命”，示例选择到底该追求多样性还是该追求语义一致？

一、问题的提出：两个反直觉现象

上下文学习（In-Context Learning，ICL）指在不更新任何参数的前提下，把若干“输入-标签”示例拼进提示词，让模型在推理时依据这些示例完成新样本的预测。它本质上是一种条件推断：模型在给定示例集合 S = {(x_i, y_i)} 的条件下估计 P(y | x, S)。围绕这一设定，社区长期流传两个看似矛盾的经验观察。

现象一：随机标签不伤。Min 等人在 2022 年系统报告了一个耐人寻味的结论：把示例中的标签随机打乱，模型在许多任务上的表现并不会崩掉，甚至只比使用金标签时低若干个百分点（Min et al., 2022, Rethinking the Role of Demonstrations）。这一结果直接动摇了“ICL 主要靠示例里的输入-标签映射来学习”的朴素解释。

现象二：同质标签要命。与之相对，如果示例集合里所有样本都被赋予同一个标签（例如全部标为“正面”），模型输出会显著向该标签塌缩，准确率大幅下降，且这种塌缩在多数分类任务上稳定复现。换言之，标签的“分布形态”比标签的“正确性”更致命。

本文评述：这两个现象并不矛盾，它们共同指向同一个变量——示例标签与示例输入之间的统计关联强度。随机标签保留了标签的边缘分布却破坏了条件关联；同质标签则连边缘分布都压成了单点。前者是“去相关”，后者是“去信息”，破坏程度不同，后果自然不同。

由此引出本文要回答的核心问题：在示例预算极其有限（通常 4～16 条）的少样本场景下，示例选择究竟该优先追求多样性（覆盖更多输入模式），还是优先追求语义一致（示例与目标任务、示例彼此之间语义对齐）？这不是一个可以靠直觉拍板的问题，需要回到机制层面拆解。

二、机制层：标签-示例互信息作为分析主轴

2.1 把 ICL 拆成“任务定位”与“任务执行”两段

要解释上述两个现象，先要把 ICL 的内部过程拆开。一个被广泛引用的分解视角是：模型先从示例中推断“当前要做什么任务”（task location），再依据推断出的任务对新输入执行预测（task execution）。Xie 等人 2022 年的工作用“隐式贝叶斯推断”刻画了这一过程，认为示例集合构成了对潜在任务变量的证据（Xie et al., 2022, An Explanation of In-context Learning as Implicit Bayesian Inference）。

在这个框架下，示例的作用不是“教模型记住映射”，而是“帮助模型在预训练分布中定位到正确的任务区域”。这解释了一个关键事实：模型在预训练阶段已经见过大量“输入-标签”共现模式，ICL 示例更像是检索键，而非训练样本。笔者认为，这一视角的价值在于把示例选择问题从“选哪些样本”转化为“选哪些证据”，而证据的质量取决于它能否把后验概率质量集中到正确任务上。

2.2 互信息视角：为什么随机标签“伤得轻”

设示例集合的标签序列为 Y_S，示例输入为 X_S。示例对任务的证据强度可以用互信息 I(Y_S; X_S) 来近似刻画。随机标签的做法是：保持 Y_S 的边缘分布（各类别大致均衡）不变，但切断它与 X_S 的条件关联，于是 I(Y_S; X_S) → 0。

但关键在于，随机标签并没有破坏另外两条信息通道：其一，示例输入的格式与领域分布仍然有效，模型能据此判断“这是情感分类还是主题分类”；其二，标签的候选空间仍然完整，模型知道输出应落在哪几个类别里。Min 等人的消融也支持这一点：替换标签为随机、但保留输入分布与标签空间时，性能下降有限；而一旦移除示例输入或打乱输入顺序，性能下降更明显。

2.3 同质标签为何“要命”：先验塌缩与格式模仿

同质标签的危害可以从两个层面理解。第一层是贝叶斯层面：当所有示例标签相同，模型对任务的后验被强烈拉向“输出恒定”的退化假设，因为这是唯一能解释观测数据的低复杂度假设。第二层是序列建模层面：自回归模型天然倾向于模仿上下文中高频出现的模式，标签序列的“全同”构成了一种极强的局部统计规律，解码时会被优先延续。

Lu 等人 2022 年提出的“示例顺序敏感性”研究从侧面印证了这一点：仅仅改变示例排列顺序，就能造成数个百分点到十几个百分点的性能波动（Lu et al., 2022, Fantastically Ordered Prompts）。本文评述：顺序敏感的本质，是模型对局部统计规律的依赖；同质标签把这种依赖推到了极端，于是“顺序敏感”升级为“分布塌缩”。这也提示工程实践中的一个硬约束——任何示例选择策略都必须显式保证标签分布的均衡性，这是底线而非优化项。

三、多样性与语义一致：不是对立，而是分层

3.1 两个概念的精确定义

示例多样性指示例集合在输入空间上的覆盖程度，常用指标包括：嵌入空间中的平均成对距离、聚类覆盖数、词面/句法模式的数量。它衡量的是“示例能否代表任务输入分布的多个模态”。

语义一致性指示例与目标任务、示例彼此之间的语义对齐程度，包括：示例是否属于同一任务定义、标签语义是否与任务标签体系一致、示例难度是否与测试分布匹配。它衡量的是“示例是否在说同一件事”。

二者在极端情况下确实冲突：追求极致多样性可能引入与任务无关的噪声样本；追求极致一致性可能退化为同质化。但在有限预算下，它们更像是不同层级的约束，而非同一层级的取舍。

3.2 分层约束模型

笔者认为，合理的示例选择应遵循三层约束，从硬到软依次为：

这个分层模型回答了一开始的二选一问题：语义一致是准入门槛，多样性是优化目标。先保证 L0 与 L1，再在 L2 上做多样性最大化。把二者放在同一层级做加权权衡，是许多工程方案效果不稳的根源。

3.3 与已有方法的对照

围绕示例选择，已有若干代表性路线。Liu 等人 2022 年提出基于 KATE 的检索式选择，用测试样本的近邻作为示例，本质是强化语义一致（Liu et al., 2022, What Makes Good In-Context Examples for GPT-3?）。Rubin 等人 2022 年则用对比学习训练检索器，从训练集中挑选与测试样本语义相近的示例（Rubin et al., 2022, Learning To Retrieve Prompts for In-Context Learning）。另一条路线强调多样性，例如基于聚类中心采样、基于覆盖度贪心选择。

本文评述：检索式方法在语义一致上表现好，但容易陷入“近邻同质化”——检索出的示例彼此高度相似，标签分布也可能失衡；多样性方法能缓解同质化，却可能引入语义漂移。二者各自的失效模式，恰好对应分层模型中的不同层级。因此更稳妥的做法不是二选一，而是“先检索保证 L1，再在候选池内做去重与覆盖优化保证 L2”。

四、工程路径：可执行的示例选择流水线

4.1 总体流程

下面给出一条可直接落地的五步流水线，适用于文本分类、信息抽取等常见少样本任务。设示例预算为 k（通常 4～16），候选池为训练集 D。

Step 1  任务定义对齐：明确标签体系、边界样例、拒答规则
Step 2  候选召回：用嵌入检索取测试样本 top-N 近邻（N ≈ 10k）
Step 3  语义过滤：剔除标签歧义、跨任务、低质量样本（L1）
Step 4  分布校准：按标签分层，保证每类至少 floor(k/C) 条（L0）
Step 5  覆盖优化：在分层约束下做贪心最大覆盖 / 最远点采样（L2）

这条流水线的关键设计在于：Step 4 是硬约束，必须在 Step 5 之前完成；Step 5 的优化目标不是简单的“越分散越好”，而是在已满足标签均衡的前提下最大化输入覆盖。这样既避免了同质标签的塌缩风险，又保留了多样性带来的泛化收益。

4.2 覆盖优化的具体算法

Step 5 可以用一个带约束的贪心算法实现。设已选集合为 S，候选为 c，定义边际增益为 c 到 S 的最小距离（最远点采样）或对未覆盖簇的增益（最大覆盖）。伪代码如下：

def select_demos(pool, k, C, embed):
    S = []
    # L0：每类先放一条，优先选类内中位样本
    for c in range(C):
        cls = [x for x in pool if x.label == c]
        S.append(median_sample(cls, embed))
    # L2：贪心最远点补足
    while len(S) < k:
        cand = max(pool, key=lambda x: min_dist(x, S, embed))
        S.append(cand); pool.remove(cand)
    return S

需要说明的是，类内“中位样本”的选择是为了避免初始点落在离群区域，从而让后续最远点采样更稳定。这一细节在工程中常被忽略，但对小预算场景影响明显。

4.3 顺序与格式的两个易错点

第一，顺序。即便示例集合固定，排列顺序仍会影响结果。工程上建议做顺序鲁棒化：对同一集合采样若干排列，取预测的多数投票或概率平均。第二，格式。示例的模板、分隔符、标签措辞必须与测试时完全一致，任何格式漂移都会被模型当作分布信号。这两点看似琐碎，却是复现实验时最常见的性能落差来源。

五、评测协议与关键数据

5.1 评测协议设计

要验证“分层约束”是否有效，需要一套控制变量的评测协议。建议至少包含四组对照：随机示例、纯检索示例、纯多样性示例、分层流水线示例。每组在相同预算 k 下重复多次（不同随机种子与示例排列），报告均值与标准差。数据集方面，文本分类可用 SST-2、AG News、TREC；信息抽取可用 Few-NERD 的子集。

预处理细节需明确：SST-2 按官方划分，训练集用于候选池，验证集用于调参，测试集仅用于最终报告；AG News 四分类，去除过短样本（少于 5 个词）；TREC 六分类，按官方划分。所有嵌入统一用同一编码器生成，避免编码器差异混淆结论。

5.2 关键数据与解读

下表为基于公开文献结论与本文模拟整合的对照（模拟数据，仅用于说明趋势，非真实实验结果）：

本文评述：表中趋势与分层模型的预测一致——纯检索在语义一致上占优但方差偏大，纯多样性覆盖好但语义漂移，分层流水线在两者之间取得更稳的平衡。需要强调，上表为模拟整合数据，真实数值会随模型、编码器、模板显著变化，读者应以自己复现的结果为准。

5.3 消融要点

建议至少做三组消融：去掉 Step 4（标签校准）观察塌缩风险；去掉 Step 5（覆盖优化）观察方差变化；把 Step 2 的检索替换为随机召回，观察语义一致性的贡献。三组消融分别对应 L0、L2、L1 三层，能较完整地验证分层模型的解释力。

六、局限、边界条件与前沿预判

6.1 边界条件

分层模型并非普适。第一，它假设标签空间在示例中完整可见，对于开放式生成任务（如摘要、对话），标签边界模糊，L0 约束需要改写为“输出模式均衡”。第二，它假设嵌入检索能反映语义相似，对于领域漂移严重的场景，检索质量下降会连带削弱 L1。第三，示例预算极小时（k ≤ 4），L2 的优化空间有限，此时应优先保证 L0 与 L1。

6.2 前沿预判

从近两年的研究走向看，示例选择正在从“静态规则”转向“可学习策略”。一方面，基于强化学习或元学习的示例选择器开始出现，把选择过程建模为序列决策；另一方面，长上下文模型降低了示例预算的稀缺性，但并未消除“选哪些”的问题——上下文越长，噪声示例的稀释效应越值得警惕。笔者认为，未来的关键不在于示例数量，而在于示例与测试样本的互信息密度：在同等预算下，单位 token 携带的任务证据越多，ICL 越稳。

另一个值得关注的方向是“示例的对抗鲁棒性”。既然随机标签伤得轻、同质标签伤得重，那么是否存在一类“看似合理、实则误导”的对抗示例？这类示例可能同时满足标签均衡与语义相近，却在关键特征上与测试样本相反。目前公开研究对此讨论仍少，工程上可通过“留一示例”敏感性分析做初步筛查。

七、结论

回到标题的问题：示例选择该追求多样性还是语义一致？本文的答案是——语义一致是门槛，多样性是目标，标签均衡是底线。随机标签不伤，是因为它保留了标签空间与输入分布，只破坏了条件关联；同质标签要命，是因为它同时压缩了边缘分布与条件关联，导致后验塌缩。理解这一机制，就能把“二选一”的困惑转化为“分层约束”的工程流程。

对从业者而言，最实用的三条建议是：先做标签分层校准，再做语义过滤，最后做覆盖优化；对研究者而言，值得深挖的是示例与测试样本之间的互信息密度，以及对抗性示例的识别与防御。少样本 ICL 的示例选择，本质上是一场关于“证据质量”的博弈，而非样本数量的堆砌。