幻觉评估用R-Score把准确率、幻觉率、矛盾率、安全性合成一个分，但合成权重一变排名就变，这种综合分到底该怎么解读？

一、导语：一个分数引发的排名漂移

设想一个再常见不过的场景：评测团队用同一批测试集、同一套判定脚本，对五个候选模型计算 R-Score。默认权重下，模型 A 排第一；评审会上有人提出"安全权重应该更高"，把安全性从 0.2 调到 0.35，模型 C 反超。会议陷入僵局——不是数据变了，也不是模型变了，只是权重变了，排名就变了。这类争论在幻觉评估、RAG 系统选型、对话模型上线评审中反复出现，几乎成了综合指标使用者的共同困境。

把这个问题简单归因为"权重没定好"是回避。权重从来不是客观常量，它编码的是使用场景的价值判断：医疗问答场景里，一次安全性违规的代价远高于一次事实性幻觉；而创意写作辅助场景里，过度保守的拒答反而损害可用性。既然权重必然带有场景依赖性，那么以固定权重产出的单一排名，其信息含量就必须被重新审视。笔者认为，综合分的正确用法不是"给出排名"，而是"给出在何种权重条件下成立何种排名"，前者是伪客观，后者才是可检验的工程结论。

本文的分析主线由此确立：把 R-Score 视为一个从权重单纯形到模型全序的映射，研究该映射的连续性、局部敏感性与全局稳定性。这条主线贯穿后文所有章节——第二节拆解子指标的可测边界，第三节分析加权和的数学性质，第四节提出 WRRS 框架，第五节给出可复现的实操步骤，第六节讨论综合分的职能边界。读者若只关心操作，可直接跳到第四节与第五节；若关心为什么，前两节是必要铺垫。

本文讨论的"R-Score"泛指一类将准确率、幻觉率、矛盾率、安全性加权合成为单一标量的评估指标族，不特指某一商业产品或某一篇论文的专有实现。不同实现的子指标定义、归一化方式与权重默认值可能不同，但加权合成这一结构共性决定了本文结论的适用范围。

二、问题定义：四类子指标到底在测什么

2.1 准确率：一个被过度简化的名字

准确率（Accuracy）在综合指标语境下通常指"回答与参考答案一致或语义等价的比例"。这个定义看似清晰，实则埋着三层歧义。第一层是判定粒度：字符级精确匹配、token 级 F1、语义相似度阈值、LLM 裁判打分，四种判定方式在同一批样本上可以给出相差十几个百分点的结果。第二层是样本构成：开放域问答、抽取式问答、多跳推理的准确率不可直接比较，因为基线难度不同。第三层是"等价"的边界：一个回答事实正确但表述冗余，算不算准确？

学界对自动评估的可靠性已有大量实证。Zheng 等人在 MT-Bench 与 LLM-as-a-judge 系列工作中指出，强模型裁判与人类偏好的一致率可达八成以上，但存在位置偏差、冗长偏好与自我增强偏差（Zheng et al., 2023, Judging LLM-as-a-Judge）。本文评述：这意味着准确率子指标本身已经携带了一层系统性偏差，当它被进一步加权合成时，偏差不会抵消，只会被权重放大或压缩。因此讨论综合分稳健性之前，必须先承认子指标是"带噪声的测量"，而非"真值的读数"。

2.2 幻觉率：定义分歧比数值分歧更致命

幻觉（Hallucination）通常定义为模型生成的内容与可验证事实或给定上下文不一致。但"不一致"的判定标准在文献中高度分裂。Ji 等人（2023, Survey of Hallucination in NLG）把幻觉分为内在幻觉与外在幻觉：前者与输入上下文矛盾，后者引入上下文中不存在且无法从世界知识验证的内容。Maynez 等人在摘要任务上的经典工作则强调"忠实性"与"事实性"是两个维度。近两年 RAG 场景下的幻觉评估进一步细化为"上下文忠实度"与"答案正确性"两条独立轴，RAGAS 框架（Es et al., 2023）就把 faithfulness 与 answer relevancy 分开计算。

本文评述：幻觉率作为子指标进入综合分时，最大的风险不是测量误差，而是定义漂移——不同评测方对"什么算幻觉"的边界不同，导致幻觉率数值不可跨报告比较。一个把"未在上下文中出现但事实正确"也算作幻觉的严格口径，会系统性抬高幻觉率，进而压低综合分。这种口径差异在权重较高时会被显著放大，是排名漂移的隐性来源之一。

2.3 矛盾率：与幻觉率高度相关却不重合

矛盾率（Contradiction Rate）衡量的是模型输出内部或输出与上下文之间的逻辑冲突比例。它与幻觉率的相关性通常在 0.6 至 0.8 之间（视数据集与判定口径而定，属文献中反复观察到的量级，具体数值随任务差异较大），但两者并不重合：一段完全虚构但内部自洽的文字，幻觉率高而矛盾率低；一段引用真实事实却前后自相矛盾的回答，矛盾率高而单句幻觉率未必高。

这种相关性带来一个合成层面的技术问题：高度相关的子指标在加权和中会产生"隐性重复计权"。若幻觉率权重 0.3、矛盾率权重 0.2，而两者相关系数 0.7，则"事实性"这一潜在维度实际获得的权重接近 0.3+0.2×0.7 的量级，远超设计者的本意。这是加权和模型最容易被忽视的结构性缺陷，第三节会展开其数学后果。

2.4 安全性：最难标量化的一维

安全性涵盖有害内容拒答、越狱抵抗、隐私保护、偏见控制等多个子维度。主流做法是用红队测试集统计违规率，再取补集得到"安全率"。但违规率对测试集构造极度敏感：一个偏重暴力内容的红队集与一个偏重隐私泄露的红队集，测出的安全率可能相差悬殊。Anthropic、OpenAI 等机构公开的安全评估报告均强调测试集覆盖范围对结论的决定性影响（如 Anthropic 的模型卡与系统卡系列文档）。

本文评述：安全性子指标的特殊性在于其分布高度偏态——绝大多数样本安全，少数样本严重违规。这种分布下，均值型指标（安全率）对尾部事件不敏感，而综合分恰恰用的是均值型合成。结果是：一个在极端有害请求上系统性失败的模型，可能因为安全率只下降两三个百分点而在综合分上几乎不受惩罚。这不是权重设置问题，而是合成函数形式与子指标分布不匹配的问题。

表 1：四类子指标的测量特征对比。分布特征为基于公开评测报告与文献描述的定性归纳，非单一数据集的精确统计。

三、合成机制：加权和为什么天然不稳健

3.1 加权和的数学结构

设模型 m 在第 i 个子指标上的归一化得分为 s_i(m) ∈ [0,1]，权重向量 w 位于单纯形 Δ = {w : w_i ≥ 0, Σw_i = 1} 上，则综合分为：

R(m; w) = Σ_i w_i · s_i(m)

排名函数：rank(m; w) = 1 + Σ_{m' ≠ m} 1[ R(m'; w) > R(m; w) ]

这个结构的关键性质是：R 对 w 是线性的，而 rank 对 R 是阶跃的。线性部分意味着权重扰动引起的分数变化是平滑的；阶跃部分意味着只要两个模型的分数差足够小，任何微小扰动都可能翻转它们的相对次序。排名不稳健的根源不在分数，而在"分数差接近零"这一事实本身。换句话说，权重敏感性只是暴露了模型间真实差距过小，而非制造了差距。

本文评述：这一观察把问题从"如何选对权重"转向"如何识别分数差是否具有实质意义"。前者无解，因为权重没有唯一正确答案；后者可解，因为分数差的统计显著性可以被估计。这是后文 WRRS 框架的立足点。

3.2 权重扰动下的排名翻转条件

考虑两个模型 A、B，其分数差为 Δ(w) = R(A;w) − R(B;w) = Σ_i w_i · δ_i，其中 δ_i = s_i(A) − s_i(B) 是子指标层面的差值向量。排名翻转当且仅当 Δ(w) 变号。由于 Δ 是 w 的线性函数，翻转发生的权重集合构成单纯形上的一个超平面，把权重空间切成两半。

这个几何图像有直接的工程含义：任意一对模型之间都存在一个"翻转超平面"，其位置由子指标差值向量决定。若两个模型的差值向量方向与默认权重方向接近正交，则 Δ(w) 在权重空间中接近零，排名对权重极度敏感；若差值向量与权重方向高度对齐，则排名稳健。因此，判断一个排名是否可信，等价于判断对应差值向量是否远离正交。

稳健性指标（单对模型）：
  cos θ = (δ · w) / (‖δ‖ · ‖w‖)

  cos θ 接近 1  → 差值方向与权重一致，排名稳健
  cos θ 接近 0  → 差值方向与权重正交，排名脆弱
  cos θ 为负    → 默认权重下 A 劣于 B，但换权重可能反转

需要强调，cos θ 只是单对模型的局部诊断量，不能直接推广为全局排名稳定性。全局稳定性需要考察所有模型对的最小 cos θ，或更严格地，考察权重空间中排名翻转区域的体积占比。第三节末尾给出一个更完整的度量。

3.3 子指标共线性对有效权重的扭曲

前文提到幻觉率与矛盾率高度相关。更一般地，设子指标得分矩阵为 S（n 个模型 × k 个子指标），其协方差矩阵为 Σ。加权和 R = S·w 的方差为 wᵀΣw。当 Σ 存在强相关块时，权重向量 w 在相关块内部的分配对 R 的影响会被压缩——因为相关子指标提供的是冗余信息。

本文评述：这解释了一个常见困惑——为什么把幻觉率权重从 0.3 调到 0.4，综合分排名几乎不变？因为幻觉率与矛盾率共线，权重在两者之间转移不改变有效信息量。反过来，把安全性权重从 0.2 调到 0.3 却可能引发剧烈排名变化，因为安全性与其他子指标相关性低，是独立信息源。这个不对称性提示：权重敏感性的高低，本质上反映的是子指标的信息独立性，而非权重数值本身的大小。

工程上可以用方差膨胀因子（VIF）或主成分分析来诊断共线性。若某子指标的 VIF 超过 5，说明它与其他子指标高度冗余，其权重的边际影响被稀释，报告时应说明这一点，避免读者误以为该维度被充分重视。

3.4 归一化方式引入的隐性权重

综合分计算前通常要对子指标做归一化（min-max、z-score 或除以理论最大值）。不同归一化方式会改变子指标的方差，从而改变其在加权和中的实际影响力。min-max 归一化对异常值敏感，一个极端样本可以把整个子指标的尺度压缩；z-score 归一化假设分布近似正态，对偏态的安全性指标不适用。

本文评述：归一化是"隐性权重"的主要藏身之处。设计者以为权重是 0.25/0.25/0.25/0.25，但若四个子指标归一化后的方差相差三倍，实际影响力早已偏离均等。因此任何综合分报告都应同时披露归一化方法与各子指标归一化后的标准差，否则权重数值不可解释。这一点在跨报告比较时尤为关键——两个团队用相同权重但不同归一化，得到的排名可能完全不同。

四、WRRS 框架：把权重敏感性变成可测量对象

4.1 框架总览

WRRS（Weight–Rank Response Surface，权重—排名响应面）的核心思想是：不把权重当作一个待定的点，而把它当作一个待探索的空间；不报告单一排名，而报告排名随权重变化的完整响应面。框架包含四个组件：权重采样、排名计算、稳定性度量、报告规范。

这个思路并非凭空而来。多准则决策分析（MCDA）领域早有权重敏感性分析的成熟方法，如 Simos 法、区间权重法、随机多准则可接受性分析（SMAA）。SMAA 由 Lahdelma 等人提出，其核心是蒙特卡洛采样权重空间，统计各方案成为最优方案的概率。本文评述：SMAA 提供了正确的概率化视角，但直接套用到 LLM 评估场景有两个不适配点——其一，SMAA 通常假设权重均匀分布，而 LLM 评估中某些权重区间有明确的场景约束；其二，SMAA 输出的是"最优概率"，而工程决策更关心"排名区间"与"翻转边界"。WRRS 在 SMAA 基础上做了这两点调整。

4.2 权重采样策略

权重空间是 k−1 维单纯形（k 为子指标数，本文 k=4，故为三维单纯形）。采样策略有三种，适用场景不同：

（1）均匀单纯形采样。在单纯形上均匀撒点，适合探索性分析，回答"在所有可能的权重偏好下，排名如何分布"。实现上可用 Dirichlet 分布采样，参数全为 1 时即均匀分布。样本量建议不低于 10000，以保证排名翻转区域的估计精度。

（2）约束区间采样。当场景对权重有明确约束时（如医疗场景安全性权重不低于 0.3），在约束子空间内采样。这能回答"在合理权重范围内，排名是否稳定"。约束的设定必须有依据，不能为了得到稳定结论而人为收窄区间——这是自欺。

（3）对抗性边界采样。专门针对翻转超平面附近采样，用于精确刻画排名翻转的临界权重。适合在发现某对模型排名脆弱后做深入诊断。

# 均匀单纯形采样（Python / NumPy）
import numpy as np

def sample_weights(k=4, n=20000, rng=None):
    rng = rng or np.random.default_rng(42)
    # Dirichlet(1,...,1) 在单纯形上均匀
    return rng.dirichlet(np.ones(k), size=n)

# 约束区间采样：安全性（第4维）权重 ∈ [0.3, 0.5]
def sample_constrained(k=4, n=20000, lo=0.3, hi=0.5, rng=None):
    rng = rng or np.random.default_rng(42)
    out = []
    while len(out) < n:
        w = rng.dirichlet(np.ones(k))
        if lo <= w[3] <= hi:
            out.append(w)
    return np.array(out)

4.3 稳定性度量：三个层次

采样之后需要把响应面压缩成可读的度量。WRRS 建议报告三个层次的指标，由粗到细：

第一层：Top-1 概率。对每个模型，统计其在采样权重下排名第一的频率。这个指标直接回答"该模型有多大把握是最优"。若最高概率不足 0.6，说明没有明显赢家，任何"某模型第一"的宣称都站不住。

第二层：排名区间。对每个模型，统计其排名的最小值、最大值与 90% 分位区间。排名区间宽度是比 Top-1 概率更细的信息——两个模型 Top-1 概率都低，但一个排名区间是 [1,2]，另一个是 [1,5]，后者显然更不稳定。

第三层：成对翻转率。对每一对模型，统计采样权重下排名发生翻转的频率。翻转率接近 0.5 的模型对，说明两者在综合分意义上不可区分，选型应转向其他判据（成本、延迟、可解释性）。

表 2：WRRS 三层稳定性度量。判读阈值为工程经验建议值，非普适标准，实际使用应结合场景代价不对称性调整。

4.4 与统计显著性检验的关系

WRRS 处理的是"权重不确定性"，而统计显著性检验处理的是"采样不确定性"，两者正交但常被混淆。一个模型在固定权重下以 0.3 分优势领先，若该优势的 bootstrap 置信区间跨零，则无论权重多稳定，这个领先都不可信。反之，一个统计上显著的领先，若在权重扰动下频繁翻转，则其决策价值同样有限。

本文评述：完整的稳健性报告应同时包含两层——统计层（bootstrap 置信区间）与权重层（WRRS 排名区间）。只报其一都是不完整的。工程实践中常见两种错误：只做显著性检验而不做权重敏感性，导致"统计显著但决策脆弱"；只做权重扫描而不做显著性检验，导致"权重稳健但样本不足"。两者叠加才能给出可信结论。

五、工程落地：一次完整的敏感性分析实操

5.1 数据准备与预处理

假设已有五个模型在统一测试集上的四类子指标得分。数据预处理需完成四步：其一，统一判定口径，确保所有模型的幻觉率用同一套 NLI 模型或同一批标注规范计算；其二，剔除样本量不足的子指标，若某模型在某子指标上有效样本少于 200，该得分应标注为低置信；其三，做归一化并记录归一化参数；其四，计算子指标相关矩阵，诊断共线性。

下面给出一个模拟数据示例，用于演示流程。数据为模拟数据，非真实评测结果，仅作方法演示。

import numpy as np
import pandas as pd

# 模拟数据：5 个模型 × 4 个子指标（已归一化到 [0,1]）
models = ["M1", "M2", "M3", "M4", "M5"]
S = np.array([
    [0.82, 0.88, 0.85, 0.71],   # 准确率, 幻觉率(越高越好=1-幻觉率), 矛盾率(同), 安全性
    [0.79, 0.91, 0.88, 0.66],
    [0.85, 0.84, 0.82, 0.78],
    [0.77, 0.86, 0.90, 0.83],
    [0.81, 0.89, 0.84, 0.74],
])
df = pd.DataFrame(S, index=models, columns=["acc", "hallu", "contra", "safety"])
print(df.corr().round(3))   # 观察共线性

模拟数据中，幻觉率与矛盾率的相关系数通常在 0.6 以上（此为模拟设定，真实数据需实测）。若确认共线，后续解读需说明这两个维度的有效权重被压缩。

5.2 权重扫描与排名统计

def rank_scan(S, weights):
    """weights: (n_samples, k) -> 返回每个样本下的排名矩阵"""
    scores = weights @ S.T                 # (n, m)
    # 降序排名，分数相同取平均名次
    ranks = (-scores).argsort(axis=1).argsort(axis=1) + 1
    return ranks

W = sample_weights(k=4, n=20000)
R = rank_scan(S, W)                       # (20000, 5)

top1 = (R == 1).mean(axis=0)
rank_min = R.min(axis=0)
rank_max = R.max(axis=0)
rank_p05 = np.percentile(R, 5, axis=0)
rank_p95 = np.percentile(R, 95, axis=0)

summary = pd.DataFrame({
    "top1_prob": top1.round(3),
    "rank_min": rank_min,
    "rank_p05": rank_p05,
    "rank_p95": rank_p95,
    "rank_max": rank_max,
}, index=models)
print(summary)

这段代码输出每个模型的 Top-1 概率与排名区间。若某模型 Top-1 概率 0.45、排名区间 [1,3]，则"该模型最优"这一结论只在不到一半的权重配置下成立，不能作为选型依据。若另一模型 Top-1 概率 0.05 但排名区间 [1,2]，说明它虽很少第一，但稳定处于前列，是更安全的备选。

5.3 成对翻转率与决策矩阵

from itertools import combinations

def pairwise_flip(R):
    out = {}
    for a, b in combinations(range(R.shape[1]), 2):
        ra, rb = R[:, a], R[:, b]
        flip = ((ra < rb).mean())
        out[(models[a], models[b])] = round(min(flip, 1 - flip), 3)
    return out

print(pairwise_flip(R))

翻转率接近 0.5 的模型对，在综合分意义上不可区分。此时决策应转向次级判据：推理成本、首 token 延迟、上下文窗口、部署复杂度、可审计性。这些判据不在 R-Score 内，却往往是实际选型的决定因素。

5.4 报告模板

一次合格的综合分报告应包含以下要素，缺一不可：子指标定义与判定口径；归一化方法与参数；默认权重及其场景依据；WRRS 三层稳定性结果；统计显著性检验结果；不可区分模型对的清单与次级判据建议。缺少任何一项，读者都无法判断排名结论的适用边界。

延伸阅读：多准则决策中的 SMAA 方法可参考 SMAA 官方资料站；LLM 评估方法论的公开讨论可参考 Chatbot Arena 排行榜 与 LLM-as-a-Judge 论文。这些资源提供了权重与排名讨论的实证背景。

六、对比与局限：综合分不该承担的职能

6.1 综合分与剖面报告的对比

综合分的优势是压缩信息、便于排序；劣势是丢失结构。剖面报告（profile report）保留各子指标得分，不做合成，读者自行判断。两者不是替代关系，而是不同决策阶段的工具：初筛阶段用综合分快速缩小候选集，终选阶段用剖面报告做细致权衡。

本文评述：当前实践的问题在于把初筛工具用于终选决策。综合分排名第一被当作"最优模型"，而实际上它只意味着"在某一权重假设下综合得分最高"。这种误用不是指标本身的错，而是使用规范缺失。合理的做法是把综合分定位为"候选集过滤器"而非"决策器"。

6.2 权重不可公度性的哲学边界

加权和隐含一个强假设：不同子指标之间的 trade-off 是线性的、可补偿的。即准确率下降 0.1 可以用安全性上升 0.1 来抵消。这个假设在多数场景下不成立——安全性违规可能带来不可逆的声誉损失，无法用准确率提升补偿。多准则决策理论把这类问题称为"不可补偿性"（non-compensability），需要用 outranking 方法（如 ELECTRE、PROMETHEE）而非加权和来处理。

本文评述：这不是要否定 R-Score，而是指出其适用边界。当子指标间存在不可补偿关系时，加权和的结论必须附加说明。工程上可行的折中是：对可补偿维度用加权和，对不可补偿维度设硬约束（如安全性低于阈值直接淘汰），两层筛选后再排序。这种"约束 + 加权"的混合结构比纯加权和更贴近真实决策逻辑。

6.3 评测集污染与分数通胀

综合分的另一个局限来自评测集本身。公开基准被训练数据污染后，分数会系统性偏高，且不同模型的污染程度不同，导致排名失真。近期多项工作讨论了基准污染检测方法，如 n-gram 重叠检测、扰动测试、时间切分验证。本文评述：污染问题与权重问题叠加时，敏感性分析无法区分"权重导致的排名变化"与"污染导致的分数虚高"。因此在做 WRRS 之前，应先做污染审计，否则响应面建立在不可靠的输入上。

七、结论与展望：从单一分数到分数剖面

回到开篇的场景：权重一变排名就变，综合分该怎么解读？本文给出的答案是——不要把综合分当作一个数，而要把它当作一个函数。R(m; w) 是模型与权重的联合函数，任何单点取值都只是这个函数的一个切片。解读综合分的正确姿势是报告这个切片附近的函数行为：Top-1 概率、排名区间、成对翻转率，以及这些度量背后的子指标结构与共线性诊断。

笔者认为，评估实践的下一个演进方向是从"单一分数"走向"分数剖面"——不是放弃综合分，而是把综合分嵌入一个多层次的报告体系：底层是子指标原始得分与置信区间，中层是权重敏感性响应面，顶层才是条件性排名结论。这样的体系既保留了综合分的压缩优势，又避免了伪客观的陷阱。

对工程团队而言，可立即落地的三条建议是：其一，任何对外发布的排名必须附带权重敏感性区间，否则视为不完整；其二，把 WRRS 分析脚本纳入评测流水线，作为标准步骤而非可选项；其三，在选型决策中明确区分"综合分可区分"与"综合分不可区分"的模型对，后者转向次级判据。这三条不解决权重该取多少的哲学问题，但能让排名结论变得可检验、可复现、可争论——而这正是工程评估应有的样子。

八、主要参考文献