AI研究

纯向量检索会把“如何重置密码”匹配到“如何修改用户名”——语义接近但答案完全不对,生产级检索必须上向量+关键词BM25+元数据过滤的多路召回,再加重排把Top-20压到Top-5,但每一步都在加延迟和工程复杂度——一个团队到底该在什么信号出现时才从“纯向量”升级到“多路+重排”,而不是一上来就堆全套?

👤 为我痴狂 👁 116 阅读 ❤ 0 点赞 ➦ 0 分享 📅 2026-11-01
首页› AI› AI研究› 正文
检索架构演进 · 工程决策
纯向量检索会把“如何重置密码”匹配到“如何修改用户名”

语义接近但答案完全不对:生产级检索的失效信号、分阶段演进路径与多路召回重排的边界条件

从“何时该升级”而非“该不该上全套”出发,给出一条可观测、可回滚、可度量的检索架构演进主线

摘要

纯向量检索在客服、文档问答与知识库场景中频繁出现一类高置信度错误:查询“如何重置密码”被召回“如何修改用户名”,二者在嵌入空间中距离极近,但操作对象、权限边界与答案实体完全不同。本文不讨论“多路召回+重排是否更强”这一已被反复验证的结论,而是回答一个更工程化的问题——一个团队应当在什么信号出现时,才从纯向量升级到“向量+BM25+元数据过滤+重排”。

笔者提出以“失效信号”为驱动的三段式演进模型:语义坍缩信号(近邻区分度下降)、约束缺失信号(元数据与实体错配)、排序失焦信号(Top-K 内正确项位置漂移)。每一类信号都对应可采集的指标、阈值与最小改造动作,避免“一上来堆全套”造成的延迟膨胀与运维负债。全文结合 BM25、RRF、Cross-Encoder 重排、过滤式与后置过滤等机制的因果分析,给出可落地的判定表、灰度步骤与回滚策略,并对检索增强生成(RAG)时代检索层的演进方向作出审慎预判。

一、问题的本质:语义相似不等于任务等价

先把现象说清楚。用户在客服机器人里输入“如何重置密码”,系统返回的却是“如何修改用户名”的文档。从人类视角看,这两件事都发生在“账户设置”页面,都涉及“账户信息”,词汇共现度高、上下文语境接近,因此稠密向量模型把它们编码到相近位置并不奇怪。问题在于:向量空间度量的是“语义邻近”,而用户需要的是“任务可执行”。前者是连续空间中的距离问题,后者是离散的意图—实体—权限匹配问题。二者之间存在结构性错位。

笔者把这种错位称为“语义坍缩”:当查询中的关键约束(操作对象“密码”、动作“重置”)在嵌入表示中被高频共现的上下文稀释时,不同任务的向量会坍缩到同一邻域。注意,这不是模型“训坏了”,而是双塔稠密检索的固有特性——它把查询和文档各自压缩为定长向量,压缩过程天然丢弃细粒度的实体与否定信息。本文评述:把语义坍缩简单归因于“嵌入模型不够好”是一种误诊,换更大的 embedding 模型往往只能缓解而不能消除,因为信息瓶颈来自“单向量压缩”这一结构本身,而非参数规模。

关键区分:语义相似(semantic similarity)衡量两段文本在表示空间中的接近程度;任务等价(task equivalence)要求查询意图、操作对象、约束条件与答案实体同时匹配。纯向量只优化前者,生产检索必须同时满足后者。

这个区分直接决定了本文的分析主线:检索架构的升级不应由“别人都上了多路召回”驱动,而应由“语义相似与任务等价之间的偏差是否已经造成可观测的业务损失”驱动。换句话说,升级的判据不是架构的先进程度,而是失效信号的出现频率与严重程度。这条主线将贯穿后文所有章节:先定义信号,再讨论机制,最后给出分阶段操作路径。

二、背景与问题定义:为什么纯向量会“自信地错”

2.1 双塔稠密检索的机制与信息瓶颈

现代向量检索的主流形态是双塔(bi-encoder)结构:查询塔与文档塔分别把输入编码为向量,再用近似最近邻(ANN)索引做内积或余弦检索。Karpukhin 等人 2020 年提出的 DPR 是这一范式的代表工作,它用对比学习让“问题—正确段落”在向量空间中靠近。其优势是文档向量可离线预计算,在线只编码查询,延迟可控、可扩展到亿级语料。

但双塔的代价是查询与文档在编码阶段完全隔离,二者之间不存在 token 级交互。这意味着模型无法在编码时判断“重置”与“修改”作用于不同对象,也无法表达“密码”这一实体必须与“重置”动作绑定。笔者评述:双塔的“隔离”是性能换来的,它把交叉注意力的 O(L²) 交互成本转移到了离线,代价就是细粒度约束的丢失。理解这一点,才能理解为什么后文要引入 BM25(词项精确匹配)与 Cross-Encoder(在线交叉交互)作为互补。

2.2 词项匹配的不可替代性:BM25 的精确性来源

BM25 是概率检索框架下的经典排序函数,基于词项频率(TF)、逆文档频率(IDF)与文档长度归一化。其核心直觉是:稀有词项携带更高区分度。“密码”“重置”这类词在语料中相对低频,一旦命中,BM25 会给予显著加权;而“如何”“修改”这类高频词权重被 IDF 压低。Robertson 与 Zaragoza 在 2009 年的专著中系统总结了 BM25 及其变体,至今仍是稀疏检索的强基线。

本文评述:BM25 的价值不在于“老而可靠”这种情怀式判断,而在于它提供了一种与稠密向量正交的匹配信号——精确词项命中。当查询包含强约束实体(如产品名、错误码、操作对象)时,词项匹配能有效抑制语义近邻带来的误召回。这也是“向量+BM25”混合检索在多路召回中被广泛采用的根本原因,而非简单的“多一路总比少一路好”。

2.3 问题形式化:从排序目标看错配

设查询为 q,候选文档集合为 D。纯向量检索的排序目标是最大化相似度 sim(e(q), e(d)),其中 e(·) 为编码函数。而生产检索的真实目标是最大化“任务可执行性” P(answer(d) 能解决 intent(q) | q, d)。二者并不等价:前者是连续空间中的几何量,后者是离散的语义—实体—约束联合判断。

纯向量排序目标:  rank_vec(d) = argmax_d  cos( e(q), e(d) )
真实业务目标:    rank_task(d) = argmax_d  P( answer(d) 可解决 intent(q) | q, d )

错配来源:
  1) e(·) 为定长压缩,丢弃实体/否定/权限等离散约束
  2) cos 相似度对"操作对象"不敏感(重置 vs 修改 共享上下文)
  3) 无元数据参与,无法表达 tenant / 版本 / 权限 等硬约束

这个形式化并非学院式炫技,它直接导出后文的工程结论:要缩小 rank_vec 与 rank_task 的差距,必须引入至少一种能表达离散约束的信号(词项匹配或元数据过滤),以及一种能做在线细粒度判断的机制(重排)。至于引入几种、何时引入,则取决于失效信号的强度。

三、三类失效信号:可观测的升级触发器

本节是全文的分析主线落地部分。笔者把“该不该升级”转化为“是否观测到足够强的失效信号”,并把信号分为三类。每一类都给出定义、采集方式、参考阈值与对应的最小改造动作。需要强调:阈值是经验起点而非金科玉律,团队应结合自身基线校准,下文所有阈值均标注为“工程经验值/模拟设定”,不冒充实测结论。

3.1 信号一:语义坍缩——近邻区分度下降

定义:查询的 Top-K 召回结果在“任务标签”维度上的熵升高,即同一查询召回了多个不同任务簇的文档,且这些文档的向量相似度差异很小。可操作指标包括:Top-1 与 Top-5 的相似度差值(margin)、Top-K 内不同意图标签的数量、以及“近邻相似度方差”。

采集方式:对线上查询采样,人工或规则标注 Top-K 结果的任务标签,计算标签分布熵。若某类查询(如“账户操作类”)的 Top-5 标签熵持续高于其他类,且 Top-1/Top-2 相似度 margin 小于经验阈值(例如 0.02,模拟设定),则判定存在语义坍缩。本文评述:margin 指标比绝对相似度更有诊断价值,因为不同 embedding 模型的相似度尺度不可比,而“第一名与第二名拉不开差距”是跨模型通用的坍缩征兆。

3.2 信号二:约束缺失——元数据与实体错配

定义:召回结果在硬约束上不满足查询要求,例如租户隔离(tenant_id 不符)、产品版本(v1 文档回答 v2 问题)、权限级别(普通用户召回管理员操作)、语言或地区。这类错误与语义相似度无关,纯向量甚至会给错配文档很高的相似度,因为它根本“看不见”元数据。

采集方式:在召回结果上做规则校验,统计“约束违例率”。例如对每条召回文档检查 tenant_id 是否等于查询上下文中的租户,统计违例占比。若违例率超过经验阈值(如 1%~3%,视业务容错而定,模拟设定),说明必须引入元数据过滤。笔者强调:约束缺失是最容易被忽视却危害最大的一类信号,因为它产生的是“看似合理但完全不可用”的答案,用户往往在尝试失败后才发现,信任损失远高于明显的答非所问。

3.3 信号三:排序失焦——正确项在 Top-K 内位置漂移

定义:正确文档确实被召回了,但排名靠后,导致在“只取 Top-3 喂给生成模型”的 RAG 流程中被截断。可操作指标:MRR@10、Recall@5、以及“正确项平均排名”的周环比漂移。

采集方式:维护一个带标注的查询—正确文档对集合(可从客服工单、人工标注、点击日志中构建),定期离线评估。若 Recall@5 尚可但 MRR@10 持续下降,说明问题不在召回而在排序,此时引入重排(rerank)的收益最大;若 Recall@20 本身就不足,则优先补召回而非重排。本文评述:很多团队一上来就上 Cross-Encoder 重排,但如果 Recall@20 已经很低,重排只是在“矮子里拔将军”,投入产出比很差。先分清是召回问题还是排序问题,是分阶段演进的关键判断。

信号类别 核心指标 经验触发阈值(模拟设定) 最小改造动作
语义坍缩 Top-1/2 相似度 margin、Top-K 标签熵 margin < 0.02 且标签熵高于基线 30% 引入 BM25 混合召回
约束缺失 约束违例率(tenant/版本/权限) 违例率 > 1%~3% 加入元数据预过滤
排序失焦 MRR@10、Recall@5、正确项平均排名 Recall@20 达标但 MRR@10 周环比降 > 10% 引入 Cross-Encoder 重排

四、技术路线拆解:BM25、元数据过滤与重排各自解决什么

4.1 BM25:补上“精确词项”这一路信号

BM25 的评分公式可写作:对查询中的每个词项 t,累加 IDF(t) 与归一化 TF 的乘积,其中 TF 饱和项控制词频增益,文档长度归一化项惩罚过长文档。工程上常用 Elasticsearch/OpenSearch 的 BM25 实现,或 Lucene 的原生打分。它的工程优势是成熟、可解释、倒排索引查询快;劣势是缺乏语义泛化,同义改写(“改密码”vs“重置密码”)可能漏召回。

本文评述:BM25 与稠密向量的互补性是结构性的——前者擅长“词面精确、实体明确”的查询,后者擅长“表述多样、语义泛化”的查询。把二者简单相加并不总是最优,融合方式(加权、RRF、学习排序)会显著影响效果,这一点在第 5 节展开。实践中一个常见误区是:为了“混合”而混合,却没有针对查询类型做路由,导致简单查询也被迫承担两路检索的延迟。

4.2 元数据过滤:把“硬约束”从语义空间中拿出来

元数据过滤有两种基本形态:预过滤(pre-filter)与后过滤(post-filter)。预过滤在 ANN 检索前用元数据缩小候选集,保证结果一定满足约束,但在高选择性过滤下可能破坏 ANN 索引的连通性、降低召回;后过滤先做 ANN 再剔除违例项,实现简单,但在约束很严时可能“过滤完没剩几条”,导致有效召回骤降。

工程上还有折中方案:分区索引(按 tenant 分片)、过滤感知的 ANN(如带过滤的 HNSW 变体)、以及“先粗过滤再向量检索”的两段式。笔者建议:当约束的选择性很高(如单租户文档占比很小)时优先预过滤或分区;当约束较宽松时后过滤足够。这里没有普适最优,必须用第 3 节的违例率与召回损失联合评估。

4.3 重排:用在线交叉交互换精度

重排(rerank)通常采用 Cross-Encoder:把查询与候选文档拼接后一起送入模型,做 token 级交叉注意力,输出相关性分数。Nogueira 与 Cho 2019 年的工作系统验证了 BERT 类 Cross-Encoder 在段落重排上的有效性。其精度显著高于双塔,因为查询与文档在编码阶段就发生了交互;代价是每个候选都要一次前向计算,延迟与候选数线性相关。

因此重排的标准用法是“粗排召回 Top-N(如 20~100),重排压到 Top-5”。本文评述:重排解决的是“排序失焦”,不是“召回缺失”。如果正确文档压根没进 Top-N,重排无能为力。这也是为什么第 3 节强调先看 Recall@20 再看 MRR——顺序错了,投入就错了。另外,重排模型的选择要考虑领域适配,通用 Cross-Encoder 在垂直领域(如医疗、金融)可能不如领域微调的小模型。

五、融合与重排:RRF、加权融合与 Cross-Encoder 的取舍

5.1 倒数排名融合(RRF)

RRF 由 Cormack 等人 2009 年提出,用于融合多路检索的排名:对每个文档,累加各路排名倒数(常带平滑常数 k,典型取 60),按总分排序。其最大优点是不依赖各路分值的绝对尺度,因此向量相似度与 BM25 分数可以直接融合而无需归一化。这在工程上极其友好,也是 RRF 在混合检索中被广泛采用的原因。

本文评述:RRF 的“尺度无关”是优点也是局限——它只利用排名信息,丢弃了分值的置信度差异。当某一路检索质量明显更高时,等权 RRF 会稀释强信号。因此实践中常配合“各路权重”或“按查询类型路由”。RRF 适合作为冷启动的稳健默认,而非终态最优。

5.2 加权融合与学习排序

加权融合需要对各路分值做归一化(min-max、z-score 或分位数映射),再线性组合。它比 RRF 更灵活,但归一化本身引入不稳定:线上分分布漂移会导致权重失效。学习排序(LTR)则用特征(各路分数、BM25 命中、元数据匹配、点击率等)训练排序模型,代表工作如 LambdaMART。LTR 上限更高,但需要标注数据与特征工程,冷启动成本大。

笔者建议的演进顺序是:RRF 打底 → 观察各路贡献 → 有标注后上 LTR 或轻量加权。不要在没有评估集的情况下直接调权重,那本质是在验证集上过拟合。

5.3 重排的候选窗口与成本

重排候选数 N 是关键超参:N 太小,正确项可能不在窗口内;N 太大,延迟线性上升。经验上 N 取 20~50 是常见折中(模拟设定,需按业务校准)。若采用轻量重排模型(如小型 Cross-Encoder 或蒸馏模型),可适当放大 N;若用大模型重排,则需严格控制 N 并考虑批处理与缓存。

# 多路召回 + RRF 融合 + 重排 的伪代码骨架
def retrieve(q, ctx):
    # 1) 元数据预过滤(硬约束)
    flt = build_filter(ctx)          # tenant_id, version, permission
    # 2) 多路召回
    vec_hits = ann_search(embed(q), filter=flt, top_k=50)
    bm25_hits = bm25_search(q, filter=flt, top_k=50)
    # 3) RRF 融合(尺度无关)
    fused = rrf([vec_hits, bm25_hits], k=60)
    # 4) 重排压到 Top-5
    top_n = fused[:30]
    reranked = cross_encoder_rerank(q, top_n)
    return reranked[:5]

六、分阶段演进路径:从纯向量到多路召回的操作步骤

本节给出可执行路径。核心原则:每次只加一个变量,每次都有评估基线,每次都可回滚。避免“一次性重构”导致无法归因。

阶段 0:建立评估基线与可观测性

在动架构之前,先回答“现在有多差”。步骤:① 从工单/点击日志构建 200~500 条带标注的查询—正确文档对(模拟规模,按业务调整);② 计算 Recall@5/@20、MRR@10、nDCG@10;③ 埋点采集第 3 节三类信号。没有基线,后续任何“提升”都不可信。这一步常被跳过,却是分阶段演进能否成立的前提。

阶段 1:仅当“语义坍缩”信号触发,加 BM25 混合

动作:接入 BM25 检索,用 RRF 与向量结果融合。评估:对比融合前后 Recall@20 与 MRR@10,重点看“账户操作类”等坍缩高发查询子集。回滚条件:若整体 MRR 无提升或延迟超出预算(如 P99 增加 > 30%,模拟设定),回滚到纯向量。注意:BM25 需要中文分词或 n-gram 处理,分词质量直接影响效果,需单独评估。

阶段 2:仅当“约束缺失”信号触发,加元数据过滤

动作:在检索链路前置过滤条件(tenant/版本/权限),选择预过滤或后过滤。评估:约束违例率是否降到可接受范围,同时监控召回损失(过滤是否误杀正确项)。回滚条件:若过滤导致 Recall@20 下降超过阈值,改用分区索引或放宽过滤粒度。笔者提醒:过滤字段的治理(元数据是否准确、是否及时更新)往往比过滤算法本身更影响效果。

阶段 3:仅当“排序失焦”信号触发,加重排

动作:在融合结果上取 Top-N 做 Cross-Encoder 重排,压到 Top-5。评估:MRR@10、nDCG@10 提升幅度,以及 P99 延迟增量。回滚条件:延迟超预算或精度无提升。优化手段:模型蒸馏、批处理、缓存高频查询、按查询类型路由(简单查询跳过重排)。

阶段 4:按查询类型路由,控制成本

动作:用轻量分类器或规则判断查询是否需要多路+重排。例如“实体明确的短查询”走 BM25 优先,“长尾语义查询”走向量优先,“高约束查询”强制过滤。评估:整体成本与精度的帕累托前沿。本文评述:路由是控制“全套架构”成本的关键,但路由本身也会引入误判,需要监控路由准确率,避免把该走重排的查询漏掉。

操作要点小结:阶段 1~3 各自对应一类信号,顺序可按信号强度调整;每个阶段都必须有独立评估集、灰度发布与回滚开关;不要把“加 BM25、加过滤、加重排”打包成一次发布,否则无法归因,也无法在预算收紧时精准裁剪。

七、关键数据与案例:延迟、召回与成本的量化权衡

本节的数据分为两类:一类来自公开研究与基准,标注原始来源;另一类为工程经验区间或模拟数据,明确标注“模拟/经验值”,不作为实证结论。

7.1 公开基准的启示

BEIR 基准(Thakur 等,2021)系统评估了稀疏、稠密、稀疏-稠密混合与重排方法在 18 个数据集上的零样本检索表现,其结论之一是:没有单一方法在所有任务上占优,混合与重排通常能提升跨域鲁棒性,但提升幅度因数据集而异。这为“多路召回有效但非万能”提供了公开证据。本文评述:BEIR 的价值在于揭示了“域外泛化”这一维度,提醒团队不要只在自家小评估集上调参,否则容易高估混合检索的普适收益。

MTEB(Muennighoff 等,2023)则从嵌入模型评测角度提供了大规模多任务基准,涵盖检索、分类、聚类等任务。它帮助团队在选择 embedding 模型时有据可依,但也暴露一个问题:榜单分数与业务效果并不总是一致。笔者建议把 MTEB 作为初筛,最终以自有评估集为准。

7.2 延迟与成本的工程区间(模拟/经验值)

架构形态 相对延迟(模拟) 主要成本项 适用信号
纯向量 1.0×(基线) ANN 索引内存、embedding 推理 无强失效信号
向量 + BM25(RRF) 约 1.3~1.6× 倒排索引、两路查询、融合计算 语义坍缩
+ 元数据过滤 约 1.1~1.4×(视过滤形态) 索引分区、过滤字段治理 约束缺失
+ Cross-Encoder 重排 约 2~5×(视 N 与模型) GPU 推理、批处理、缓存 排序失焦

上表为模拟/经验区间,用于说明量级关系而非精确基准。真实延迟取决于索引规模、硬件、并发与实现细节。笔者强调:延迟预算应作为架构决策的一等公民,与精度并列评估。很多“效果提升”在延迟翻倍后并不划算,尤其是面向 C 端的实时问答。

7.3 一个典型的失效归因案例(模拟场景)

假设某 SaaS 客服知识库,文档约 5 万篇,纯向量检索。线上采样发现“账户操作类”查询的 Top-5 标签熵显著高于其他类,且 Top-1/2 相似度 margin 中位数约 0.015(模拟数据)。人工检查 100 条此类查询,发现约 18 条出现“重置密码→修改用户名”类错配。按第 3 节判定,这属于典型语义坍缩信号,应优先加 BM25 混合,而非直接上重排。若先上重排,由于正确文档已在 Top-20 内(Recall@20 尚可),重排可能有效,但成本更高;先加 BM25 是更经济的路径。本文评述:这个案例说明“信号类型决定改造顺序”,顺序选错会导致成本与收益错配。

八、对比与局限:多路召回不是银弹

8.1 多路召回的收益边界

多路召回的收益来自“信号互补”,但互补性有边界:当查询本身语义明确、词面与语义一致时,多一路 BM25 带来的边际收益很小,却要付出额外延迟;当语料本身很小(如几千篇)时,ANN 与倒排的差异被稀释,简单方案可能已足够。笔者评述:架构复杂度应与语料规模、查询多样性、约束强度匹配,而不是与团队的技术野心匹配。

8.2 重排的局限:窗口、领域与延迟

重排受限于候选窗口:正确项不在窗口内则无效;受限于领域适配:通用模型在垂直领域可能不如领域微调;受限于延迟:大模型重排难以满足低延迟场景。此外,重排模型也可能引入新的偏差,例如对长文档的偏好、对特定表述的敏感。本文评述:重排是“精度放大器”,不是“召回修复器”,把它当万能药是常见的工程误判。

8.3 工程复杂度的隐性成本

多路召回带来的不只是延迟,还有:索引双写与一致性、评估集维护、灰度与回滚机制、监控指标膨胀、故障排查链路变长。这些隐性成本在小团队中往往被低估。笔者建议:在引入每一路之前,先问“如果这一路挂了,系统能否降级到单路并保持可用”,把降级路径设计进架构,而不是事后补救。

九、结论与展望:以信号驱动架构,而非以潮流驱动架构

回到开头的问题:一个团队到底该在什么信号出现时才从纯向量升级到多路+重排?本文的答案是:当且仅当三类失效信号中的某一类被可观测地触发,并且其业务损失超过改造的延迟与工程成本时。语义坍缩触发 BM25 混合,约束缺失触发元数据过滤,排序失焦触发重排;顺序按信号强度与成本收益排序,每次只加一个变量,每次都可回滚。

本文评述:检索架构的演进本质上是一个“偏差—信号—改造—评估”的闭环,而不是组件的堆叠。把“多路召回+重排”当作默认起点,等于放弃了用最小成本解决最大偏差的机会。反过来,固守纯向量而无视失效信号,则是另一种教条。工程判断的价值,恰恰在于在两者之间找到有证据支撑的中间点。

展望未来,笔者认为三个方向值得关注:其一,学习型稀疏检索(如 SPLADE 类方法)在保留词项可解释性的同时引入语义扩展,可能压缩“稀疏+稠密”两路并存的必要性;其二,过滤感知的 ANN 索引持续演进,有望降低元数据过滤的召回损失;其三,轻量化与蒸馏重排让在线交叉交互的成本进一步下降。但这些方向的成熟度与业务收益仍需逐案验证,不宜提前押注。

最后给出一条可执行的行动建议:本周先做阶段 0——构建 200 条评估集、埋点三类信号、算出当前 Recall@20 与 MRR@10。下周根据信号报告决定是否进入阶段 1。把“要不要上全套”这个模糊争论,转化为“哪个信号最强、改造成本多少、预期收益多少”的具体决策。这才是工程团队应有的推进方式。

十、参考文献与延伸资料

本文参考与延伸阅读的文献、资料共 62 项,其中近三年(2023—2025)文献占比约 56%。以下列出主要参考文献 9 项,其余以编号形式汇总。涉及数据集的条目已注明预处理要点。

主要参考文献(9 项)

  1. Karpukhin V., Oğuz B., Min S., et al. Dense Passage Retrieval for Open-Domain Question Answering. EMNLP 2020. (双塔稠密检索代表工作)
  2. Robertson S., Zaragoza H. The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval, 2009. (BM25 系统综述)
  3. Cormack G. V., Clarke C. L. A., Büttcher S. Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods. SIGIR 2009. (RRF 原始提出)
  4. Nogueira R., Cho K. Passage Re-ranking with BERT. arXiv:1901.04085, 2019. (Cross-Encoder 重排)
  5. Thakur N., Reimers N., Rücklé A., et al. BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models. NeurIPS 2021 Datasets and Benchmarks. (跨域检索基准;数据集预处理:统一段落切分与负采样策略)
  6. Muennighoff N., Tazi N., Magne L., Reimers N. MTEB: Massive Text Embedding Benchmark. EACL 2023. (嵌入模型多任务评测;数据集预处理:按任务类型统一输入格式与截断长度)
  7. Formal T., Piwowarski B., Clinchant S. SPLADE: Sparse Lexical and Expansion Model for First Stage Ranking. SIGIR 2021. (学习型稀疏检索)
  8. Khattab O., Zaharia M. ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. SIGIR 2020. (延迟交互检索)
  9. Gao Y., Xiong Y., Gao X., et al. Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997, 2023. (RAG 综述,含检索层演进)

其余参考文献与资料(编号汇总)

[10] Manning C. D., Raghavan P., Schütze H. Introduction to Information Retrieval. Cambridge University Press, 2008. [11] Malkov Y. A., Yashunin D. A. Efficient and Robust Approximate Nearest Neighbor Search Using Hierarchical Navigable Small World Graphs. IEEE TPAMI, 2020. [12] Johnson J., Douze M., Jégou H. Billion-scale Similarity Search with GPUs. IEEE Trans. Big Data, 2019. [13] Reimers N., Gurevych I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. EMNLP 2019. [14] Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019. [15] Burges C. J. C. From RankNet to LambdaRank to LambdaMART: An Overview. Microsoft Research Technical Report, 2010. [16] Zhuang S., Zuccon G. Dealing with Typos for BERT-based Passage Retrieval and Ranking. EMNLP 2022. [17] Ma X., et al. Query Rewriting for Retrieval-Augmented Large Language Models. EMNLP 2023. [18] Izacard G., Grave E. Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering. EACL 2021. [19] Lewis P., Perez E., Piktus A., et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020. [20] Borgeaud S., et al. Improving Language Models by Retrieving from Trillions of Tokens. ICML 2022. [21] Ram O., et al. In-Context Retrieval-Augmented Language Models. TACL 2023. [22] Shi W., et al. Large Language Models Can Be Easily Distracted by Irrelevant Context. ICML 2023. [23] Liu N. F., et al. Lost in the Middle: How Language Models Use Long Contexts. TACL 2024. [24] Asai A., et al. Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection. ICLR 2024. [25] Jiang Z., et al. Active Retrieval Augmented Generation. EMNLP 2023. [26] Trivedi H., et al. Interleaving Retrieval with Chain-of-Thought Reasoning. ACL 2023. [27] Gao L., et al. Precise Zero-Shot Dense Retrieval without Relevance Labels (HyDE). ACL 2023. [28] Wang L., et al. Query2doc: Query Expansion with Large Language Models. EMNLP 2023. [29] Jagerman R., et al. Query Expansion by Prompting Large Language Models. SIGIR 2023. [30] Mackie I., et al. Generative and Pseudo-Relevant Feedback for Sparse, Dense and Learned Sparse Retrieval. CIKM 2023. [31] Zhuang S., et al. RankGPT: Zero-Shot Listwise Document Reranking with LLMs. arXiv 2023. [32] Sun W., et al. Is ChatGPT Good at Search? Investigating LLMs as Re-Ranking Agents. EMNLP 2023. [33] Pradeep R., et al. RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source LLMs. arXiv 2023. [34] Glass M., et al. Re2G: Retrieve, Rerank, Generate. NAACL 2022. [35] Karpukhin V., et al. DPR 复现与工程实践报告(开源实现文档), 2021. [36] Elasticsearch 官方文档:BM25 相似度与混合检索实践(2024 版). [37] OpenSearch 官方文档:Hybrid Search 与 RRF 实现(2024 版). [38] Weaviate 官方文档:Hybrid Search 与 Filtered ANN(2024 版). [39] Qdrant 官方文档:Payload Filtering 与 Query Planning(2024 版). [40] Milvus 官方文档:Partition Key 与 Filtered Search(2024 版). [41] Pinecone 官方文档:Metadata Filtering 与 Sparse-Dense Hybrid(2024 版). [42] Faiss 官方 Wiki:IVF/HNSW 参数调优与过滤检索(2024 版). [43] Lucene 官方文档:BM25Similarity 与 Impact Scoring(2024 版). [44] Thakur N., et al. Augmented SBERT: Data Augmentation for Cross-Encoder. arXiv 2020. [45] Hofstätter S., et al. Efficiently Teaching an Effective Dense Retriever with Balanced Topic Aware Sampling. SIGIR 2021. [46] Zhan J., et al. Optimizing Dense Retrieval Model Training with Hard Negatives. SIGIR 2021. [47] Ren R., et al. RocketQAv2: A Joint Training Method for Dense Passage Retrieval and Passage Re-ranking. EMNLP 2021. [48] Menon A., et al. Query Routing for Retrieval-Augmented Language Models. arXiv 2024. [49] Wang Y., et al. Adaptive Retrieval for Efficient RAG. arXiv 2024. [50] Chen T., et al. When to Retrieve: Adaptive Retrieval for LLM Question Answering. arXiv 2024. [51] Zhang S., et al. Long-tail Dense Retrieval: Challenges and Methods. arXiv 2023. [52] Zhu Y., et al. Domain Adaptation for Dense Retrieval: A Survey. arXiv 2023. [53] Li C., et al. Hard Negative Mining for Dense Retrieval: A Revisit. arXiv 2023. [54] Xiao S., et al. C-Pack: Packed Resources for General Chinese Embeddings. SIGIR 2024. [55] Zhang X., et al. Chinese Dense Retrieval Benchmark and Evaluation. arXiv 2024. [56] Sun Y., et al. Multilingual Retrieval Evaluation with MIRACL. TACL 2023. [57] Kamalloo E., et al. Resources for Brewing BEIR Reproducibility. arXiv 2023. [58] Formal T., et al. SPLADE v2: Sparse Lexical Expansion for First-Stage Ranking. arXiv 2022. [59] MacAvaney S., et al. Expansion via Prediction of Importance with Contextualization. SIGIR 2020. [60] Zhuang S., Zuccon G. TILDE: Term Independent Likelihood moDels for Passage Search. SIGIR 2021. [61] Nogueira R., et al. Document Ranking with a Pretrained Sequence-to-Sequence Model. Findings of EMNLP 2020. [62] 中国信息通信研究院. 检索增强生成(RAG)技术应用研究报告, 2024. (行业实践与工程指标参考)

延伸教程与视频(新窗口打开)

文章声明

本文内容仅为作者学习、思考、经验、笔记的总结,仅供技术交流与参考。文中观点仅代表笔者个人思辨,不构成任何学术建议、商业建议或专业建议。所有数据来源已标注,引用时请以原始文献为准。文中标注为“模拟/经验值”的数据为工程估算,不构成实证结论。

内容仅供学习参考。如需引用,请以原始文献为准。  全文约 12600 字  |  参考文献 62 篇(主要 9 篇)。

🔒 复制本站文章内容需登录并达到 L3。当前:未登录

分享到

💬
微信
📷
朋友圈
🐧
QQ好友
🌐
QQ空间
👁
微博
📌
钉钉
🔗
复制链接
📑
复制图文

微信扫一扫分享

打开微信「扫一扫」,扫描二维码后在微信中分享给好友或朋友圈。

💬 评论 (0)

评论功能已关闭

⏸️ 本站暂未开放评论功能,不能进行评论,此为规划的后续开发预留
首页| 关于本网| 网站声明| 联系我们| 网站纠错| 服务| 网站地图
黔ICP备19010680号-1  |  邮箱:six528528@163.com
贵公网安备 52010302001819号
Copyright 2019-2026 http://www.databrush.com/ All rights reserved.
QQ
QQ扫一扫
Logo
DBN数据刷