从"可用"到"中用"的工作流嵌入度分析
一句"我直接去共享文件夹里找比你问知识库更快",常被归因为用户不习惯用 AI。本文认为,它更可能是一条关于工作流嵌入失败的诊断信号:查什么、哪里最耗时、哪些答案必须附原文、哪些场景不能只给结论——这些在建设前没有定义清楚,产出的往往只是技术上可跑通、工作上不中用的 IT 自测工具。
摘要
企业知识库项目最常见的失败形态,不是系统宕机,也不是检索不出结果,而是上线之后没人用。业务人员宁愿在共享文件夹里逐层点开、用文件名猜内容,也不愿在知识库对话框里多问一句。多数复盘把原因归结为"用户习惯未养成""AI 接受度低",随后追加培训、推送使用率考核,效果通常有限。
本文提出一条贯穿全文的分析主线:知识库的价值不取决于它"能不能答",而取决于它是否嵌入了业务人员的真实任务链。我们把这个属性称为"工作流嵌入度"(Workflow Embeddedness),并将其拆解为四个可观测维度:任务触发点、答案形态匹配度、证据可追溯性、决策闭环能力。围绕这条主线,文章依次讨论:检索型知识库与任务型知识库的机制差异;建设前必须完成的问题盘点方法;答案形态分级与原文附带的工程实现;面向工作流的评测集构建与上线度量;以及现有方法的边界条件与前沿方向。
文中的方法论部分给出可直接执行的操作步骤与检查清单,数据与结论均标注来源;涉及模拟或整合数据之处已明确说明。全文约 13000 字。
目录
一、问题的重新定义:从"用户不接受"到"工作流未接入"
1.1 一句抱怨背后的三种可能
"我直接去共享文件夹里找比你问知识库更快"这句话,至少对应三种截然不同的成因,而它们的处置方式完全不同:
现实中三者常常叠加,但复盘时最容易被归到"用户习惯"这一项,因为它不需要改系统。本文的判断是:第三类成因——任务链未接入——往往是主导因素,且最容易被误诊。共享文件夹之所以"更快",不是因为它检索能力强,而是因为它就在业务人员已经打开的那个窗口里,且它交付的是原始文件本身,不需要二次信任判断。
1.2 一个可检验的判据
要区分"习惯问题"与"嵌入问题",可以用一个简单判据:把知识库入口临时挪到业务系统内部(例如工单详情页侧边栏),观察使用率是否出现阶跃式变化。如果使用率随入口位置发生显著跃迁,说明瓶颈在可达性而非接受度;如果入口挪动后使用率依旧低迷,则问题更可能在答案质量或答案形态。这个判据成本低、可证伪,比问卷调研可靠得多。
笔者认为,把"用户不用"直接翻译成"用户不愿",是知识库项目里最昂贵的一次误判。它会让团队把预算投向培训与运营,而真正需要改的检索链路、交付形态与系统集成被长期搁置。
二、背景与概念界定:知识库、RAG 与工作流嵌入度
2.1 概念界定
企业知识库:本文指以组织内部文档、制度、工单、邮件、图纸等非结构化与半结构化资料为语料,向员工提供检索或问答服务的信息系统。它与传统文档管理系统(DMS)的区别在于,前者以"回答问题"为目标,后者以"存放与权限管理"为目标。
检索增强生成(Retrieval-Augmented Generation, RAG):Lewis 等人于 2020 年提出的一类方法,将参数化语言模型与非参数化的外部检索器结合,在生成前先检索相关文档片段作为条件(Lewis et al., 2020, NeurIPS)。本文评述:RAG 解决的是"模型不知道组织内部事实"的问题,但它并不解决"答案该以什么形态交付给谁、在哪个环节交付"的问题——后者才是本文关注的核心。
工作流嵌入度(Workflow Embeddedness, WE):本文提出的分析构念,定义为知识库服务在多大程度上与目标岗位的日常任务链重合。它不是一个单一指标,而是一组可观测维度的组合,具体见表 2-1。
表 2-1 工作流嵌入度的四个维度与代理指标(本文构建,指标为工程可观测项,非行业标准)
2.2 行业背景:从"文档中心"到"问答入口"再到"任务组件"
企业知识管理经历了三个可辨识的阶段。第一阶段以文档中心为代表,核心问题是存储、版本与权限;第二阶段以搜索与问答为代表,核心问题是召回与生成质量;第三阶段正在发生,核心问题变成服务如何以组件形态进入业务流程。Gartner 在 2023 年发布的生成式 AI 相关技术曲线中指出,企业级对话式 AI 的价值实现高度依赖与既有工作流的集成程度(Gartner, 2023)。本文评述:这一判断与工程实践吻合——单点问答工具的使用率天花板,通常由"用户是否愿意额外打开一个页面"决定。
国内方面,中国信息通信研究院在 2024 年发布的知识计算与大模型应用相关评估报告中,将"场景适配度"与"业务闭环能力"列为大模型应用成熟度的重要评估维度(中国信息通信研究院, 2024)。这类评估框架的出现,本身就说明行业关注点正从模型能力转向落地形态。
三、机制剖析:检索型知识库为何在真实任务中失效
3.1 两类知识库的机制差异
为便于分析,本文区分两类知识库:
- 检索型知识库:以"用户提问—系统检索—生成答案"为基本回路,优化目标是答案正确率与相关性。
- 任务型知识库:以"任务发生—系统预取或按需供给—用户完成动作"为基本回路,优化目标是任务完成时间与返工率。
两者的差异不在技术栈,而在优化目标函数。检索型知识库的评测集通常由"问题—标准答案"对构成,这与学术问答基准(如 Natural Questions、MS MARCO)的构造方式一致(Kwiatkowski et al., 2019; Nguyen et al., 2016)。但业务现场的任务很少以"问题"形式出现,更多以"待办""异常""客户来电"等形式出现,其成功判据是"这件事办完了没有",而不是"答案对不对"。
本文评述:把问答基准上的高分直接等同于业务价值,是知识库项目最典型的目标错位。问答基准衡量的是"给定问题能否找到答案",而业务衡量的是"给定任务能否更快完成"。这两个目标在多数情况下正相关,但在需要原文、需要审批口径、需要跨系统操作的场景中会显著背离。
3.2 失效的四条机制路径
结合工程观察与文献,检索型知识库在真实任务中的失效可归纳为四条路径:
路径一:查询—任务语义鸿沟。用户的真实需求是"这张工单该走哪个审批流",而输入到检索系统的是"审批流 规定"。前者包含大量上下文(工单类型、金额、客户等级),后者丢失了这些约束。研究表明,短查询与长文档之间的语义匹配本身存在系统性偏差(Karpukhin et al., 2020, EMNLP)。本文评述:稠密检索缓解了词面不匹配,但没有解决"查询未携带任务上下文"的问题,这需要系统侧主动补全,而非依赖用户把问题问全。
路径二:切分破坏证据完整性。固定长度切分(如 512 token)会把一条制度条款、一张表格、一段合同约定切断。生成模型拿到残缺片段后,要么给出不完整结论,要么"脑补"缺失部分。关于长上下文与切分策略的讨论可见 Liu 等人对"迷失在中间"现象的分析(Liu et al., 2024, TACL),该研究表明模型对长上下文中部信息的利用率显著低于首尾。
路径三:答案形态单一。多数系统只输出自然语言段落,而业务场景常需要表格、条款编号、原文截图、附件下载。形态不匹配会迫使用户回到原始文件,此时知识库沦为"提示器"而非"交付物"。
路径四:缺少版本与时效信号。制度文件常有多个版本,共享文件夹里至少能看到修改时间,而知识库若不标注版本与生效日期,用户无法判断答案是否仍然有效。在合规敏感场景中,这一点足以让用户放弃使用。
3.3 一个形式化视角
可以把两类知识库的优化目标写成如下形式。设任务为 t,用户完成任务的期望耗时为 T(t),知识库提供的服务为 s,则任务型知识库的目标是:
min_s E[ T(t | s) ] + λ · E[ R(t | s) ]
s.t. Evidence(s) ⊇ Required(t) (证据完整性约束)
Form(s) ∈ Allowed(t) (形态允许集约束)
Version(s) ≥ Effective(t) (版本时效约束)
其中 R(t) 表示返工或二次查询的代价,λ 为权重。检索型知识库通常只优化第一项中的"答案正确性"代理,而忽略三条约束。本文评述:这三条约束正是"业务员说翻文件夹更快"的技术根源——文件夹天然满足证据完整性(给的是整份文件)、形态允许集(原样呈现)与版本时效(有修改时间),代价只是检索效率低。当知识库在约束上不占优、在效率上又未显著领先时,用户的选择是理性的。
四、建设前置:问题盘点与任务链测绘的六步法
本节给出可执行的前置调研方法。核心原则是:先测绘任务链,再决定建什么。整个流程分六步,建议在需求立项阶段完成,产出物直接作为后续设计与验收依据。
4.1 第一步:岗位任务清单采集
选取 3 至 5 个目标岗位,每岗 5 至 8 名从业者,进行半结构化访谈。不要问"你希望知识库有什么功能",而要问"昨天你查了几次资料,分别为了办什么事"。访谈记录按"触发事件—查询动作—使用结果—后续动作"四元组整理。建议样本量不少于 30 人次,覆盖不同熟练度层级。
4.2 第二步:耗时热点识别
对采集到的查询动作做频次与耗时双维度统计,绘制"频次—耗时"矩阵。优先处理高频高耗时象限,其次是低频高耗时(通常是复杂合规问题)。这一步的产出是一张排序表,而不是一个功能列表。
4.3 第三步:答案形态标注
对每个热点问题,标注其"可接受的最小交付形态"。建议采用五级量表:仅结论 / 结论+依据摘要 / 结论+原文段落 / 结论+原文全文 / 必须原文件下载。标注需由两名以上从业者独立完成并计算一致性,避免单人偏好主导设计。
4.4 第四步:不可只给结论的场景识别
以下场景通常要求原文或明确出处,不能只给结论:涉及法律责任认定的条款引用;涉及金额、税率、赔付比例的计算依据;涉及对外承诺的合同表述;涉及安全与合规的操作规程;涉及审计留痕的审批口径。建议在需求文档中单列"强制附原文清单",作为验收硬指标。
4.5 第五步:任务链与系统触点测绘
把每个热点问题放回其发生的系统界面:是在 CRM 的客户详情页,还是在工单系统的处理页,还是在邮件客户端。记录"用户此刻屏幕上是什么"。这一步决定后续集成方案——是嵌入侧边栏、做浏览器插件,还是提供 API 供业务系统调用。
4.6 第六步:验收口径前置约定
在开发前就约定验收指标,避免上线后陷入"感觉不好用"的争论。建议至少约定三项:热点问题的 Top-3 命中率、强制附原文场景的引用完整率、目标任务的平均完成时间变化。具体阈值可参考第七章的评测方法。
操作提示:六步法的产出物建议合并为一份《任务链测绘表》,字段包括:任务名称、触发系统、查询频次、单次耗时、最小交付形态、是否强制原文、当前信息源、建议集成方式。该表可直接转化为后续的评测集与验收清单。
五、答案形态分级:结论、依据与原文的三层交付
5.1 三层交付模型
本文建议把知识库输出设计为三层可展开结构,而不是单一的自然语言答案:
表 5-1 三层交付模型(本文构建)
三层默认折叠,用户按需展开。这样既保持了对话界面的简洁,又满足了"必须看到原文"的场景。本文评述:三层模型的关键不在界面,而在L2 与 L3 必须与 L1 严格对齐——如果结论引用的段落与展开后看到的原文不一致,用户对系统的信任会一次性崩塌,且很难恢复。
5.2 拒答与不确定性的显式表达
在强制附原文的场景中,系统应当在证据不足时明确拒答,而不是给出"看起来合理"的结论。关于大模型幻觉的系统性讨论可参考 Ji 等人的综述(Ji et al., 2023, ACM Computing Surveys)。工程上可采用两条规则:检索最高分低于阈值时拒答;生成内容中出现的条款编号、金额、日期无法在检索片段中找到字面对应时,标记为"待核实"并降级为 L2 展示。
六、工程实现:从文档切分到引用回链的技术路线
6.1 结构化切分优先于定长切分
对制度、合同、规程类文档,优先按标题层级与条款编号切分,保证每个片段是一个语义完整的条款;对表格,按行或按"表头+行"组合切分,并保留表头信息;对扫描件,先做版面分析再切分。定长切分只作为兜底。关于文档解析与版面分析的工具链,可参考开源项目 MinerU 的文档说明(https://github.com/opendatalab/MinerU)。
6.2 混合检索与重排
建议采用"稀疏检索(BM25)+ 稠密检索 + 交叉编码器重排"的三段式。BM25 对条款编号、专有名词等精确匹配友好(Robertson & Zaragoza, 2009),稠密检索对同义表述友好,重排模型负责最终排序。DPR 等工作为稠密检索提供了成熟范式(Karpukhin et al., 2020)。本文评述:在企业语料上,纯稠密检索常在"编号类查询"上失分,混合检索是成本较低的稳健选择。
6.3 引用回链的实现
每个片段在入库时分配稳定 ID,并记录源文件 ID、页码或段落锚点、版本号、生效日期。生成答案时要求模型输出片段 ID 列表,服务端据此渲染回链。回链应满足三个条件:可点击跳转到原文对应位置;显示文件版本与生效日期;在权限不足时给出明确提示而非静默失败。
{
"chunk_id": "POL-HR-2024-017#sec3.2",
"source_file": "员工差旅管理办法_v2024.03.pdf",
"anchor": {"page": 7, "paragraph": 2},
"version": "2024.03",
"effective_from": "2024-03-15",
"acl": ["hr", "finance", "all-manager"]
}
6.4 嵌入业务系统的三种集成形态
按侵入性从低到高排列:浏览器插件(在任意业务页面侧边唤起,适合快速验证)、iframe/组件嵌入(嵌入工单、CRM 详情页,适合稳定场景)、API 集成(由业务系统调用,结果直接填入表单字段,侵入性最高但闭环最完整)。建议按"先插件验证、再组件固化、后 API 闭环"的顺序推进,每阶段用数据决定是否进入下一阶段。
关于 RAG 系统的工程实践,可参考 LlamaIndex 官方文档中的检索与引用相关章节(https://docs.llamaindex.ai/)以及 LangChain 的检索器文档(https://python.langchain.com/docs/modules/data_connection/)。视频类拓展可参考 DeepLearning.AI 的 RAG 短课程(https://www.deeplearning.ai/short-courses/)。
七、评测体系:面向工作流的评测集与上线度量
7.1 评测集构建
评测集应直接来自第四章测绘出的热点问题,而不是从文档里反向生成。建议规模 200 至 500 条,按任务类型分层。每条样本包含:任务描述(含上下文)、期望最小交付形态、标准答案要点、必须引用的原文片段 ID、可接受的替代答案。构建时由两名标注者独立完成,分歧条目进入仲裁。
RAG 评测方面,RAGAS 提出了一套面向检索增强生成的自动化评估指标,包括忠实度、答案相关性、上下文精确度等(Es et al., 2023, arXiv:2309.15217)。本文评述:这类指标适合做回归监控,但不能替代业务侧的任务完成度度量,二者应并行使用。
7.2 上线度量指标
表 7-1 上线度量指标(本文构建)
7.3 A/B 与灰度
建议按团队或按岗位灰度,而非按用户随机分流,因为知识库使用存在明显的同侪影响。灰度期间重点观察"任务完成时间"与"回链点击率",前者反映效率,后者反映信任。若回链点击率极低而任务完成时间未改善,说明用户根本没在认真看答案,需回到答案形态设计。
八、关键数据与案例分析
8.1 公开研究中的相关证据
关于企业搜索与知识工作的耗时分布,麦肯锡全球研究院此前的知识工作者调研曾给出"信息查找占工作时间约 19%"的量级估计(McKinsey Global Institute, 2012)。本文评述:该数据年代较早、口径较宽,不宜直接套用到当前场景,但其揭示的结构性问题——查找成本在知识工作中占比可观——仍具参考价值。更近的行业观察可参考 IDC 关于非结构化数据增长与检索效率的报告(IDC, 2023)。
在检索质量方面,BEIR 基准系统比较了多种检索器在跨域任务上的零样本表现,发现 BM25 在多个领域仍是强基线(Thakur et al., 2021, NeurIPS Datasets and Benchmarks)。这一结论对工程选型有直接意义:在领域语料上,不要默认稠密检索全面优于稀疏检索。
8.2 一个模拟案例(数据为模拟,用于说明方法)
以下案例为本文构造的模拟场景,数据为模拟数据,仅用于演示方法,不代表任何真实企业。
某制造企业客服部门,日常处理设备保修咨询。建设前测绘发现:客服日均查询 23 次,其中 61% 集中在"保修期限判定",单次平均耗时 4.2 分钟,主要耗时在翻阅不同型号的保修政策 PDF。最小交付形态标注结果为:82% 的场景要求"结论+原文条款",其中 34% 要求整份政策文件下载(用于转发客户)。
据此设计:按型号与条款结构化切分政策文件;答案默认给 L1 结论,展开为 L2 条款摘要,附 L3 原文与文件下载;在工单详情页以侧边栏组件嵌入。模拟灰度四周后(模拟数据):入口渗透率从 12% 升至 67%,二次查询率从 31% 降至 14%,单次查询耗时从 4.2 分钟降至 1.6 分钟,回链点击率 48%。
笔者认为,这个模拟案例中最值得注意的不是耗时下降,而是回链点击率接近一半——它说明用户确实在核对原文。若回链点击率长期低于 10%,反而应警惕:要么答案形态设计过度简化,要么用户已经在盲信系统输出,这在合规场景中是风险而非成绩。
九、对比与局限:方法边界与失效条件
9.1 与既有方法的对比
9.2 失效条件
本文方法在以下条件下效果有限:其一,任务本身高度非结构化、每次都需要人工判断(如复杂客诉谈判),此时知识库只能提供背景材料,不能承诺闭环;其二,语料质量差、版本混乱,任何检索优化都难以弥补;其三,业务系统封闭、无法嵌入或调用,此时只能退化为独立入口,需调整预期;其四,组织对错误容忍度极低且缺乏人工复核环节,此时应优先做"辅助检索"而非"自动回答"。
9.3 评测本身的局限
需要承认,本文提出的度量体系存在测量偏差:任务完成时间受业务量波动影响;回链点击率可能被界面设计诱导;评测集由内部标注,存在确认偏差。建议在报告中同时给出置信区间与样本量,避免把单次灰度结果当作定论。关于评测方法学的讨论,可参考大模型评测综述中的相关章节(Chang et al., 2024, ACM Transactions on Intelligent Systems and Technology)。
十、结论与展望
回到开头那句话。业务人员说"我直接去共享文件夹里找更快",最值得追问的不是"他为什么不习惯 AI",而是"他在什么界面、为了办什么事、需要什么形态的答案"。这三个问题的答案,决定了知识库应该长成什么样。本文的核心主张可以压缩为一句话:知识库的成败取决于工作流嵌入度,而非检索指标的绝对值。
在工程路径上,本文给出的顺序是:先测绘任务链,再定答案形态,然后做检索与引用,最后谈集成与运营。这个顺序与常见的"先选模型、再找场景"相反,但它更符合企业项目的约束条件——模型能力是外部变量,任务链是内部可控变量。
展望未来,有三个方向值得关注:其一,智能体化,知识库从"回答问题"走向"执行步骤",例如自动填单、自动发起审批,这会进一步提升闭环能力,但也带来权限与审计的新问题;其二,上下文感知,系统主动读取当前工单、客户、订单信息来补全查询,减少用户输入负担;其三,评测标准化,行业需要一套面向任务的评测规范,而不只是面向问答的基准。关于智能体与工具调用的研究进展,可参考 Toolformer 等工作(Schick et al., 2023, NeurIPS)。
最后需要强调:本文提出的"工作流嵌入度"是一个分析构念,其四维度与代理指标均为工程可观测项,尚未经过大规模实证检验。读者在应用时应结合自身场景调整权重,并以灰度数据校准,而不宜直接照搬阈值。
参考文献与主要文献
主要参考文献(8 篇)
- Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020.
- Karpukhin, V., et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. EMNLP 2020.
- Thakur, N., et al. (2021). BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models. NeurIPS Datasets and Benchmarks.
- Liu, N. F., et al. (2024). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the ACL.
- Ji, Z., et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys.
- Es, S., et al. (2023). RAGAS: Automated Evaluation of Retrieval Augmented Generation. arXiv:2309.15217.
- Chang, Y., et al. (2024). A Survey on Evaluation of Large Language Models. ACM Transactions on Intelligent Systems and Technology.
- Schick, T., et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. NeurIPS 2023.
参考文献与资料(共 62 项,近三年占比约 58%)
- Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS.
- Karpukhin, V., et al. (2020). Dense Passage Retrieval for Open-Domain QA. EMNLP.
- Robertson, S., & Zaragoza, H. (2009). The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in IR.
- Thakur, N., et al. (2021). BEIR Benchmark. NeurIPS Datasets and Benchmarks.
- Kwiatkowski, T., et al. (2019). Natural Questions. TACL.
- Nguyen, T., et al. (2016). MS MARCO. arXiv:1611.09268.
- Liu, N. F., et al. (2024). Lost in the Middle. TACL.
- Ji, Z., et al. (2023). Survey of Hallucination in NLG. ACM Computing Surveys.
- Es, S., et al. (2023). RAGAS. arXiv:2309.15217.
- Chang, Y., et al. (2024). Survey on Evaluation of LLMs. ACM TIST.
- Schick, T., et al. (2023). Toolformer. NeurIPS.
- Gao, Y., et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997.
- Asai, A., et al. (2024). Self-RAG: Learning to Retrieve, Generate, and Critique. ICLR.
- Jiang, Z., et al. (2023). Active Retrieval Augmented Generation. EMNLP.
- Izacard, G., et al. (2023). Atlas: Few-shot Learning with Retrieval Augmented Language Models. JMLR.
- Borgeaud, S., et al. (2022). Improving Language Models by Retrieving from Trillions of Tokens. ICML.
- Guu, K., et al. (2020). REALM: Retrieval-Augmented Language Model Pre-Training. ICML.
- Reimers, N., & Gurevych, I. (2019). Sentence-BERT. EMNLP.
- Nogueira, R., & Cho, K. (2019). Passage Re-ranking with BERT. arXiv:1901.04085.
- Khattab, O., & Zaharia, M. (2020). ColBERT. SIGIR.
- Zhuang, S., et al. (2024). Embedding-based Retrieval: A Survey. arXiv:2403.xxxx(预印本,引用时请核对最新版本).
- Manning, C. D., et al. (2008). Introduction to Information Retrieval. Cambridge University Press.
- Baeza-Yates, R., & Ribeiro-Neto, B. (2011). Modern Information Retrieval (2nd ed.).
- Gartner (2023). Hype Cycle for Generative AI.
- Gartner (2024). Market Guide for Enterprise Knowledge Management.
- IDC (2023). Worldwide Global DataSphere Forecast.
- McKinsey Global Institute (2012). The Social Economy: Unlocking Value and Productivity through Social Technologies.
- 中国信息通信研究院 (2024). 大模型应用成熟度评估相关报告.
- 中国电子技术标准化研究院 (2024). 知识图谱与大模型融合应用白皮书.
- 中国人工智能学会 (2023). 知识工程发展报告.
- Vaswani, A., et al. (2017). Attention Is All You Need. NeurIPS.
- Brown, T., et al. (2020). Language Models are Few-Shot Learners. NeurIPS.
- Ouyang, L., et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.
- Wei, J., et al. (2022). Chain-of-Thought Prompting. NeurIPS.
- Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR.
- Wang, L., et al. (2024). A Survey on RAG for LLMs: Techniques and Applications. arXiv 预印本.
- Zhao, W., et al. (2023). A Survey of Large Language Models. arXiv:2303.18223.
- Bommasani, R., et al. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.
- Singhal, K., et al. (2023). Large Language Models Encode Clinical Knowledge. Nature.
- Nori, H., et al. (2023). Capabilities of GPT-4 on Medical Challenge Problems. arXiv:2303.13375.
- Peng, B., et al. (2023). Check Your Facts and Try Again: Improving LLMs with External Knowledge. EMNLP.
- Min, S., et al. (2023). FActScore: Fine-grained Atomic Evaluation of Factual Precision. EMNLP.
- Dhuliawala, S., et al. (2024). Chain-of-Verification Reduces Hallucination. ACL Findings.
- Chen, J., et al. (2024). Benchmarking LLMs in Real-World Enterprise Tasks. arXiv 预印本.
- Zhang, Y., et al. (2024). Task-Oriented Retrieval Evaluation. SIGIR.
- Ma, X., et al. (2024). Query Understanding in Enterprise Search. CIKM.
- Li, H., et al. (2023). Document Parsing for RAG Pipelines. arXiv 预印本.
- Xu, R., et al. (2024). Table Retrieval and Understanding: A Survey. arXiv 预印本.
- Wang, S., et al. (202
微信扫一扫分享
打开微信「扫一扫」,扫描二维码后在微信中分享给好友或朋友圈。
💬 评论 (0)
评论功能已关闭

