结构化CoT把法律分类准确率从0.644拉到0.917、幻觉从0.352降到0.164，领域结构化模板是不是比通用CoT更值得投入？

——从约束空间、证据锚定到可验证性的机制拆解与投入决策框架

摘要

法律文本分类是典型的高约束、强证据依赖、类别边界由规范定义的任务。通用思维链（Chain-of-Thought, CoT）通过"让模型先想再答"提升推理表现，但在法律场景中常出现两类失效：一是推理链本身偏离裁判要件，二是推理链与最终标签脱钩，形成看似合理却不可核验的幻觉。本文以"结构化CoT将法律分类准确率由0.644提升至0.917、幻觉率由0.352降至0.164"这一组对照结果为分析起点，提出一条贯穿全文的主线：领域结构化模板的价值不在于"更长地思考"，而在于把开放的自然语言推理压缩进一个由领域规范预先定义的约束空间，使每一步推理都成为可被外部证据锚定、可被规则校验的中间产物。

全文依次讨论：任务与失效模式定义、结构化模板的三种作用机制（约束收缩、证据锚定、可验证性）、模板设计的工程步骤与字段规范、成本与收益的量化对比、边界条件与局限、以及面向从业者的投入决策框架。文中数据均标注来源类型，模拟与整合数据单独说明，避免将单一实验结果泛化为普适结论。

目录

一、问题定义：法律分类为什么是CoT的"压力测试场"

1.1 任务的形式化与三个硬约束

把法律文本分类形式化：给定文书片段 x，输出类别 y ∈ Y，其中 Y 由法律规范或业务口径预先定义（如案由、争议焦点类型、条款适用类别、合规风险等级）。与通用文本分类相比，它有三个硬约束：

其一，类别边界由规范定义而非语料统计定义。两个类别在字面分布上可能高度重叠，区分它们的依据是构成要件是否满足，而不是关键词是否出现。这意味着仅靠监督微调学到的"分布捷径"在边界样本上会系统性失效。

其二，判定必须可追溯到文本证据。法律工作的基本要求是"说理有据"，模型给出的类别若无法指回原文的具体句子，在业务上不可采信。这直接抬高了幻觉的代价：一个错误标签尚可人工纠正，一段编造的说理则可能误导下游决策。

其三，长尾与类别不平衡显著。公开法律文书数据集中，高频案由占比极高，长尾类别样本稀少，模型容易在少数类上退化为"多数类倾向"。这一点在中文法律文书数据集（如CAIL系列）与英文判例数据集（如LEDGAR、CaseHOLD）中均有体现。

本文评述：上述三个约束共同决定了法律分类不是"更难的文本分类"，而是"判定标准外置的文本分类"。判定标准外置，意味着模型内部推理必须与外部规范对齐，这正是通用CoT的薄弱环节。

1.2 通用CoT的两种典型失效

通用CoT的核心思想是引导模型生成中间推理步骤再给出答案（Wei et al., 2022）。它在算术、常识推理上收益明显，但在法律分类上暴露两类失效：

失效A：推理链偏离要件。模型自由生成的推理往往围绕"语义相似度"展开——"该段文字描述了合同解除，因此属于合同纠纷"——而忽略了管辖、主体、请求权基础等要件。推理链看起来连贯，但与判定标准不同构。

失效B：推理链与标签脱钩。即便推理链方向正确，最终标签也可能与之矛盾。这类"说一套答一套"的现象在长链推理中尤为常见，是幻觉的重要来源之一。已有研究指出，CoT在部分任务上会放大模型的"合理化"倾向，即先有答案再补理由（Turpin et al., 2023）。

笔者认为，失效A是"约束缺失"问题，失效B是"校验缺失"问题。通用CoT只提供了"生成中间步骤"这一形式，没有提供"中间步骤必须满足什么"的规范。领域结构化模板的切入点，正是把这两类缺失补上。

1.3 幻觉的可操作定义

为避免"幻觉"一词被泛化，本文采用可操作定义：在法律分类任务中，若模型输出的推理链包含以下任一情形，即计为一次幻觉——（1）引用了原文不存在的事实或条款；（2）对原文事实作出与文本明显矛盾的解读；（3）推理链与最终标签在逻辑上不自洽。该定义与法律NLP领域对"faithfulness"的评估口径基本一致，便于跨研究比较。

二、机制拆解：结构化模板到底改变了什么

2.1 约束收缩：把开放推理压进有限槽位

结构化模板的第一层作用，是把"自由文本推理"替换为"有限槽位填充"。例如要求模型依次填写：争议类型 → 请求权基础 → 关键事实 → 构成要件逐项判定 → 排除性事由 → 结论。槽位数量有限、顺序固定，模型的输出空间被显著压缩。

从信息论角度看，这相当于在解码阶段引入了一个强先验：合法推理路径的集合从"所有连贯文本"收缩为"满足槽位语义的文本"。约束越贴合领域规范，收缩越有效；约束若与规范错位，则会引入系统性偏差。本文评述：约束收缩的收益不是线性的，模板质量存在一个"对齐阈值"，低于阈值的模板可能不如通用CoT。

2.2 证据锚定：让每一步推理可指回原文

第二层作用要求每个关键槽位附带原文引用（span）。这在工程上等价于把"抽取式证据"嵌入生成流程，使推理链从"叙述"变为"叙述+指针"。证据锚定带来两个直接效果：一是显著降低编造事实的概率，因为模型必须从输入中选取片段；二是使人工复核成本大幅下降，审核者可直接定位到句子而非通读全文。

已有工作表明，要求模型在生成答案时给出引用，可以提升事实一致性（Gao et al., 2023 的 ALCE 基准即围绕"带引用的生成"设计评估）。本文评述：法律场景对引用的要求比通用问答更严——不仅要求"引用存在"，还要求"引用足以支撑该步结论"，这需要在模板中显式定义支撑关系，而非仅要求粘贴原文。

2.3 可验证性：把推理链变成可校验对象

第三层作用最具工程价值：结构化输出使推理链可被程序化校验。例如可以写规则检查"结论槽位是否与构成要件判定槽位一致"、"引用的span是否真实存在于原文"、"排除性事由为真时结论是否为否定类"。这类校验不需要额外模型，成本极低，却能在推理链与标签脱钩时直接拦截。

笔者认为，可验证性是结构化模板与通用CoT最本质的差异。通用CoT的中间产物是自然语言，校验只能靠另一个模型（成本高、本身也可能幻觉）；结构化模板的中间产物是半结构化字段，校验可以靠确定性规则。这把"用模型监督模型"的不稳定结构，替换为"用规则监督模型"的稳定结构。

2.4 三层机制的耦合关系

三者不是并列关系而是耦合关系：约束收缩决定"想什么"，证据锚定决定"凭什么想"，可验证性决定"想得对不对"。缺任何一层，收益都会打折。仅有约束而无锚定，模型会在槽位里编造事实；仅有锚定而无校验，引用与结论仍可能脱钩。

三、工程落地：从零构建一套领域结构化模板

3.1 步骤一：从规范文本抽取判定要件

模板的骨架必须来自规范而非拍脑袋。操作路径：收集目标类别对应的法律条文、司法解释与典型判例说理，抽取"构成要件—排除事由—法律后果"三元组，形成要件清单。以合同解除类争议为例，要件通常包括解除权基础、解除通知到达、异议期、是否存在根本违约等。

这一步的产出应是可核对的表格，而非一段描述。表格列包括：要件名称、判定问题、所需证据类型、常见误判。本文评述：很多团队跳过这一步直接写prompt，结果模板字段来自"模型觉得合理"而非"规范要求"，这是结构化CoT效果不稳定的首要原因。

3.2 步骤二：设计槽位与输出模式

槽位设计遵循三条原则：可判定（每个槽位有明确的对错标准）、可引用（每个事实槽位要求span）、可校验（槽位之间存在可程序化的约束）。下面给出一个可运行的输出模式示例（JSON Schema 片段，示意用）：

{
  "dispute_type": {"enum": ["合同解除", "违约赔偿", "其他"]},
  "elements": [
    {"name": "解除权基础", "judgement": "yes|no|unclear",
     "evidence": ["原文span"], "reason": "string"},
    {"name": "通知到达", "judgement": "yes|no|unclear",
     "evidence": ["原文span"], "reason": "string"}
  ],
  "exclusion": {"exists": "bool", "evidence": ["原文span"]},
  "label": {"enum": ["合同解除", "违约赔偿", "其他"]},
  "consistency_check": "string"
}

注意 judgement 保留 unclear 取值非常关键。强制二值会逼迫模型在证据不足时硬猜，反而抬高幻觉。允许"不确定"并配套降级策略（转人工或输出低置信标签），是控制风险的必要设计。

3.3 步骤三：写校验规则并接入流水线

校验层建议至少覆盖四类规则：（1）span 存在性——引用片段必须能在原文中精确匹配；（2）标签一致性——label 必须与要件判定组合相容；（3）排除事由优先——排除事由为真时标签必须落入否定类；（4）空证据拦截——关键要件判定为 yes 但 evidence 为空时直接判失败。

工程上建议把校验做成独立服务，与生成解耦。这样模板迭代时只改校验规则，不必重跑全量生成；同时校验日志本身就是高质量的错误分析素材。关于结构化输出与函数调用的实现细节，可参考 OpenAI 的 Structured Outputs 文档（platform.openai.com/docs/guides/structured-outputs）与 JSON Schema 规范（json-schema.org/learn）。

3.4 步骤四：小样本迭代与失败归因

模板不是一次写成的。推荐做法：取200–300条分层抽样样本，跑通"生成—校验—人工复核"闭环，把失败样本按"要件缺失、证据错配、标签脱钩、规范理解错误"四类归因，每类对应一种模板修改动作。迭代两到三轮通常可收敛。

笔者认为，这一步最容易被低估。结构化模板的收益高度依赖"失败归因—模板修改"的闭环质量，而非初始模板的巧妙程度。把归因表做成团队共享资产，比反复调prompt更有效。

四、数据与对比：0.644→0.917、0.352→0.164意味着什么

4.1 对照结果的解读口径

题目给出的两组数字——准确率 0.644→0.917、幻觉率 0.352→0.164——属于模拟对照数据（用于说明结构化模板与通用CoT的差异量级，非某一篇论文的原始结果）。在解读时需注意三点：其一，提升幅度与任务难度、基座模型能力、模板质量强相关，不能直接外推；其二，准确率提升约27个百分点，幻觉率下降约19个百分点，二者方向一致但幅度不同，说明两类指标并非简单互补；其三，需报告置信区间与样本量，否则单点数字意义有限。

一个值得注意的现象是：通用CoT相对直接分类，准确率仅小幅提升（0.612→0.644），幻觉率反而上升（0.301→0.352）。这与部分研究观察一致——当模型被要求"展开推理"却缺乏约束时，更容易生成看似合理但无依据的内容。本文评述：这提示"加CoT"本身不是收益来源，"加约束"才是。

4.2 与公开研究的对照

在公开文献中，结构化提示与领域模板的收益已有旁证。LEGAL-BERT（Chalkidis et al., 2020）等工作表明领域预训练能显著提升法律文本任务表现；后续研究进一步显示，结合领域知识的提示策略在低资源类别上收益更大。在通用推理侧，Self-Consistency（Wang et al., 2023）通过多路径投票提升准确率，但其成本随采样数线性增长，且不解决证据锚定问题。

笔者认为，结构化模板与Self-Consistency是正交手段：前者压缩单路径的搜索空间，后者在剩余空间内做集成。二者可以叠加，但叠加前应先确认单路径模板已收敛，否则只是把偏差放大。

4.3 成本侧的真实账本

结构化CoT的token消耗约为直接分类的3倍，看似昂贵，但需把人工复核成本计入。若幻觉率从0.352降到0.164，意味着每千条样本需人工复核的条数减少约188条；按每条复核5分钟、人力成本折算，通常可覆盖推理成本的增量。这一结论对高价值、低容错的法务场景成立，对低价值、高吞吐的场景则未必。

关于推理成本与延迟的权衡，可参考 vLLM 的 PagedAttention 实现说明（docs.vllm.ai）与 Hugging Face 的文本生成推理指南（huggingface.co/docs/transformers），批处理与KV缓存优化能显著摊薄结构化输出的额外开销。

五、边界与局限：结构化模板不是万能药

5.1 模板与规范的错位风险

结构化模板把领域假设固化进流程。若模板要件与真实裁判口径不一致（例如遗漏某类排除事由），模型会在错误空间内"高效推理"，错误更隐蔽、更难被人工发现。这类风险在规范频繁变动或地区差异明显的领域尤甚。

缓解手段：建立模板版本管理与规范变更联动机制；对每个槽位标注"依据条文"，便于审计；定期用新样本做"模板有效性回归"。本文评述：模板的维护成本常被低估，它本质上是把一部分标注工作前移到了规则层。

5.2 长尾类别的收益衰减

结构化模板对长尾类别的收益取决于模板是否覆盖该类别的特有要件。若模板按高频类别设计，长尾类别可能被强行塞进不匹配的槽位，表现反而下降。工程上应对长尾类别单独设计子模板，或采用"先路由后判定"的两级结构。

5.3 与微调、RAG的关系

结构化CoT不是微调的替代品。微调改变模型参数中的先验，结构化模板改变解码时的约束，二者可叠加：先用领域数据微调获得基础能力，再用结构化模板约束输出形态，最后用RAG补充法条与判例。三者分工清晰，混用时应做消融实验确认各自贡献，避免"效果提升归因错误"。

六、投入决策：什么团队该投、投多少、怎么验收

6.1 三个判断信号

是否值得投入领域结构化模板，可看三个信号：（1）错误代价是否高——错误需要人工返工且返工成本高于推理成本；（2）判定标准是否可外化——存在成文规范或稳定业务口径，能抽出要件；（3）类别是否相对稳定——类别体系不频繁重构。三者同时满足时，投入回报最确定。

6.2 分阶段投入路径

建议分三阶段：第一阶段（1–2周）做要件抽取与最小模板，在200条样本上验证可行性；第二阶段（3–4周）补校验规则与失败归因闭环，把幻觉率压到可接受区间；第三阶段进入生产，建立模板版本管理与回归集。每阶段设明确验收指标，避免"一直调prompt不见产出"。

验收指标建议至少包含：准确率、幻觉率、校验拦截率、人工复核时长、单样本成本。其中"校验拦截率"是结构化方案特有的健康度指标——拦截率过低说明规则覆盖不足，过高说明模板与模型能力不匹配。

6.3 一个可复用的决策表

七、结论与展望

回到题目：领域结构化模板是否比通用CoT更值得投入？基于上述机制分析与对照数据，本文的结论是有条件地肯定。条件在于：判定标准可外化为要件、错误代价足以覆盖模板维护成本、团队具备把失败归因转化为规则迭代的工程能力。满足条件时，结构化模板的收益来自约束收缩、证据锚定与可验证性三层机制的耦合，而非"推理更长"。

展望未来，三个方向值得关注：其一，模板自动生成——从判例说理中抽取要件并生成槽位，降低人工成本；其二，校验与生成的联合优化——让模型在生成时感知校验规则，减少事后拦截；其三，评估标准化——建立法律分类幻觉的公开基准与统一口径，使不同方案可比。本文评述：在评估标准化之前，任何"提升X个百分点"的结论都应谨慎外推。

主要参考文献