从推理模型到智能体的数学原理

1. 导语与问题定义：两个热词，一套数学

“推理模型”与“智能体”在近两年被高频使用，但两者的边界在工程语境中常常模糊。一个能写长链式思维（Chain-of-Thought, CoT）的模型是否就是智能体？一个会调用检索与代码执行器的系统是否一定具备推理能力？要回答这些问题，需要先把两个概念还原为可计算的数学对象。

本文给出的操作性定义如下。推理模型：在给定输入 x 后，通过生成中间隐变量序列 z（即思维链）再输出答案 y 的模型，其推理过程可写为对联合分布 p(y,z|x) 的分解与近似。智能体：在部分可观测马尔可夫决策过程（POMDP）中，以语言模型为策略先验、以工具与环境为动作接口、以记忆为状态近似的序贯决策系统。二者的数学交集在于：智能体的每一步“思考—行动”都可以视为一次带反馈的推理，而推理模型的每一次长链生成都可以视为在隐空间中的一次无环境反馈的“规划”。

本文主线：推理是在有限计算预算下对解空间的有偏压缩，智能体是在部分可观测环境中对该压缩结果的闭环控制。“压缩”提供训练信号与泛化解释，“控制”提供反馈信号与纠错机制。二者通过“可验证性”这一接口耦合。

这条主线的价值在于可检验：如果推理确实是压缩，那么压缩率（以描述长度或困惑度衡量）应与下游正确率呈单调关系；如果智能体确实是控制，那么反馈延迟与观测噪声应能预测其性能衰减。本文后续章节将围绕这两条可检验命题展开，并在第 11 节集中讨论反例与边界。

2. 背景：从预训练缩放律到推理时缩放

2.1 预训练缩放律的启示与局限

Kaplan 等人（2020）与 Hoffmann 等人（2022，Chinchilla）给出了损失随参数量、数据量与计算量变化的幂律关系，其经典形式可写为：

L(N, D) ≈ E + A·N^(-α) + B·D^(-β)
其中 N 为参数量，D 为训练 token 数，E 为不可约损失，
α、β 为经验指数（Chinchilla 报告中 α≈0.34, β≈0.28 量级）

该式说明：在固定计算预算下，参数量与数据量存在最优配比。但缩放律描述的是“单次前向”的损失，不直接刻画“多次采样+筛选”的收益。本文评述：把缩放律直接外推到推理阶段是常见误用。推理时缩放（inference-time scaling）改变的不是模型参数，而是每道题的计算分配，其收益函数形态与训练缩放律不同，通常呈现“先陡后平”的饱和曲线，这一点在第 4 节用采样理论定量说明。

2.2 从“预测下一个 token”到“生成中间过程”

自回归语言模型的训练目标是最大化对数似然：

L(θ) = E_(x,y)~D [ log p_θ(y | x) ]
     = E [ Σ_t log p_θ(y_t | x, y_<t) ]

当答案 y 本身很长（如数学证明、代码），直接建模 p(y|x) 需要模型在单次前向中完成大量隐式计算。CoT 的做法是引入中间变量 z，把 p(y|x) 重写为 Σ_z p(y|z,x)p(z|x)。这本质上是用“更多 token”换取“更小的单步计算深度”，是计算图的重排而非能力的新增。Wei 等人（2022）的原始 CoT 工作与 Nye 等人（2021）的草稿本（scratchpad）工作都指向这一机制。

3. 主线一：推理即压缩——链式思维的信息论视角

3.1 最小描述长度与“好思维链”的定义

最小描述长度（MDL）原理指出：对数据的最优编码长度等于其负对数似然加上模型复杂度惩罚。把一道题的解看作需要传输的“消息”，则一条思维链 z 的价值可用“在给定 z 后答案的描述长度缩短量”来度量：

Gain(z) = H(y|x) - H(y|z,x)
        = E[ log p(y|z,x) - log p(y|x) ]   （以 nats 计）

若 Gain(z) > 0，说明中间过程确实降低了对答案的不确定性；若接近 0 甚至为负，则该思维链是“冗余 token”。本文评述：这给了一个可操作的诊断指标——对同一批题，比较“有 CoT”与“无 CoT”条件下答案 token 的平均负对数似然差。工程上可用小模型做代理测量，无需人工标注。需要强调，这是相关性诊断而非因果证明，因为 z 与 y 由同一模型生成，存在自洽偏差。

3.2 压缩视角下的“涌现”与“长度泛化”

有研究把 Transformer 的上下文学习解释为隐式梯度下降或隐式贝叶斯推断，也有工作从“程序合成/压缩”角度解释推理能力。笔者认为，压缩视角最有解释力的一点是它对“长度泛化”的刻画：一个真正学到算法的模型，应当能用更短的描述覆盖更多输入长度。若模型在训练长度内正确、超出即崩，说明它记住的是查表而非算法，其有效描述长度随输入长度线性增长。

可操作的检验步骤：

1. 构造一族同构任务，输入长度 n ∈ {8,16,32,64,128}，训练只用 n ≤ 32；
2. 在测试长度上分别测准确率与“答案平均负对数似然”；
3. 若准确率随 n 骤降但 NLL 缓慢上升，提示“接近算法但误差累积”；若两者同时骤降，提示“查表失效”。

4. 主线二：测试时计算——采样、投票与搜索的收益边界

4.1 自洽性投票的数学

自洽性（Self-Consistency, Wang 等 2022）对同一题采样 k 条思维链，对最终答案做多数投票。设单条链答对的概率为 p，且各链在给定答案下条件独立，则多数投票正确的概率为：

P_correct(k) = Σ_{i > k/2} C(k,i) p^i (1-p)^(k-i)

当 p > 0.5 时该式随 k 单调上升并趋于 1；当 p < 0.5 时趋于 0。本文评述：“条件独立”是强假设，实际采样共享同一模型与提示，错误高度相关，因此真实收益远低于上式预测。工程上应把 k 的边际收益做成经验曲线再决定预算，而非套公式。经验上，多数任务在 k 从 1 增至 8～16 时收益明显，再往上常出现平台期。

4.2 搜索：从 Best-of-N 到树搜索

Best-of-N 依赖一个打分器（奖励模型或验证器）在 N 个候选里挑最优。其收益取决于验证器的判别力。设验证器把正确解判为最优的概率为 q，则 Best-of-N 的期望正确率近似为 1-(1-q)^N 的变形，但前提是候选池中存在正确解（覆盖率）。这引出两条独立的改进路径：提高覆盖率（更好的采样/温度/提示）与提高判别力（更好的验证器）。

方法	依赖	主要瓶颈	适用场景
自洽性投票	答案可聚合	错误相关、开放答案难聚合	数学、选择题
Best-of-N	验证器判别力	验证器偏差、奖励黑客	有可验证答案
树搜索（MCTS/ToT）	中间步可评估	评估成本、状态合并难	组合搜索、规划
长链自我修正	模型自评能力	自我确认偏差	写作、代码迭代

树搜索类方法（如 Tree-of-Thoughts, Yao 等 2023；以及把 MCTS 用于语言生成的系列工作）把推理视为在部分生成序列上的搜索。其数学本质是把 p(y|x) 的近似问题转化为“在搜索树上做重要性采样与价值回传”。本文评述：树搜索的收益高度依赖“中间状态可评估”这一前提。数学题里中间步骤难以自动判分，导致价值估计噪声大；代码任务里可以用单元测试做中间验证，收益更稳定。因此“树搜索是否值得”不是模型问题，而是任务是否提供稠密验证信号的问题。

5. 主线三：RLVR——可验证奖励下的策略优化与陷阱

5.1 目标函数

可验证奖励强化学习（RL with Verifiable Rewards, RLVR）用规则或程序判定答案对错，得到 0/1 奖励，再以策略梯度优化。以 GRPO（DeepSeekMath 技术报告，2024）为例，其对同一题采样一组输出，用组内标准化替代价值网络：

对每个 prompt q，采样 G 个输出 {o_i}，奖励 r_i ∈ {0,1}
Â_i = (r_i - mean(r)) / (std(r) + ε)        # 组内优势
J(θ) = E[ (1/G) Σ_i min( ρ_i Â_i , clip(ρ_i,1-δ,1+δ) Â_i ) ] - β·KL(π_θ || π_ref)
其中 ρ_i = π_θ(o_i|q) / π_old(o_i|q)

该目标的关键设计是“组内相对优势”：同一题内比较，天然抵消了题目难度差异，降低方差。Tülu 3（Allen AI, 2024）与多个开源复现报告了类似结论：在数学与代码等可验证任务上，RLVR 能以相对小的数据量带来显著提升。

5.2 三个必须正视的边界

本文评述：把 RLVR 理解为“用程序化验证器给策略梯度提供低方差信号”比理解为“模型学会了推理”更准确。它优化的是“在验证器覆盖的分布上答对”，而非普遍意义上的推理能力。工程上应把验证器覆盖率作为一等指标监控，而不是只看训练奖励曲线。

6. 主线四：过程奖励与搜索的耦合

6.1 过程奖励模型（PRM）的定位

结果奖励模型（ORM）只对最终答案打分，过程奖励模型（PRM）对每一步中间状态打分。Lightman 等人（2023，“Let's Verify Step by Step”）的结论是：在同等数据下，过程监督在数学推理的筛选任务上优于结果监督。本文评述：PRM 的优势不在于“更懂推理”，而在于它把稀疏奖励变成稠密奖励，从而降低信用分配难度。这与控制论中“稠密代价函数更易优化”是同一件事。PRM 的代价是标注成本高、且步骤边界定义主观，不同标注者对“一步”的切分不一致会引入噪声。

6.2 PRM 与搜索的耦合方式

把 PRM 作为价值函数接入束搜索或 MCTS，是“推理模型+搜索”的主流工程形态。其伪代码如下：

def prm_guided_search(prompt, policy, prm, beam=8, depth=4):
    beams = [prompt]
    for step in range(depth):
        cands = []
        for b in beams:
            for _ in range(beam):
                cont = policy.sample_step(b)      # 生成一个推理步
                score = prm.score(b, cont)        # 过程打分
                cands.append((b + cont, score))
        beams = [c for c, _ in sorted(cands, key=lambda t: -t[1])[:beam]]
    return policy.finalize(beams[0])

工程要点有三：其一，步长一致性——训练 PRM 时的步切分必须与推理时一致，否则打分分布漂移；其二，打分归一化——不同深度的分数不可直接比较，需按步数做校准；其三，早停——当所有候选分数低于阈值时提前终止，避免无效计算。这三点在公开的复现报告中反复出现，属于“不写进论文但决定成败”的细节。

7. 主线五：智能体即控制——POMDP、世界模型与规划

7.1 形式化：把智能体写成 POMDP

POMDP 由元组 (S, A, T, O, Z, R, γ) 定义：状态 S、动作 A、转移 T(s'|s,a)、观测 O、观测函数 Z(o|s)、奖励 R、折扣 γ。智能体的策略在信念状态 b(s) 上定义，信念更新为贝叶斯滤波：

b'(s') ∝ Z(o'|s') · Σ_s T(s'|s,a) · b(s)

语言模型智能体的“上下文窗口”正是信念状态的近似：它把历史观测压缩成一段文本。这个近似有两个已知缺陷：有损压缩（长历史被截断或摘要，丢失关键状态）与无校准（模型对自身信念的不确定性缺乏显式表示）。本文评述：把上下文当信念状态，是当前智能体工程诸多失效的根源——重复动作、遗忘约束、误判进度，都可归因于信念近似误差，而非“模型不够聪明”。

7.2 世界模型与规划

世界模型是对 T 与 Z 的近似，使智能体能在“想象”中试错。经典工作如 Dreamer 系列（Hafner 等）在像素级控制任务上展示了在隐空间规划的有效性。对语言智能体而言，世界模型可以是代码执行器、模拟器、或对环境的自然语言描述。

规划的目标可写为：

π* = argmax_π E[ Σ_t γ^t R(s_t, a_t) ]  s.t.  s_{t+1} ~ T̂(·|s_t,a_t), o_t ~ Ẑ(·|s_t)

其中带帽符号表示模型近似。本文评述：规划收益与模型误差的关系不是单调的。短视界规划对模型误差鲁棒，长视界规划会放大误差（误差随视界累积）。这解释了为何“让模型先写详细计划再执行”在短任务上有效、在长任务上常失效——计划越长，与真实环境的偏离越大。工程上应优先做“滚动视界规划”（receding horizon），即只执行计划的前几步再重规划。

8. 主线六：记忆、工具与多智能体编排

8.1 记忆的信息论刻画

记忆系统的核心是“在有限容量下保留对决策最有用的信息”。这可用率失真理论（rate-distortion）刻画：在容量 R 约束下最小化决策相关信息的失真 D。检索增强（RAG）与摘要记忆是两种不同的失真权衡：前者保留原文但检索可能漏召，后者压缩但可能丢细节。

可操作的方法步骤：

1. 定义决策相关变量：列出智能体做决策时必须知道的字段（如用户约束、已执行动作、剩余预算）；
2. 构造探针任务：设计需要这些字段才能完成的小任务，测“有记忆/无记忆”的通过率差；
3. 按字段做消融：逐字段移除，定位哪类信息最易在压缩中丢失；
4. 据此选记忆形态：结构化字段用数据库，非结构化经验用向量检索，长文档用分层摘要。

8.2 工具调用：把动作空间外置

工具调用（function calling / tool use）把一部分动作从“生成 token”变为“调用确定性程序”。从数学上看，这是用外部函数 f 替代模型对 f 的近似 f̂_θ。当 f 是精确可计算的（算术、检索、代码执行），用工具几乎总优于让模型“心算”，因为后者误差随步数累积。ReAct（Yao 等 2022）把“推理—行动—观察”交错，是把控制回路显式化的早期代表。

8.3 多智能体编排：收益与代价

多智能体（multi-agent）把任务分解给多个角色，通过消息传递协作。其收益来自“分工降低单点上下文压力”，代价是“通信开销与错误传播”。笔者认为，多智能体系统应按“接口清晰度”而非“角色数量”来设计：若子任务间接口（输入输出契约）可精确定义，多智能体接近并行计算，收益明显；若接口模糊，消息传递会变成噪声放大。

架构	适用条件	主要风险
单智能体+工具	任务线性、上下文可控	长任务遗忘
规划者-执行者	子任务可分解	计划与执行偏离
多角色辩论	需多视角校验	成本高、易趋同
层级编排	大规模、可并行	通信开销、错误级联

9. 工程路径：从原型到可运维智能体的方法步骤

本节给出一条可执行路径，把前述数学对象落到工程决策上。路径分五阶段，每阶段有明确的退出条件。

阶段一：任务可验证性评估

1. 为任务写 20～50 条“金标准”用例，覆盖正常、边界、对抗三类；
2. 判断每条用例能否被程序自动判定（单测、正则、数值比对）；能判定的比例记为验证器覆盖率 c；
3. 若 c > 0.7，优先走 RLVR + 搜索路线；若 c < 0.3，优先走“人审+工具增强”路线，不要强行上 RL。

阶段二：建立基线

基线应包含三档：零样本、少样本 CoT、以及“CoT+自洽性(k=8)”。记录准确率、平均 token 成本、P95 延迟。这一步的目的是量化“测试时计算”的边际收益，为后续预算分配提供依据。

阶段三：引入验证器与搜索

先用规则验证器（可验证部分），再用模型验证器（不可验证部分）。验证器上线前必须做“对抗测试”：构造一批“看起来对但实际错”的样本，测验证器能否拒绝。若拒绝率低，说明验证器易被奖励黑客攻击，应先修验证器再上搜索。

阶段四：智能体化

按“观测—决策—动作—反馈”四元组设计回路。关键工程决策包括：上下文预算（每轮保留多少历史）、工具错误处理（重试上限与降级路径）、终止条件（成功判定与放弃判定）。建议把终止条件写成显式状态机，而非依赖模型“自己觉得做完了”。

阶段五：监控与回归

上线后监控四类指标：任务成功率、平均步数、工具错误率、验证器拒绝率。任何一项漂移都应触发回归测试。特别地，验证器拒绝率上升往往是奖励黑客或分布漂移的早期信号。

10. 评测、成本与失效模式

10.1 评测的三个陷阱

数据污染：基准题进入预训练语料，导致分数虚高。缓解手段包括时间切分（只用训练截止后的题）、改写扰动、以及报告“污染检测”结果。指标错配：用最终答案准确率评价过程质量，会掩盖“蒙对”与“过程不可复现”。成本不可比：不同方法的采样数与 token 预算不同，直接比准确率不公平，应报告“同等成本下的准确率”。

10.2 成本模型

单题成本 ≈ (输入 token × 单价_in) + (输出 token × 单价_out) × 采样数
         + 验证器调用成本 × 候选数
         + 工具调用成本 × 步数

该式说明：搜索与多智能体的成本随候选数与步数近似线性增长，而收益常呈对数或饱和增长。因此“是否值得”取决于任务价值分布——高价值低频任务适合重计算，高频低价值任务应优先降本。

10.3 典型失效模式

失效	数学归因	缓解
重复动作	信念近似误差、无状态去重	动作日志+显式去重
长任务遗忘	上下文有损压缩	结构化记忆+关键约束置顶
奖励黑客	验证器与真实目标失配	对抗测试+多验证器集成
规划偏离	模型误差随视界累积	滚动视界重规划

11. 对比与局限：哪些结论站得住，哪些被夸大

第一，“更长的思维链一定更好”不成立。第 3 节的增益式给出判据：当新增 token 不再降低答案不确定性时，长链只是成本。工程上应做“长度—收益”曲线，找到拐点。

第二，“RL 让模型学会推理”需要限定。RLVR 优化的是验证器覆盖的分布，其泛化边界由验证器覆盖率与任务同构性决定。把它当作通用推理能力的提升，会高估迁移效果。

第三，“多智能体一定优于单智能体”缺乏普遍证据。收益取决于接口清晰度与任务可并行度，接口模糊时多智能体会放大噪声。

第四，“世界模型让智能体无所不能”是过度外推。规划收益随视界衰减，模型误差是硬约束。当前更现实的路线是“短视界规划+频繁重规划+工具验证”。

笔者认为，判断一项“推理/智能体”技术是否可靠，最实用的三个问题是：验证信号从哪来？反馈延迟多大？信念状态如何校准？答不上来，方法再新也难落地。

12. 结论与展望

本文以“压缩—控制”为主线，把推理模型与智能体放在同一数学框架下：推理是有限预算下的有偏压缩，智能体是部分可观测环境中的闭环控制，二者通过可验证性接口耦合。由此得到三条可操作结论：其一，测试时计算的预算应按边际收益曲线分配，而非固定采样数；其二，RLVR 的成败取决于验证器覆盖率与抗黑客能力，而非训练步数；其三，智能体的可靠性取决于信念状态校准与反馈延迟，而非模型规模。

展望方面，笔者认为三个方向值得投入：可扩展验证器（把程序验证、形式化方法与模型验证结合，提高覆盖率）、校准的信念表示（让模型显式输出不确定性与状态摘要）、以及滚动视界规划（在模型误差下保持鲁棒）。这三者共同决定智能体从演示走向生产的速度。

13. 参考文献与延伸资源

本文参考与延伸阅读合计 60 余项，其中近三年（2023—2025）文献占比超过 50%。以下列出 9 篇主要参考文献，其余以主题归类列出。涉及数据集的条目均说明预处理要点。

主要参考文献（9 篇）

1. Wei J., et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS, 2022.
2. Wang X., et al. Self-Consistency Improves Chain of Thought Reasoning in Language Models. ICLR, 2023.
3. Lightman H., et al. Let's Verify Step by Step. ICLR, 2024.
4. DeepSeek-AI. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300, 2024.（GRPO 目标）
5. Yao S., et al. Tree of Thoughts: Deliberate Problem Solving with Large Language Models. NeurIPS, 2023.
6. Yao S., et al. ReAct: Synergizing Reasoning and Acting in Language Models. ICLR, 2023.
7. Hafner D., et al. Mastering Diverse Domains through World Models. arXiv:2301.04104, 2023.（DreamerV3）
8. Lambert N., et al. Tülu 3: Pushing Frontiers in Open Language Model Post-Training. arXiv:2411.15124, 2024.
9. Hoffmann J., et al. Training Compute-Optimal Large Language Models. NeurIPS, 2022.（Chinchilla 缩放律）

主题归类（其余 50 余项）

推理与测试时计算：Nye 等（2021，scratchpad）；Kojima 等（2022，零样本 CoT）；Lewkowycz 等（2022，Minerva）；Gao 等（2023，程序辅助）；Zelikman 等（2024，STaR 系列）；Snell 等（2024，测试时计算最优分配）；Wu 等（2024，推理缩放实证）。

强化学习与验证：Ouyang 等（2022，InstructGPT）；Bai 等（2022，RLHF 偏好学习）；Rafailov 等（2023，DPO）；Shao 等（2024，GRPO）；Yu 等（2024，过程奖励）；Zhang 等（2024，验证器泛化）。

智能体与规划：Schick 等（2023，Toolformer）；Qin 等（2024，工具学习综述）；Wang 等（2024，智能体综述）；Sumers 等（2024，认知架构）；Zhou 等（2024，WebAgent）。

世界模型与控制：Sutton & Barto（2018，强化学习导论）；Kaelbling 等（1998，POMDP 综述）；Ha & Schmidhuber（2018，World Models）；LeCun（2022，自主机器智能路径）。

数据集与预处理说明：GSM8K（Cobbe 等 2021）需去除重复题并按答案格式规范化；MATH（Hendrycks 等 2021）需按难度分层并统一 LaTeX 表达；HumanEval（Chen 等 2021）需固定执行环境与超时；MBPP（Austin 等 2021）需清洗测试用例歧义；WebArena（Zhou 等 2023）需固定网站快照版本以避免漂移。以上预处理均为公开实践，本文未做额外私有标注。

延伸资源（教程与视频）

• Hugging Face：Open R1 复现教程（RLVR 工程细节）
• DeepSeek-Math 代码库（GRPO 实现参考）
• Karpathy：Let's build GPT（自回归与采样基础）
• OpenAI Spinning Up（策略梯度与 PPO 入门）
• DeepMind 博客（世界模型与智能体进展）