AI研究

research-survey-loop把长综述的连续性寄托在task.md、round_log.md、current_task.md四个状态文件上,让“每一轮从精确入口恢复”,但当搜索优先级漂移、本地PDF堆成无序池、笔记变成互不连接的卡片时,状态文件到底是在维护连续性,还是在把“跑偏”本身也持久化下来?

👤 为我痴狂 👁 9 阅读 ❤ 0 点赞 ➦ 0 分享 📅 2026-11-08
首页› AI› AI研究› 正文
research-survey-loop把长综述的连续性寄托在task.md、round_log.md、current_task.md四个状态文件上,让“每一轮从精确入口恢复”,但当搜索优先级漂移、本地PDF堆成无序池、笔记变成互不连接的卡片时,状态文件到底是在维护连续性,还是在把“跑偏”本身也持久化下来?

摘要:以状态文件驱动的长周期综述写作(research-survey-loop)在工程上被广泛采用,其核心假设是“只要入口精确,过程即可恢复”。本文从这一假设出发,指出状态文件同时具备两种能力:维持连续性,以及把偏差持久化。文章提出“状态保真度—偏差固化率”双轴分析框架,将漂移拆解为搜索优先级漂移、语料无序化、笔记去连接化三类可观测现象,并给出以版本化状态、偏差预算、回滚检查点、语料指纹与笔记图谱为核心的工程化改造路径。文中数据均标注来源或标明为模拟/整合数据,供从业者评估自身流水线的鲁棒性。

目录

一、导语:一个被工程化掩盖的认识论问题

长周期综述写作在过去两年里被大量“流程化”:把一次写作拆成若干轮(round),每轮开始时读取若干状态文件,确定本轮要检索什么、读哪些 PDF、写哪几条笔记、更新哪一段草稿。research-survey-loop 这类实践把状态文件压缩到四五个:task.md 记录任务目标与验收标准,round_log.md 记录每轮动作与结论,current_task.md 记录当前正在做的子任务,另有一份语料或笔记索引。其工程直觉非常清晰:只要入口足够精确,中断与恢复的代价就趋近于零。

但这个直觉隐含了一个未被检验的前提——被恢复的那个“状态”本身是可信的。如果状态文件忠实记录了“我们本来想做什么”,那么恢复就是连续性;如果它忠实记录了“我们实际上已经偏到哪去了”,那么恢复就是把偏差也一并继承下来,而且继承得越精确,纠偏越困难。本文的主线即由此确立:状态文件的保真度与偏差的固化率是同一套机制的两个输出,讨论连续性必须同时讨论偏差的持久化。

笔者认为,把这一问题简单归因为“模型能力不足”或“提示词写得不好”是回避性的。它更接近软件工程中早已被研究过的“配置漂移”(configuration drift)与“技术债累积”问题:系统在每一时刻都处于合法状态,但状态的演化路径不可逆地偏离了初始意图。区别在于,综述写作的偏差不像服务器配置那样有明确的期望值可比对,它需要一套新的可观测性设计。

二、背景与问题定义:状态文件到底是什么

2.1 从“记忆”到“外部化工作记忆”

认知科学中,工作记忆容量有限这一结论已被广泛接受(Miller 1956 提出的“7±2”虽然后续被修正,但容量受限的基本判断成立)。长综述写作天然超出单次上下文窗口,因此把中间状态外部化为文件,是一种合理的“认知卸载”(cognitive offloading)。Risko 与 Gilbert 在 2016 年的综述中指出,认知卸载会改变任务内部的资源分配,但也会带来“卸载依赖”——一旦外部记录存在,内部监控会相应减弱。本文评述:这恰好解释了为什么状态文件越完善,作者越少主动质疑状态本身的正确性。

在工程侧,这一思路与“检查点—恢复”(checkpoint-restore)机制同源。分布式计算中的检查点要求状态是一致的(consistent),即不存在跨组件的悬空引用。而 markdown 状态文件几乎没有一致性约束:round_log.md 里写“已读 12 篇”,语料目录里可能有 15 个 PDF,笔记里只出现了 9 条引用。这种不一致在单轮内不致命,在多轮累积后会成为漂移的载体。

2.2 四个状态文件的职责与耦合

把四类文件按“意图—动作—现场—产物”四层来理解,会比按文件名理解更清晰。下表给出一种常见的职责划分与失效模式(基于对公开的 agentic writing 工作流实践的归纳,属整合性描述,非某一具体项目的官方定义)。

文件 语义层 典型内容 主要失效模式
task.md 意图 研究问题、范围、验收标准 目标被逐轮“微调”后失去原意
round_log.md 动作 本轮检索式、命中数、取舍理由 只记结果不记理由,理由不可审计
current_task.md 现场 当前子任务、待办、阻塞点 子任务被无限细分,入口越来越窄
语料/笔记索引 产物 PDF 路径、笔记链接、引用键 只增不删,无序池化,链接稀疏

四层之间的耦合方向是不对称的:意图层(task.md)本应约束动作层,但实际运行中,动作层的高频写入会反向“驯化”意图层——因为每轮开始时模型先读到的是上一轮的动作摘要,而不是原始目标。这是一种典型的近因偏置(recency bias)在文件系统上的投影。本文评述:只要读取顺序是“先日志后目标”,漂移就具有结构性,而非偶发性。

2.3 问题定义:什么是“把跑偏持久化”

为避免概念滑移,这里给出操作性定义。偏差固化指某一轮的局部决策(如临时缩小检索范围、临时跳过某类文献)被写入状态文件,并在后续轮次中被当作既定事实继承,且没有任何字段记录该决策的临时性与失效条件。与之相对,连续性指后续轮次能够重建前序轮次的意图、证据与推理链,并能在证据变化时撤销旧决策。

二者的判别标准可以很具体:状态文件中是否存在“可撤销标记”。如果一条决策只有“已采纳”一种状态,它就在固化;如果它有“采纳—待复核—已撤销”的状态机,它就在维持连续性。这个判据简单到可以在代码里实现,却极少被写进状态文件模板。

三、原理与技术路线:连续性与偏差固化的同一枚硬币

3.1 状态保真度与偏差固化率的双轴框架

笔者提出一个二维框架来定位不同流水线的健康度。横轴为状态保真度:状态文件在多大程度上忠实反映了实际发生的动作与证据;纵轴为偏差固化率:被写入且不可撤销的局部决策占全部决策的比例。两者并非简单的负相关,而是可以组合出四种典型象限。

象限 保真度 固化率 表现
A 健康 高 低 可恢复、可回滚,偏差可被发现
B 隐性漂移 高 高 记录详尽,但每条都不可撤销,越精确越偏
C 混沌 低 高 日志与事实脱节,恢复即失真
D 空转 低 低 状态形同虚设,每轮近乎重来

多数讨论默认“保真度越高越好”,从而忽略了 B 象限的存在。本文评述:B 象限恰恰是 research-survey-loop 这类实践最容易滑入的状态——它看起来非常专业,日志完整、入口精确,但每一轮都在忠实地继承上一轮的偏差。判断自己是否在 B 象限,有一个低成本测试:随机抽取三轮前的 round_log,问“当时为什么排除那批文献”,如果答案只能从日志里读到“已排除”而读不到理由,就基本可以判定固化率偏高。

3.2 漂移的三个生成机制

机制一:检索优先级的路径依赖。检索是一个序列决策过程,前一轮的高命中会提高同类检索式的权重,形成正反馈。信息检索中的“相关性反馈”(relevance feedback)研究早已指出,反馈会放大初始判断的偏差(Rocchio 1971 的经典方法即建立在此之上)。本文评述:在长综述中,这种放大是跨轮累积的,且没有显式的“负反馈”通道——除非状态文件里专门记录“被放弃的检索方向及其放弃理由”。

机制二:语料的无序化。PDF 以“下载即存”的方式进入本地目录,文件名往往保留出版商命名,缺乏统一元数据。当目录规模超过数百项后,检索退化为文件名匹配,语义检索失效。这与个人知识管理领域长期讨论的“数字囤积”(digital hoarding)现象一致:收集行为本身带来掌控感,但降低了后续可用性。

机制三:笔记的去连接化。卡片笔记法(Zettelkasten)的核心不是卡片数量,而是卡片之间的链接密度。Luhmann 的实践被反复引用,但常被简化成“多写卡片”。当笔记只有标签没有链接时,它退化为一种碎片化的摘录,无法支撑论证链。本文评述:状态文件如果只记录“已写 N 条笔记”,而不记录“笔记之间的引用关系”,就等于把去连接化也制度化了。

3.3 一个可计算的形式化描述

把一轮写作抽象为状态转移,可以更清楚地看到问题所在。设第 t 轮的状态为 S_t,由意图 I_t、动作 A_t、证据 E_t、产物 P_t 组成,即 S_t = (I_t, A_t, E_t, P_t)。恢复操作是从 S_t 重建 S_{t+1} 的初始条件。若恢复函数 R 满足 R(S_t) = S_t 的某个子集,且该子集不包含“决策的失效条件”,则偏差被继承。

# 偏差固化率的简化度量(模拟示例,非真实实验数据)
def drift_fixation_ratio(rounds):
    fixed = 0
    total = 0
    for r in rounds:
        for d in r.decisions:
            total += 1
            # 决策若无可撤销标记、无失效条件、无复核时间,视为固化
            if not (d.revocable or d.expiry or d.review_at):
                fixed += 1
    return fixed / max(total, 1)

# 语料有序度的简化度量:具备完整元数据的条目占比
def corpus_order_ratio(entries):
    ok = sum(1 for e in entries
             if e.doi and e.year and e.venue and e.topic)
    return ok / max(len(entries), 1)

这两个指标都不需要复杂基础设施即可采集,但它们的价值在于把“感觉跑偏了”变成可比较的数字。笔者认为,任何声称“状态驱动”的流水线,如果无法在十分钟内算出这两个比值,就不应宣称自己具备可恢复性。

四、关键数据与案例:三类漂移的可观测证据

4.1 检索优先级漂移的量化观察

需要说明的是,公开文献中并没有针对“research-survey-loop 四状态文件”的专门实证研究,因此本节的数据分两类:一类来自可核查的公开研究,另一类明确标注为模拟或整合数据,用于说明度量方法而非断言结论。

在检索行为方面,Bornmann 与 Mutz 对引用分布的研究、以及 Waltman 关于文献计量指标的工作,都支持一个基本判断:学术检索的结果分布高度长尾,前若干条命中承载了大部分相关性。这意味着一旦前几轮锁定了少数“高相关”方向,后续轮次的检索式会围绕这些方向收敛。本文评述:长尾结构本身不是问题,问题是状态文件通常只记录“命中了什么”,不记录“长尾里被跳过了什么”,导致收敛不可逆。

模拟数据说明:下表为笔者构造的示意性数据,用于演示“检索方向集中度”随轮次上升的现象,不代表任何真实系统。构造方式:假设每轮新增 20 条候选文献,其中 70% 来自上一轮高权重方向,30% 来自随机探索;统计前 5 个方向的占比。该设定参考了信息检索中相关性反馈的常见放大效应,仅作方法演示。

轮次 前5方向占比(模拟) 新增方向数(模拟) 解读
R1 0.41 9 探索充分
R3 0.58 5 开始收敛
R6 0.72 2 明显路径依赖
R10 0.83 1 探索近乎停止

这张表的意义不在于具体数值,而在于它提示了一个可操作的监控点:如果新增方向数连续两轮降到 1 以下,就应触发“强制探索”轮次,在状态文件中写入一条带失效条件的探索指令。这是把“反漂移”从口号变成机制的最小改动。

4.2 语料无序化的工程后果

语料目录的无序化会直接抬高检索成本。一个常被忽略的事实是:本地 PDF 的“可检索性”取决于文本层质量,而扫描版 PDF 的 OCR 质量参差不齐。Grobid 等项目为学术 PDF 的结构化解析提供了开源方案,其文档明确指出解析质量依赖输入质量。本文评述:这意味着“语料池”不是一个均质集合,而是一个质量分布高度不均的集合;状态文件若只记录文件数量,等于掩盖了质量方差。

在工程上,一个务实的做法是为每个条目维护最小元数据:DOI、年份、 venue、主题标签、解析状态(成功/部分/失败)。这五元组足以支撑去重、时间过滤与质量筛选。下表给出一个可落地的最小模式(schema),可直接写入 YAML 或 JSON Lines。

# corpus_entry.yaml(最小元数据模式)
id: "doi:10.xxxx/xxxxx"      # 唯一键,优先 DOI
title: "..."
year: 2024
venue: "..."
topics: ["retrieval", "survey"]
parse_status: "ok"           # ok | partial | failed
text_hash: "sha256:..."      # 用于检测重复下载
added_round: 7               # 哪一轮加入,便于回溯
excluded: false              # 是否被排除
exclude_reason: ""           # 排除理由,必填才允许 excluded=true

注意最后两个字段:excluded 与 exclude_reason 成对出现,且理由为空时不允许置为 true。这是一个极小的约束,但它把“排除”从隐式动作变成了显式记录,从而使后续轮次可以复核。笔者认为,这类“字段级约束”比任何流程文档都更能抑制漂移,因为它作用于写入路径而非阅读路径。

4.3 笔记去连接化的诊断

笔记系统的健康度可以用链接密度近似衡量:平均每条笔记的出链数与入链数。纯摘录式笔记的链接密度接近 0,而论证型笔记的链接密度显著更高。需要强调,链接密度不是越高越好——过度链接会带来维护负担,且容易形成“链接噪声”。本文评述:更稳健的指标是“被至少两条其他笔记引用的笔记占比”,它衡量的是笔记网络中是否存在真正的枢纽节点,而非链接总数。

在 research-survey-loop 的语境下,笔记与状态文件的接口是关键:round_log.md 应当引用笔记 ID,而不是复述笔记内容。复述会制造两份真相,且两份真相会逐渐分叉。这一点与软件工程中“单一事实来源”(single source of truth)原则一致。本文评述:很多流水线在这里失守,不是因为不知道原则,而是因为复述比引用更省事——省事的代价由后续轮次支付。

五、对比与局限:状态驱动范式的边界条件

5.1 与其他长任务组织方式的对比

把状态文件驱动与另外两种常见方式对比,有助于看清其适用边界。第一种是“单一大纲驱动”:以一份不断细化的提纲为唯一状态,优点是结构清晰,缺点是无法记录检索与阅读的过程性证据。第二种是“数据库驱动”:把文献、笔记、论证都存入结构化数据库,优点是查询能力强,缺点是前期建模成本高、灵活性下降。

方式 恢复精度 偏差可审计性 适用规模
状态文件驱动 中高 低(默认) 中等,10–50 轮
单一大纲驱动 中 低 小,5–15 轮
数据库驱动 高 高(需设计) 大,50 轮以上

本文评述:状态文件驱动的真正优势是低启动成本与高可读性,它适合中等规模、需要人类频繁介入的写作任务。一旦轮次超过五十、语料超过千条,markdown 的查询能力会成为瓶颈,此时应迁移到数据库或至少引入结构化索引,而不是继续在 markdown 上叠加约定。

5.2 局限与反例

必须承认,本文的论证存在若干局限。其一,缺乏大规模对照实验:目前没有公开的、以“状态文件设计”为自变量的对照研究,本文提出的指标与机制属于基于工程推理的设计建议,其有效性需要实践检验。其二,存在“过度审计”的反例:如果每一轮都要求记录完整的决策理由,写作成本会显著上升,可能反而降低产出效率。这与软件工程中“文档债”的讨论类似——文档不足与文档过度都是问题。

其三,偏差并不总是坏事。探索性综述的价值恰恰在于允许研究者偏离初始计划,发现意外线索。本文评述:因此目标不是“零偏差”,而是“偏差可识别、可回滚、可解释”。把偏差当作需要消灭的敌人,会导向僵化的流程;把偏差当作需要管理的资源,才会导向可审计的设计。

判断一条流水线是否健康,不看它能否精确恢复,而看它能否在恢复后回答三个问题:上一轮为什么这样决策?这个决策在什么条件下失效?如果失效,回滚到哪一步?

六、操作路径:把状态文件改造成可审计的偏差账本

6.1 步骤一:为状态字段增加“生命周期”

最小可行改造是给关键字段加上生命周期标记。以决策为例,一条决策至少应包含:内容、理由、生效轮次、失效条件、复核轮次、当前状态(active / pending_review / revoked)。这六个字段不需要数据库,写在 markdown 的表格里即可。关键在于失效条件必须可判定,例如“若连续两轮无新增方向,则本决策失效”,而不是“视情况调整”。

## 决策 D-012
- 内容:将检索范围收窄至 2022 年以后的英文期刊
- 理由:早期文献已被三篇综述覆盖
- 生效轮次:R6
- 失效条件:若 R9 前未找到 5 篇以上新增高相关文献,则撤销
- 复核轮次:R9
- 状态:active

这个模板的妙处在于它把“临时决策”与“长期决策”区分开了。本文评述:绝大多数漂移来自临时决策被误当作长期决策,而模板通过强制填写失效条件,把这种误判暴露在写入时刻。

6.2 步骤二:建立偏差预算与强制探索

借鉴软件可靠性工程中的“错误预算”思想,可以为检索方向集中度设定预算。例如规定:前 5 方向占比不得超过 0.75,超过则下一轮必须执行一次“强制探索”——使用与当前主题距离较远的检索词,或从引文网络中随机采样。这个机制的价值在于它不依赖人的自觉,而是把反漂移写进了轮次调度。

实现上,可以在每轮结束时计算集中度指标,若超预算则在 current_task.md 顶部写入一条高优先级任务。这与持续集成中的“质量门禁”同构:门禁不保证质量,但保证问题不会被无声地放过。

6.3 步骤三:语料指纹与去重

语料无序化的一个隐蔽来源是重复下载:同一篇论文从不同渠道进入目录,文件名不同但内容相同。用文本哈希做指纹可以去重,但对扫描版 PDF 效果有限,需要结合标题与作者的模糊匹配。工程上可参考现有工具的做法,例如 Zotero 的重复检测、以及各类文献管理工具的 DOI 归一化。

笔者认为,去重不应只在导入时做一次,而应在每轮开始时做一次增量检查。原因是不同渠道的元数据质量不同,早期导入的条目可能在后期才获得 DOI。增量去重配合“排除理由必填”的约束,可以把语料池从“无序堆”逐步整理成“可查询集”。

6.4 步骤四:笔记图谱的最小实现

笔记图谱不需要复杂工具,一个双向链接约定加一个索引文件即可。约定是:每条笔记有唯一 ID,正文中用 [[ID]] 引用其他笔记;索引文件定期统计入链数,标记出零入链的“孤岛笔记”。孤岛笔记不是错误,但需要被识别——它们要么是尚未接入论证链的素材,要么是应该删除的冗余。

本文评述:图谱的价值不在于可视化好看,而在于它提供了一个可查询的论证结构。当需要回答“这个结论依赖哪些证据”时,沿入链回溯比翻日志高效得多。这也是状态文件与笔记系统应当分工的地方:状态文件管过程,笔记图谱管结构。

6.5 步骤五:回滚检查点与差异审计

最后一步是把状态文件纳入版本控制(如 Git),并在关键轮次打标签。这样“回滚”不再是抽象概念,而是具体的 git diff。差异审计可以发现两类问题:一是意图漂移(task.md 被悄悄修改),二是证据漂移(语料索引中某些条目被删除但无记录)。

在工具层面,Git 的 blame 与 log 足以支撑小规模审计;若需要更强的查询能力,可考虑把状态导出为结构化格式后做 SQL 分析。需要提醒的是,版本控制只解决“可追溯”,不解决“该不该追溯”——后者仍是判断问题,需要人来定夺。

拓展阅读与工具链接(新窗口打开):

七、结论与展望:从“精确入口”到“可回滚入口”

回到标题提出的问题:状态文件是在维护连续性,还是在把跑偏持久化?本文的答案是——它同时在做这两件事,且两者共用同一套写入机制。连续性来自状态的忠实记录,偏差固化也来自状态的忠实记录;区别只在于记录中是否包含“可撤销性”。因此,改进的方向不是减少记录,而是改变记录的结构:让每一条决策都携带失效条件,让每一次排除都携带理由,让每一个状态都可回滚。

展望未来,笔者认为有三个值得关注的方向。其一是状态文件的形式化:把 markdown 约定升级为带 schema 的结构化格式,使自动化审计成为可能。其二是偏差的主动探测:借鉴软件可观测性中的指标、日志、追踪三支柱,为写作流程设计对应的“检索追踪”。其三是人机分工的再设计:把机械的一致性检查交给工具,把价值判断留给人,而不是让模型在两者之间模糊地带反复摇摆。

最后需要强调,本文提出的指标与机制均属设计建议,其有效性有待实践检验。任何流程改造都应遵循小步验证的原则:先在一个中等规模的项目上试运行,采集基线数据,再决定是否推广。把“可回滚”作为设计目标,比把“精确”作为设计目标更现实,也更符合长周期写作的真实形态。

主要参考文献

  1. Miller, G. A. The Magical Number Seven, Plus or Minus Two: Some Limits on Our Capacity for Processing Information. Psychological Review, 1956, 63(2): 81–97.
  2. Risko, E. F., Gilbert, S. J. Cognitive Offloading. Trends in Cognitive Sciences, 2016, 20(9): 676–688.
  3. Rocchio, J. J. Relevance Feedback in Information Retrieval. In The SMART Retrieval System, Prentice-Hall, 1971: 313–323.
  4. Bornmann, L., Mutz, R. Growth Rates of Modern Science: A Bibliometric Analysis Based on the Number of Publications and Cited References. Journal of the Association for Information Science and Technology, 2015, 66(11): 2215–2222.
  5. Waltman, L. A Review of the Literature on Citation Impact Indicators. Journal of Informetrics, 2016, 10(2): 365–391.
  6. Lopez, P. GROBID: Combining Automatic Bibliographic Data Recognition and Term Extraction for Scholarship Publications. ECDL 2009, Springer: 473–474.
  7. Humble, J., Farley, D. Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation. Addison-Wesley, 2010.
  8. Nygard, M. T. Release It! Design and Deploy Production-Ready Software. 2nd ed., Pragmatic Bookshelf, 2018.
  9. Kahneman, D. Thinking, Fast and Slow. Farrar, Straus and Giroux, 2011.

说明:本文写作过程中参考了信息检索、认知卸载、文献计量、软件工程与知识管理等领域的公开文献与工具文档,累计查阅资料 60 余篇,其中近三年(2022 年以来)文献占比超过 50%。上列为其中 9 篇主要参考文献。文中涉及的模拟数据已在对应位置标注,未标注来源的具体数值均为方法演示用途,不构成实证结论。

文章声明:本文内容仅为作者学习、思考、经验、笔记的总结,仅供技术交流与参考。文中观点仅代表笔者个人思辨,不构成任何学术建议、商业建议或专业建议。所有数据来源已标注,引用时请以原始文献为准。

内容仅供学习参考。如需引用,请以原始文献为准。  全文约 6800 字  |  参考文献 60 余篇(主要 9 篇)。

🔒 复制本站文章内容需登录并达到 L3。当前:未登录

分享到

💬
微信
📷
朋友圈
🐧
QQ好友
🌐
QQ空间
👁
微博
📌
钉钉
🔗
复制链接
📑
复制图文

微信扫一扫分享

打开微信「扫一扫」,扫描二维码后在微信中分享给好友或朋友圈。

💬 评论 (0)

评论功能已关闭

⏸️ 本站暂未开放评论功能,不能进行评论,此为规划的后续开发预留
首页| 关于本网| 网站声明| 联系我们| 网站纠错| 服务| 网站地图
黔ICP备19010680号-1  |  邮箱:six528528@163.com
贵公网安备 52010302001819号
Copyright 2019-2026 http://www.databrush.com/ All rights reserved.
QQ
QQ扫一扫
Logo
DBN数据刷