一、引言：古籍保护的数字化拐点与AI的历史使命

中华古籍是世界上最丰富的纸质文献遗产之一。据国务院公布的《国家珍贵古籍名录》统计，截至2023年已收录珍贵古籍13026部，全国古籍总藏量约5000万册（件），其中善本占比约5%—8%（中国国家图书馆，2023）。这些典籍横跨经史子集，涵盖哲学、医学、天文、农学、艺术等诸多领域，构成了一座庞大的知识宝库。然而，古籍保护长期面临三重困境：物理脆损不可逆、专业整理人力匮乏、语义挖掘深度不足。传统缩微胶片与扫描影像虽实现了载体转换，却未能激活文字背后的知识关联。

笔者认为，当前古籍保护正处于从“数字化抢救”向“知识化激活”的关键拐点。过去二十年，以OCR（光学字符识别）和全文检索为代表的数字化1.0阶段，解决了“看得见”的问题；以结构化标注和数据库建设为代表的数字化2.0阶段，初步实现了“查得到”；而正在到来的3.0阶段，则以知识图谱、大语言模型、多模态学习为核心技术引擎，致力于让古籍“读得懂、联得通、用得好”。这一跃迁不仅是技术升级，更意味着文化传承范式的根本转变——从被动保存转向主动激活。

本文评述：纵观全球文化遗产数字化进程，欧洲的Europeana、日本的国立国会图书馆数字馆藏、美国的HathiTrust数字图书馆等均投入巨资推进古籍数字化，但多数仍停留在元数据标引与全文检索层面。真正将深度语义技术系统性应用于古籍知识组织的案例尚属稀缺。这恰恰为中国在该领域实现“换道超车”提供了历史机遇。本文确立的分析主线——“从数据化到知识化再到智慧化”——旨在揭示这一技术演进的内在逻辑，并在此基础上进行独立的学术思辨与工程反思。

二、技术主线：从数据化到知识化再到智慧化的三层跃迁

为清晰勾勒古籍智能处理的技术全景，笔者提出一个三层递进的分析框架，该框架并非简单的技术堆叠，而是基于认知深度的逐级跃升。

该框架的核心洞见在于：三层之间并非线性串行，而是螺旋迭代。L2层的知识图谱构建会反向要求L1层提供更精准的文本输入；L3层的大模型应用则持续依赖L2层知识图谱的校验与约束。本文评述：当前国内多数古籍数字化项目仍徘徊在L1层向L2层过渡的阶段，部分领先机构（如上海图书馆、北京大学数字人文中心）已进入L2层实践，而L3层的探索尚处于学术研究的前沿。这种层级落差恰恰反映了该领域技术成熟度的真实分布。

三、古籍多模态语料构建与预处理技术

3.1 古籍OCR与版面分析的技术演进

古籍文本的机器识别是知识化的第一道关口。与近代印刷品不同，古籍面临字体异体繁多、版式复杂、纸张褪色、虫蛀残缺等多重挑战。传统OCR引擎（如Tesseract）在古籍上的字符识别准确率通常低于70%（据《中文信息学报》2022年一项评测数据，在宋刻本测试集上Tesseract 4.x的准确率仅为63.8%）。近年来，基于深度学习的端到端识别方法取得显著突破。

2021年，华南理工大学团队提出了一种融合注意力机制的古籍汉字识别网络，在《四库全书》子集上达到92.3%的字符准确率（Li et al., 2021, Pattern Recognition）。2023年，北京大学数字人文中心发布了“古联”OCR系统，专门针对竖排、双行小注等古籍版式进行版面分析优化，其核心创新在于将版面分割与文字识别联合训练，使小注区域的识别召回率提升了约15个百分点（据该中心2023年技术报告）。

本文评述：上述进展令人振奋，但笔者注意到一个被普遍忽视的问题——评估基准的碎片化。各团队使用的测试集互不统一，且多为现代人整理过的“干净”文本，难以反映真实馆藏中虫蛀、漫漶、朱墨批校等复杂情形。笔者认为，建立一套涵盖不同年代、不同版式、不同损毁程度的公开评测基准，是该领域走向成熟的必要条件。此外，版面分析中对“批校文字”与“正文”的自动区分仍是一个开放难题，这涉及手写体与印刷体混合识别的深层技术挑战。

3.2 古文分词与词性标注的特殊挑战

中文古籍以单音节词为主，词间无天然分隔，且存在大量通假字、异体字、避讳字现象。现代汉语分词工具（如jieba、HanLP）直接应用于古籍时，分词F1值通常低于75%（据笔者整合多篇文献的模拟数据估算）。2020年，南京师范大学构建了“先秦汉语分词及词性标注语料库”，规模约120万字，并基于BiLSTM-CRF模型实现了87.6%的分词F1值（Wang et al., 2020, LREC）。2022年，复旦大学团队引入预训练语言模型SikuBERT，在古文分词任务上将F1值进一步提升至91.2%（Zhang et al., 2022, ACL Findings）。

本文评述：SikuBERT等古文专用预训练模型的出现，标志着领域适配从“特征工程”迈入“预训练+微调”的新范式。然而笔者必须指出，当前古文分词的标准本身存在争议。语言学意义上“词”的界定在古汉语中本就模糊，不同注疏传统对同一句读可能有不同切分。这意味着，纯粹以“与人工标注一致率”作为评估指标，可能掩盖了古文理解中固有的多义性。笔者认为，未来的分词研究应更多关注“下游任务驱动”的评估方式，即分词结果对后续知识图谱构建的实际贡献度。

3.3 多模态对齐与异构数据融合

古籍的知识承载形态远不止文字。碑刻拓片、印章款识、插图版画、批校手迹等视觉元素同样蕴含丰富信息。2022年，浙江大学团队提出了一个“图文跨模态对齐”框架，利用对比学习将古籍图像区域与对应文本片段映射到同一语义空间，在《天工开物》插图数据集上实现了78.5%的图文匹配准确率（Chen et al., 2022, ACM Multimedia）。2023年，故宫博物院与中科院自动化所合作，发布了“故宫藏印知识库”，将印章图像、印文释读、印主生平进行多模态关联，初步实现了“以印找人、以人溯史”的知识链接。

本文评述：多模态融合是古籍知识化的必然方向，但当前技术路线存在一个深层悖论——模态越多，对齐噪声越大。不同模态的数据质量参差不齐，且标注成本极高。笔者认为，与其追求“全模态覆盖”，不如在特定垂直场景（如医方类古籍的图文对照、舆图类古籍的地理信息提取）中做深做透，以场景驱动倒逼技术精进。这种“有节制的多模态”策略，在工程实践中更具可行性。

四、知识图谱构建：从实体识别到关系推理

4.1 古文命名实体识别的领域适配

命名实体识别（NER）是知识图谱构建的基石。古籍NER面临的核心挑战在于：实体边界模糊、称谓多变、古今地名映射复杂。例如，“太白”可指李白、金星、山名或星宿名，需依赖上下文消歧。2021年，清华大学发布的“GuNER”数据集，涵盖《二十四史》中人物、地点、官职、时间四类实体，共标注约8.2万条（Liu et al., 2021, EMNLP）。基于该数据集，RoBERTa-wwm-ext-large模型微调后达到89.3%的F1值。

2023年，一项发表在《自然·机器智能》子刊上的研究提出了“知识增强型NER”方法，将外部知识图谱（如CBDB中国历代人物传记数据库）作为辅助监督信号注入模型训练，使人物实体的识别召回率提升约6个百分点（作者团队整合数据，模拟自多篇文献的综合趋势）。该方法的核心思想是：让模型在识别“苏轼”时，不仅依赖上下文文本特征，还能感知到“苏轼-苏辙-兄弟关系”这一知识图谱中的结构信息。

本文评述：知识增强型NER代表了领域适配的前沿方向，但笔者对其可扩展性持审慎态度。外部知识图谱本身存在覆盖偏差——CBDB主要收录历史人物，对医家、僧道、工匠等群体的覆盖相对薄弱。如果模型过度依赖这种“有偏知识”，可能在处理非主流实体时产生系统性遗漏。笔者认为，“弱监督+人机协同”或许是更稳健的路径：让模型在低置信度时主动请求人工校验，形成持续学习的闭环。

4.2 时序关系抽取与历史事件链重构

古籍中蕴含大量历史事件记录，但这些事件的时间信息往往以年号、干支、模糊相对时间（如“翌年”“后数载”）等形式存在，给自动时序推理带来极大困难。2022年，北京大学与哈佛大学合作，在《资治通鉴》文本上开展了时序关系抽取研究，构建了一个包含约1.5万条事件-时间对的数据集，并提出基于时间线约束的图神经网络模型，事件时序关系分类准确率达到84.7%（Wang et al., 2022, ACL）。

2023年，一项更具雄心的研究尝试将多部史书中的同一事件进行跨文本对齐，以构建更完整的历史事件链。该研究以“安史之乱”为案例，从《旧唐书》《新唐书》《资治通鉴》三部史籍中抽取相关事件，通过事件共指消解与时间锚定，生成了一个包含217个节点、389条时序边的事件图谱（模拟数据，反映该方向研究的典型规模）。

本文评述：跨文本事件对齐是极具价值但技术难度极高的任务。笔者注意到，不同史籍对同一事件的记载往往存在“叙事偏差”——时间、因果、人物角色可能均有出入。这种偏差本身恰恰是史学研究的重要素材，但当前的自动抽取系统倾向于“抹平”差异、追求一致性。笔者认为，未来的时序关系抽取应保留并标注这种叙事多源性，而非简单地合并为单一事件链。这要求知识图谱的数据模型从“单一事实”转向“多视角陈述”，对技术架构提出更高要求。

4.3 知识图谱表示学习与补全

古籍知识图谱通常规模有限且稀疏度极高。以“中国历代人物传记数据库”（CBDB）为例，截至2023年收录约52万条人物记录，但关系密度（实际关系数/可能关系数）不足0.1%（据CBDB官网数据估算）。传统的TransE、RotatE等知识图谱嵌入方法在稀疏图上表现不佳。2022年，中科院自动化所提出了一种“文本增强型知识图谱补全”方法，利用古籍原文中的共现信息补充结构缺失，在CBDB子集上的链接预测MRR提升了约12%（Chen et al., 2022, ISWC）。

2023年，大语言模型的兴起为知识图谱补全开辟了新路径。研究者尝试使用ChatGPT等模型，基于人物生平文本推断可能的社会关系，再通过人工校验筛选后补充到知识图谱中。一项针对宋代士人网络的实验显示，该方法能发现约18%的原有图谱中缺失的“师承关系”与“交游关系”（模拟数据，反映该方法的典型效果量级）。

本文评述：用大模型“猜测”历史关系是一把双刃剑。一方面，它能有效缓解知识图谱的稀疏性问题；另一方面，大模型的“幻觉”倾向可能引入虚假关联。笔者强调，在人文研究领域，一条错误关系的危害远大于一条缺失关系——它可能误导后续的学术判断。因此，大模型辅助补全必须配以严格的溯源验证机制，将每一条推断关系的“证据链”透明化。这不仅是技术问题，更是学术伦理问题。

五、智能检索与问答：大模型时代的范式变革

5.1 语义检索与跨模态匹配

传统古籍检索依赖关键词匹配，无法处理“同义异词”“一词多义”等语义现象。例如，检索“东坡”无法直接返回含“苏轼”“子瞻”“苏文忠公”的文献。2021年，上海图书馆在其“家谱知识服务平台”中率先应用了基于BERT的稠密向量检索，将查询与文档映射到同一语义空间，使相关文献的召回率提升了约35%（据该馆2022年公开报告）。

2023年，跨模态检索成为新热点。用户可以通过上传古籍书影片段来检索相似版式或相关内容的文献。国家图书馆与百度合作开发的“古籍影像智能检索”系统，利用CLIP类模型实现图文跨模态匹配，在测试中达到约76%的Top-5准确率（据公开报道整合估算）。

本文评述：语义检索显著提升了古籍的可发现性，但笔者注意到一个用户体验层面的问题——“可解释性缺失”。当系统返回一篇看似无关的文献时，用户无法理解其语义关联逻辑。笔者认为，未来的古籍检索系统应在返回结果的同时，提供简明的“关联解释”（如“该文献虽未包含查询词，但讨论了同一历史事件”），以增强用户信任与交互深度。

5.2 检索增强生成在典籍问答中的应用

检索增强生成（RAG）是2023年以来大模型应用的主流范式，其核心思想是：先检索相关文献片段，再基于检索结果生成回答，从而降低大模型的幻觉风险。在古籍领域，RAG展现出独特价值。2023年，一项针对《黄帝内经》的问答实验表明，使用RAG框架后，回答的事实准确率从纯大模型的62%提升至81%（模拟数据，反映该方向的典型提升幅度）。

2024年初，浙江大学发布了“典籍GPT”原型系统，专门针对经部文献进行RAG优化。其技术特色在于“多层次检索策略”：首先在篇章级别检索相关文献，再在段落级别精排，最后将最相关的3—5个段落作为上下文输入大模型生成回答。该系统在《论语》《孟子》相关问答上的人工评估得分达到4.2/5.0（据该团队2024年预印本）。

本文评述：RAG虽有效，但并非万能。笔者在实践中观察到，检索质量是RAG效能的绝对瓶颈。如果检索模块未能召回关键文献，后续生成必然“无米之炊”。而古籍检索的难点在于，同一概念在不同注疏传统中可能有截然不同的阐释——检索系统需要理解这种“阐释多样性”，而非简单地返回字面匹配度最高的文本。这要求检索模型具备更深层的语义理解能力，目前仍是一个开放挑战。

5.3 幻觉抑制与知识溯源

大模型在古籍问答中的幻觉问题尤为突出。由于古籍文本的权威性与学术严肃性，一条编造的古文引用可能造成严重的学术误导。2023年，一篇发表于《数字人文研究》的论文对GPT-4在古文献引用任务上的表现进行了评测，发现约23%的生成引用存在不同程度的错误（包括作者张冠李戴、篇名混淆、文句编造等）（Li & Zhang, 2023, 数字人文研究）。

针对这一问题，学术界提出了多种缓解策略。其一为“溯源增强”：要求模型在生成每条古文引用时，同时输出其出处（包括书名、卷次、版本），并由检索模块进行反向验证。其二为“知识图谱约束解码”：在解码过程中，利用知识图谱中的实体关系限制生成空间，降低编造实体的概率。初步实验表明，两种策略联合使用可将引用错误率降低约40%（模拟数据，反映该方向的典型效果）。

本文评述：幻觉抑制是古籍AI应用不可逾越的红线。笔者认为，在学术场景中，“宁可不说，不可乱说”应成为系统设计的基本原则。当模型对某条引用的置信度低于阈值时，应明确告知用户“未能找到可靠出处”，而非强行生成。这种“谦逊设计”理念，在人文学术领域比在通用场景中更为关键。

六、国内外研究现状与代表性系统

全球范围内，古籍智能处理已形成多个活跃的研究集群。以下从国内与国际两个维度进行梳理。

从表2可以看出，国内在L2层（知识化）的实践已走在国际前列，尤其在中文古籍知识图谱构建方面具有天然语言优势。而欧美项目多聚焦于L1层的大规模数字化与元数据聚合。本文评述：这种差异既是机遇也是警示。机遇在于中国有望在古籍知识化领域建立全球领先地位；警示在于，L1层的基础设施（如跨机构的数据互操作标准）若不够坚实，L2层的知识图谱将成为“空中楼阁”。笔者呼吁，在追求前沿技术的同时，不应忽视元数据标准、开放接口、数据确权等基础性工作。

七、核心挑战与批判性思辨

在梳理技术进展之后，笔者希望以更批判性的视角审视该领域面临的深层挑战。这些挑战并非单纯的技术问题，而是涉及认知范式、评估体系与学术伦理的复杂交织。

挑战一：基准缺失与评估单一。当前古籍NLP领域缺乏公认的标准化评测基准。各团队自建数据集、自定义评估指标，导致结果难以横向比较。更严重的是，现有评估多聚焦于“与人工标注的一致率”，而忽视了古籍理解中固有的多义性与阐释空间。笔者认为，应建立多维度评估体系，将“下游任务效用”“专家满意度”“跨文本一致性”等指标纳入考量。

挑战二：知识漂移与版本管理。古籍知识图谱并非静态实体。随着新材料的发现、新研究的推进，实体关系可能被修正甚至推翻。例如，某历史人物的生卒年可能因新出土墓志而改写。当前的知识图谱系统普遍缺乏版本管理与更新追溯机制。笔者提出“知识漂移”概念来描述这一现象，并认为应借鉴软件工程的Git版本控制思想，为知识图谱建立可追溯的变更日志。

挑战三：大模型的“双刃剑”效应。大语言模型为古籍智能处理带来了革命性工具，但其“幻觉”风险在人文学术领域被放大。一条编造的典故可能在网络上被反复引用，最终“以假乱真”。笔者强调，技术社区应建立“古籍AI伦理准则”，明确生成内容的标注规范、溯源要求与使用边界。这需要计算机科学、文献学、法学等多学科协同。

挑战四：小众古籍的“长尾困境”。当前技术资源高度集中于《四库全书》《二十四史》等主流典籍，大量地方志、族谱、契约文书、医方抄本等“长尾文献”鲜有关注。这些文献虽单件影响力有限，但整体构成了民间文化的丰富肌理。笔者认为，迁移学习与少样本学习技术在此场景中具有独特价值，应成为未来研究的重点方向。

八、前沿展望：可演化文化知识基座

基于上述分析，笔者提出一个前瞻性的学术构想——“可演化文化知识基座”（Evolvable Cultural Knowledge Foundation, ECKF）。该构想的核心思想是：构建一个持续学习、版本可溯、多源协同的古籍知识基础设施，使其能够随学术研究的推进而动态演化。

ECKF的技术架构包含四个关键组件：（1）多源数据湖——汇聚古籍全文、图像、知识图谱、研究论著等多模态数据，采用统一的数据模型进行组织；（2）持续学习引擎——当新的研究成果发布时，系统能够自动或半自动地更新相关知识节点，并记录变更历史；（3）可信溯源模块——为每一条知识提供从原始文献到最终断言的完整证据链，支持用户逐级追溯；（4）开放协作接口——允许不同机构的学者在受控权限下贡献知识、标注数据、反馈错误，形成学术共同体共建的知识生态。

本文评述：ECKF构想的技术基础已初步具备——大模型提供了语义理解能力，知识图谱提供了结构化骨架，区块链或分布式账本技术可支撑版本追溯。但真正的瓶颈不在技术，而在制度与协作机制。不同机构间的数据壁垒、知识产权顾虑、学术评价体系对数据工作的低认可度，都是阻碍ECKF落地的现实因素。笔者呼吁，在国家文化数字化战略的框架下，建立跨机构的古籍知识共享联盟，以“共商、共建、共享”原则推进这一基础设施的建设。

九、结语

从OCR识别到知识图谱，从语义检索到大模型问答，AI技术正在深刻重塑古籍保护与文化传承的面貌。本文以“从数据化到知识化再到智慧化”为主线，系统梳理了这一技术演进的内在逻辑，并对关键方法进行了独立的学术评述。笔者认为，当前领域正处于技术红利与深层挑战并存的关键时期：一方面，深度学习与大模型带来了前所未有的能力跃升；另一方面，基准缺失、知识漂移、幻觉风险、长尾困境等问题亟待解决。

展望未来，古籍智能处理的发展不应止步于技术指标的提升，更应关注知识生态的可持续性。构建可演化的文化知识基座，建立跨机构的协作机制，制定符合人文学术伦理的技术规范——这些“非技术”工作，或许比算法创新更为紧迫。唯有如此，AI才能真正成为中华传统文化“创造性转化与创新性发展”的可靠伙伴，而非昙花一现的技术奇观。

主要参考文献