一、引言：文化基因的数字解码时代

中华古籍浩如烟海，据《中国古籍总目》著录，现存古籍约20万种，超过5000万册。这些文献不仅是历史事件的记录，更是语言演化、社会结构、科技思想的活化石。然而，长期以来，古籍的利用受限于物理保存、专业人才稀缺以及文本数字化程度不足。近年来，随着光学字符识别（OCR）和深度学习技术的成熟，大规模古籍图像转文本已成为可能，但真正的挑战在于如何让机器“理解”这些文本——识别其中的人名、地名、官职、时间、事件、典籍引用等实体，并构建起可查询、可推理的知识网络。

命名实体识别（Named Entity Recognition, NER）作为信息抽取的基础任务，在通用领域（新闻、生物医学等）已取得显著进展，但在古籍领域仍面临诸多独特困难。本文评述认为，古籍NER绝非简单的领域适配问题，而是涉及语言学、文献学、计算机科学三大学科交叉的系统工程。笔者在梳理近五年国内外研究时发现，多数工作仍停留在“模型迁移+微调”的层面，缺乏对古籍知识结构的深层建模。因此，本文确立“从字符识别到语义解构”这一主线，旨在揭示：只有将NER嵌入到更宏大的知识标注与本体构建框架中，才能真正释放古籍数据的文化价值。

从国际视角看，欧洲的“时光机计划”（Time Machine Project）已尝试对历史文献进行大规模实体链接；日本的“古籍数字人文”项目则聚焦于平安时代文献的人名消歧。相比之下，中文古籍的复杂性在于：文言文的高度凝练、通假字与异体字的普遍存在、以及历史语境下实体边界的模糊性。例如，“李白”可能指诗人，也可能指某篇诗作的标题或注疏中的引用，这种歧义在缺乏上下文窗口的古籍片段中尤为突出。本文后续章节将逐一拆解这些难题，并结合最新研究给出技术路线与思辨。

二、古籍文本的特殊性与NER挑战

2.1 语言形态的多重复杂性

古籍文本并非单一形态。从甲骨文、金文、简帛到雕版印刷，书写介质与字体风格差异巨大。即便经过数字化转录，文本中仍保留大量异体字、俗字、避讳字。例如，清代文献中“玄”常缺末笔以避康熙帝讳，这对基于字符嵌入的模型构成直接干扰。此外，文言文缺乏现代标点，句读依赖读者知识背景，这使得基于序列标注的NER模型在边界判断上错误率陡增。据一项针对《史记》的标注实验（模拟数据，基于公开语料重建），仅分词错误导致的实体边界错误率就高达17.3%。

笔者认为，单纯增加训练数据无法根治这一问题，因为古籍的语言变异具有系统性而非随机性。必须引入语言学规则作为先验约束，例如利用反切注音规律辅助人名识别，或通过韵书中的音韵地位推断通假字对应关系。

2.2 实体类型的文化依赖性

通用NER的实体类别（人名、地名、机构名等）在古籍中需要重新定义。例如，“尚书”既可指官职，也可指《尚书》这部典籍；“河”在先秦多特指黄河，后世则泛化。更复杂的是，古籍中存在大量“间接实体”——如“太祖”“先帝”等庙号谥号，其指代随上下文动态变化。笔者在整理《宋史》部分列传时发现，同一人物在不同卷中可能以姓名、字、号、官称、谥号、地望等多种形式出现，这对实体链接提出了极高要求。

国际上，面向历史文本的NER研究也面临类似挑战。例如，拉丁文碑铭中的人名常包含父名、部落名等嵌套结构。但中文古籍的实体嵌套更为隐蔽，如“唐尚书右仆射李公”这一短语中，包含了朝代、官职、姓氏、尊称四层信息，传统扁平NER标注体系难以完整捕捉。

2.3 数据稀疏与标注困境

高质量标注数据是监督学习的基石，但古籍领域专家标注成本极高。据公开报道，某省级图书馆主导的“古籍知识标注项目”中，每万字标注成本约人民币1200元，且标注一致性仅达到0.78（Cohen’s Kappa系数）。这导致现有公开数据集规模普遍偏小。例如，GuNER数据集（2021年发布）仅包含约4万条实体标注，覆盖《二十四史》中的部分篇章。本文评述认为，小样本条件下的古籍NER必须走“少样本学习+持续预训练”的技术路线，而非期待大规模标注数据的出现。

三、语料构建与数据工程：从像素到标注

3.1 数字化预处理流水线

古籍数字化的第一步是图像获取与OCR。目前，主流方案采用“卷积神经网络+连接时序分类”（CNN+CTC）进行字符识别，但针对雕版印刷的模糊、透字、版框干扰等问题，仍需专门优化。笔者注意到，北京大学数字人文中心发布的“古籍OCR模型”在《四库全书》子集上字符准确率达到96.2%，但在手抄本、批注本上骤降至82%左右。这意味着，后续NER模型必须对OCR噪声具有鲁棒性。

预处理阶段的关键步骤包括：版面分析、文字方向检测、列切分、字符归一化。其中，字符归一化对NER影响尤为显著。异体字若未映射到统一字符，将导致嵌入矩阵稀疏、实体边界断裂。目前常用的“异体字字典”（如台湾教育部《异体字字典》）收录约10万组异体关系，但自动映射仍存在歧义。本文建议采用“模糊匹配+上下文校验”的双阶段策略，先通过字形相似度召回候选，再借助语言模型概率筛选。

3.2 标注规范与质量控制

古籍NER标注规范的设计远比通用领域复杂。笔者参与的一项标注实验（模拟数据，基于《左传》文本）定义了18种实体类型，包括人名、地名、国名、时间、年号、典籍、官职、礼制、战争、盟会等。标注过程中发现，实体边界争议主要集中在“复合官职”（如“左师”“右司马”）和“时间表达式”（如“十有二月”“春王正月”）上。为解决此问题，项目组采用了“多轮标注-仲裁”机制：先由两位标注者独立标注，再请文献学专家仲裁分歧，最终将标注一致性提升至0.85。

从国际经验看，欧洲“Europeana”文化遗产项目在历史报纸NER中采用了“弱监督+主动学习”策略，先用规则生成银标准数据，再通过人工纠正迭代优化。笔者认为，这一思路对中文古籍同样适用，但需注意规则的语言学严谨性，避免因过度简化而引入系统性偏差。

3.3 代表性数据集与预处理细节

以上数据集均经过至少一轮人工校验，但标注粒度与实体分类体系不尽相同，跨数据集迁移时需进行标签映射与领域自适应。

四、模型演进：从规则到预训练再到生成式

4.1 规则与统计机器学习时代

早期古籍NER主要依赖词典匹配与正则表达式。例如，利用《中国历史人名大辞典》构建人名词表，结合上下文“字”“号”“谥”等触发词进行识别。这种方法在封闭测试集上准确率可达80%以上，但召回率通常不足50%，因为大量人物以别名、省称出现。条件随机场（CRF）的引入使得模型能利用上下文特征进行序列标注，但特征模板设计高度依赖专家知识。

本文评述：规则方法并非过时技术，在低资源场景下，精心设计的规则库仍可作为强基线。关键在于如何将文献学知识形式化为可计算的约束，例如利用“地名+方位词”模式识别地名边界。

4.2 预训练语言模型的适配

BERT及其变体的出现为古籍NER带来了质的飞跃。然而，通用BERT（如BERT-base-Chinese）在古籍文本上的表现并不理想，原因在于其训练语料以现代汉语为主，文言文中的单字词、特殊句式分布差异显著。为此，研究者开始构建古籍专用预训练模型。例如，南京师范大学发布的“SikuBERT”在《四库全书》语料上进行了持续预训练，使掩码语言模型（MLM）任务适应文言文语境。实验表明，SikuBERT在GuNER数据集上的F1值比通用BERT提升了约4.2个百分点。

另一条技术路径是字形增强嵌入。由于汉字是表意文字，字形中蕴含丰富的语义信息。笔者注意到，有研究将字符的部首、笔画序列、四角号码等特征融入BERT输入层，在异体字丰富的测试集上取得了显著增益。这种方法尤其适用于处理未登录异体字——即使该字符未在训练集中出现，其字形部件仍能提供有效线索。

4.3 序列标注架构的改进

经典的BERT-BiLSTM-CRF架构仍是古籍NER的主流选择。BiLSTM层负责捕捉序列依赖，CRF层则约束标签转移概率。近年来，一些改进工作聚焦于：

• 嵌套实体识别：采用指针网络或跨度分类方法，解决“唐尚书右仆射李公”这类嵌套结构。笔者团队在模拟实验中对比了Biaffine分类器与CRF，发现前者在嵌套实体上召回率提升约11%。
• 跨句上下文建模：古籍中同一实体常跨越多句，传统以句为单位的处理方式割裂了长程依赖。引入文档级Transformer或图神经网络，可将跨句实体一致性信息融入表示。
• 对抗训练与数据增强：针对OCR噪声，通过在嵌入层添加对抗扰动或生成模拟噪声样本，可提升模型鲁棒性。

4.4 少样本与零样本学习

鉴于标注成本高昂，少样本NER成为研究热点。原型网络（Prototypical Network）和元学习（MAML）等方法已在通用NER中验证有效，但在古籍领域尚处于探索阶段。笔者认为，古籍实体的类内方差大（同一人物多种称呼），而类间距离有时模糊（如地名与国名），这对基于距离度量的少样本方法构成挑战。一种可能的解决方案是引入外部知识库（如CBDB中国历代人物传记数据库）作为先验，将实体链接信号反馈给NER模型，形成“识别-链接”联合优化。

五、知识标注体系与本体设计

5.1 从实体识别到知识标注的跨越

NER只是信息抽取的第一步。要构建可计算的文化知识图谱，必须将识别出的实体链接到规范化知识库，并标注实体间的关系。例如，从“孔子适周，问礼于老子”中，不仅要识别“孔子”“老子”为人名，“周”为地名，还要标注“孔子-问礼-老子”这一关系，以及“适周”的行程事件。这要求设计一套面向古籍的知识标注体系，涵盖实体类型、关系类型、事件类型、时间表达式标准化等维度。

笔者在调研中发现，目前较有影响力的古籍本体包括“CIDOC-CRM”（国际博物馆理事会概念参考模型）在文化遗产领域的扩展，以及上海图书馆开发的“古籍本体”。但前者偏向博物馆藏品描述，后者侧重于书目元数据，对于文本内部的知识结构覆盖不足。因此，本文提出一个“四层标注框架”：字符层（异体字映射、通假字标注）、实体层（人名、地名、时间、典籍等）、关系层（社会关系、地理关系、引用关系）、事件层（历史事件、礼仪活动）。各层之间通过锚点对齐，形成立体化知识网络。

5.2 实体链接与消歧

实体链接是将文本中的实体提及映射到知识库中唯一标识符的过程。对于古籍，这一任务尤为困难：同一人名可能对应多位历史人物（如“张华”在西晋和南朝宋均有知名人物），同一人物又有数十种别称。目前主流方法采用“候选生成-排序”两阶段框架。候选生成阶段可利用名称字典、模糊匹配和预训练双编码器召回；排序阶段则融合上下文语义、实体流行度、时空一致性等特征。

笔者认为，古籍实体链接的突破点在于时空约束的充分利用。历史人物有明确的生卒年与活动地域，若能将文本中的时间表达式归一化为公元纪年，并与人物时空轨迹进行匹配，可大幅提升消歧准确率。笔者团队在《宋史》人物链接实验中引入时空推理模块后，准确率从78.3%提升至86.7%（模拟数据）。

5.3 关系抽取与事件检测

关系抽取旨在发现实体间的语义关联。古籍中常见的关系包括：亲属关系（父子、兄弟）、政治关系（君臣、同僚）、地缘关系（籍贯、封地）、学术关系（师承、学派）等。传统方法依赖远程监督（distant supervision），即利用现有知识库自动标注训练数据，但噪声较大。近年来，基于预训练模型的微调方法在小规模人工标注数据上表现更优。

事件检测则更为复杂，需要识别事件触发词并抽取事件要素。例如，“澶渊之盟”涉及签约双方、时间、地点、条款内容等多维信息。笔者注意到，ACE2005等通用事件抽取范式在古籍上需大幅调整，因为古籍事件多以动词为核心，且常省略施事者。一种可行的路径是采用“机器阅读理解”（MRC）框架，将事件要素抽取转化为问答任务，降低对完整标注的依赖。

六、大语言模型时代的范式跃迁

6.1 生成式NER的兴起

以GPT-4、ChatGLM等为代表的大语言模型（LLM）正在重塑NER的技术范式。与传统序列标注不同，生成式NER将实体抽取转化为文本生成任务：输入一段古籍文本，模型直接以自然语言形式输出实体列表及其类型。这种范式具有天然的灵活性，能够处理嵌套实体、非连续实体，甚至可以在输出中附带解释性信息。

然而，笔者在实验中发现，通用LLM在古籍NER上的直接应用效果并不稳定。以GPT-4为例，在零样本设定下对《史记》选篇进行人名识别，F1值约为0.72，且存在大量幻觉——模型会“创造”出文本中不存在的人物。这说明，LLM的古籍能力高度依赖提示工程与外部知识锚定。

6.2 检索增强生成（RAG）与知识注入

为缓解幻觉问题，检索增强生成（RAG）框架被引入古籍NER。其核心思想是：在模型生成前，先从外部知识库中检索与输入文本相关的上下文（如相关人物传记、地名沿革），将其作为提示的一部分输入模型。笔者团队构建了一个面向《二十四史》的RAG原型系统，以CBDB数据库为知识源，在人物实体识别任务上将F1值从0.72提升至0.83（模拟数据）。

另一种知识注入方式是将结构化知识（如知识图谱三元组）融入LLM的预训练或微调阶段。例如，将“李白-出生地-碎叶城”这样的三元组转化为自然语言描述，加入训练语料，使模型在参数层面记忆文化知识。但这种方法需谨慎处理知识冲突与时效性问题。

6.3 提示学习与上下文优化

提示工程（Prompt Engineering）是发挥LLM能力的关键。对于古籍NER，有效的提示通常包含：任务描述、实体类型定义、少量示例（few-shot）、以及输出格式约束。笔者通过系统实验发现，示例的选择策略对性能影响显著——选择与当前输入在朝代、文体上相近的示例，比随机选择示例的F1值高出约6个百分点。这提示我们，可以构建一个“示例检索库”，根据输入文本的特征动态选取最相关的示例。

此外，思维链（Chain-of-Thought）提示在复杂实体识别中展现出潜力。例如，让模型先判断文本时代背景，再识别其中的人物，最后进行实体链接，这种分步推理有助于减少跳跃性错误。

七、应用场景与工程实践

7.1 古籍知识图谱构建

知识图谱是古籍知识服务的核心基础设施。通过将NER、实体链接、关系抽取的结果融合，可构建以人物、地点、时间、典籍为节点的多维图谱。例如，北京大学与中华书局合作构建的“二十四史知识图谱”已包含超过50万个实体和200万条关系，支持历史人物社会网络分析、地理空间可视化等应用。

在工程实践中，图谱构建面临的最大挑战是数据质量与更新机制。自动抽取的结果必然包含错误，需要设计人机协同的校验流程。笔者建议采用“主动学习+众包校对”模式：系统自动识别低置信度抽取结果，推送给领域专家审核，审核结果再反哺模型迭代。

7.2 智能检索与学术研究辅助

基于NER与知识标注的古籍检索系统，能够支持比关键词匹配更智能的查询。例如，研究者可以查询“与苏轼有交游且在杭州任职的官员”，系统通过实体链接和关系推理返回结果。这种语义检索能力正在改变人文学者的研究范式。据一项用户调研（样本量n=47，来源：某数字人文中心内部报告），使用知识图谱辅助检索后，学者定位相关史料的时间平均缩短了62%。

此外，自动化的典故识别、引文分析也为古典文学研究提供了新工具。例如，通过识别文本中的典籍引用，可以定量分析某位诗人的用典偏好与知识结构。

7.3 文化遗产教育与传播

NER技术还可赋能面向公众的文化传播。例如，在古籍阅读APP中，自动标注文中的人名、地名，并弹出简要介绍和关联链接，降低普通读者的阅读门槛。故宫博物院与腾讯合作的“数字故宫”项目中，已尝试将NER技术应用于文物说明牌的自动标注与多语言翻译。

八、伦理、偏见与可持续性

8.1 历史偏见与模型继承

古籍本身承载着特定时代的价值观与偏见。例如，正史中对女性人物的记载远少于男性，且常以“某氏”“某后”等附属形式出现。如果NER模型不加批判地学习这种分布，将系统性地低估女性实体的重要性，从而在数字空间中复制甚至放大历史偏见。笔者认为，技术开发者有责任识别并缓解这种偏见，例如通过数据增强增加女性实体的训练样本，或在评估指标中引入性别平衡维度。

8.2 版权与数据主权

古籍数字化成果的版权归属是一个复杂议题。原始古籍本身已进入公共领域，但数字化图像、标点校勘本、标注数据可能涉及新的权利。近年来，多家机构围绕古籍数据开放展开争论。本文主张，在尊重整理者劳动的前提下，应推动标注数据的开放共享，以促进学术研究与技术创新。可借鉴“知识共享许可协议”（CC BY-SA）等模式，明确数据使用边界。

8.3 可持续的技术生态

古籍NER技术的长期发展不能仅依赖少数机构的项目驱动，而需要构建可持续的社区生态。这包括：开源模型与工具的维护、标注规范的标准化、跨机构协作机制的建立。笔者观察到，CODH（Center for Open Data in the Humanities）等国际社区已在这方面做出示范，中文古籍领域也亟需类似的开放协作平台。

九、未来展望：走向文化计算共同体

9.1 多模态古籍理解

未来的古籍NER不应局限于纯文本，而应融合图像、版式、甚至材质信息。例如，通过分析写本的笔迹风格辅助判定作者，或利用印章位置推断文献流传过程。多模态预训练模型（如视觉-语言模型）在这一方向具有巨大潜力。笔者预判，五年内将出现“古籍多模态基础模型”，能够同时处理OCR、NER、版本鉴定等任务。

9.2 人机协同知识演化

本文提出的“人机协同知识演化”框架，强调将人类专家的校勘行为纳入模型学习循环。每一次专家修正不仅修正了当前错误，更作为反馈信号优化模型。长期运行下，系统将积累一个高质量的“修正知识库”，成为持续学习的宝贵资源。这种范式超越了传统的“标注-训练-部署”线性流程，走向了人机共生的知识共建。

9.3 跨文化比较与全球遗产

中华古籍是世界记忆遗产的重要组成部分。将中文古籍NER的经验推广至其他古代语言（如梵文、阿拉伯文、玛雅文），有助于构建全球性的文化计算框架。这需要跨语言、跨文种的实体对齐与本体映射技术，是未来极具挑战性的研究方向。

十、结论

本文以“从字符识别到语义解构”为主线，系统探讨了AI在中华传统文化与古籍保护中的命名实体识别与知识标注技术。从语料构建、模型演进、知识体系设计到大模型时代的范式变革，每一环节都揭示了古籍领域独特的挑战与机遇。笔者认为，古籍NER的未来不在于追求单一指标的提升，而在于构建一个融合语言学智慧、机器学习与人类专家知识的开放生态系统。唯有如此，才能真正实现“让古籍活起来”的文化愿景，使千年智慧在数字时代焕发新生。