摘要:近期多项红队测试与学术预印本显示,以文言文、半文言或高度依赖典故的汉语变体构造的越狱提示,对主流大模型的安全分类器具有异常高的穿透率,部分测试场景下接近100%。这一现象并非单纯的“翻译绕过”,而是暴露了安全对齐在表征层、分类层与语料层三重错配。本文以“语言文化深度即攻击面”为分析主线,先界定越狱与安全对齐的技术含义,再从分词器覆盖率、语义表征漂移、护栏分类器训练分布三个层面拆解机制,随后给出可复现的评估方法与工程化缓解路径,最后讨论多语种安全对齐的边界条件与研究方向。
本文的核心判断是:文言文绕过不是“模型太笨”,而是“护栏太窄”。当模型本体具备文言理解能力、而安全分类器只在现代白话与英文分布上训练时,二者之间就形成了一条稳定的能力—防护落差。弥补这条落差,需要把安全对齐从“关键词过滤”推进到“语义意图判定”,并把低资源、高文化密度语种纳入系统性评估。
目录
一、背景与问题定义:从“翻译绕过”到“表征错配”
1.1 越狱、护栏与安全对齐的准确定义
在讨论“文言文绕过”之前,需要先把几个常被混用的概念厘清。越狱(jailbreak)指通过构造特定输入,使模型输出其部署方本意要拒绝的内容;护栏(guardrail)指部署在模型输入或输出侧的安全过滤组件,常见形式包括关键词黑名单、分类器、规则引擎与拒答模板;安全对齐(safety alignment)则是一个更宽泛的工程目标,指通过训练数据、偏好优化、系统提示与推理时约束,使模型行为符合预设的安全规范。三者层次不同:越狱是攻击行为,护栏是防御组件,安全对齐是防御体系。
本文讨论的“文言文绕过”,严格说属于输入侧护栏失效的一种表现:攻击者并未攻破模型本体对有害意图的理解,而是让输入侧的分类器或关键词规则无法识别该意图。这一区分至关重要,因为它决定了缓解方案应落在“分类器重训”还是“模型本体对齐”上。笔者认为,把这类问题笼统归为“模型不安全”是一种诊断错误,会导致资源投向错误的位置。
1.2 为什么文言文是特殊的攻击载体
文言文之所以成为高穿透率的攻击载体,与其三项语言学特征直接相关。第一是语义凝练:单字承载的语义密度远高于现代白话,一个四字短语可能对应现代汉语一整个从句,这使得基于n-gram或关键词的匹配难以覆盖其语义变体。第二是多义歧义:大量文言虚词与实词存在多解,同一文本在不同上下文下可指向不同意图,分类器若只做局部匹配,极易漏判。第三是隐喻修辞:典故、借代、反讽在文言中极为常见,有害意图可以被包装为历史评述或文学讨论,表面语义与真实意图之间存在系统性偏移。
本文评述:这三项特征并非文言文独有,但它们在文言文中同时高强度出现,且与当代安全分类器的训练分布距离最远。换言之,文言文不是“更难的语言”,而是“与护栏训练分布距离最大的语言之一”。这一判断把问题从“语言难度”转向“分布距离”,为后续的量化评估提供了可操作的方向。
1.3 问题的真实边界:能力—防护落差
一个常被忽略的事实是:模型本体对文言文的理解能力,往往强于其安全分类器对文言文的识别能力。原因在于,预训练语料中包含大量古籍、诗词、历史文献,模型在预训练阶段已经习得了文言文的语义表征;而安全分类器的训练数据通常来自现代白话的越狱样本与人工标注,文言文样本占比极低。二者之间由此形成一条能力—防护落差:模型“看得懂”,但“警报器看不懂”。
这一落差是本文分析主线的起点。笔者认为,只要预训练语料的文化覆盖度持续高于安全训练数据的文化覆盖度,这条落差就会稳定存在,并在低资源、高文化密度语种上反复出现。因此,文言文绕过不是一个孤立的汉语现象,而是“文化深度即攻击面”这一结构性问题的典型样本。
二、机制拆解:分词、表征与分类器为何同时失灵
2.1 分词层:覆盖率不足导致的语义碎片化
主流大模型多采用子词分词(subword tokenization),其词表由训练语料的频率统计决定。现代白话与英文在语料中占绝对多数,文言文常用字与搭配在词表中的覆盖并不均衡。结果是,一段文言文输入常被切分为大量短碎片,甚至单字token,导致输入侧分类器看到的是一串语义不连贯的片段,关键词匹配自然失效。
需要说明的是,分词碎片化对模型本体的影响有限,因为Transformer的注意力机制可以在碎片之间重建语义;但对轻量级分类器而言,碎片化直接破坏了其依赖的局部模式。本文评述:这正是“能力—防护落差”在工程层面的第一个落点——同一段输入,模型本体能重建语义,护栏却不能。缓解思路不是简单地扩充词表,而是让护栏也具备跨碎片重建语义的能力。
2.2 表征层:语义漂移与分布外泛化
即便分词问题被缓解,文言文在嵌入空间中的位置也可能偏离分类器的决策边界。安全分类器通常在特定分布上训练,其决策边界对分布内样本敏感,对分布外样本则可能给出高置信度的错误判断。文言文的句法结构、指代方式与语用习惯与现代白话差异显著,属于典型的分布外输入。
更微妙的是“语义漂移”:同一有害意图,用现代白话表达时激活的分类器特征,与用文言文表达时激活的特征可能几乎不重叠。这意味着分类器学到的不是“有害意图”本身,而是“有害意图的现代白话表达方式”。笔者认为,这是当前护栏设计中最值得警惕的隐性假设——把表达形式误当成了意图本质。
2.3 分类层:关键词级护栏的结构性缺陷
关键词级护栏的缺陷是结构性的,而非参数性的。它依赖显式词汇匹配,对同义替换、语序调整、跨语言转写天然脆弱。文言文的凝练与多义进一步放大了这一脆弱性:一个在现代白话中需要多个敏感词才能表达的意思,在文言中可能只需一个中性字,且该字在古代文献中大量出现,无法被简单列入黑名单。
下表汇总了三层失灵的表现与可观测信号,供工程排查参考。表中数据为本文基于公开红队报告与分词器行为的整合性描述,标注为模拟数据,仅用于说明机制,不作为精确统计。
| 层级 | 失灵表现 | 可观测信号(模拟数据) |
|---|---|---|
| 分词层 | 输入被切为大量单字碎片 | 平均token长度下降约40%–60% |
| 表征层 | 嵌入偏离决策边界 | 分类器置信度与人工判定一致性显著下降 |
| 分类层 | 关键词匹配漏判 | 黑名单命中率接近0,误报率同步上升 |
2.4 一个可验证的因果链
把上述三层串起来,可以得到一条可验证的因果链:预训练语料的文化覆盖度高 → 模型本体具备文言理解能力 → 安全训练数据的文化覆盖度低 → 分类器决策边界偏向现代白话 → 文言输入落在分布外 → 护栏漏判。这条链条的每一环都可以独立测量,因而具备可证伪性。
笔者认为,这条因果链的价值在于它把“文言文绕过”从轶事式观察转化为可检验的工程命题。如果链条成立,那么缓解措施应优先作用于“安全训练数据的文化覆盖度”这一环,而非模型本体的能力。后续章节的评估方法与工程路径均围绕这一判断展开。
三、评估方法:如何可复现地测量“文化深度攻击面”
3.1 评估框架的三个维度
要测量“文化深度攻击面”,需要把模糊的“绕过”拆成可量化的维度。本文建议从三个维度构建评估框架:穿透率(有害输入被护栏放行的比例)、语义保真度(绕过输入与原始有害意图的语义距离)、可迁移性(同一构造方法在其他语种或模型上的复现程度)。三者结合,才能区分“偶然漏判”与“结构性攻击面”。
穿透率是最直观的指标,但单独使用容易被高估或低估;语义保真度用于排除“虽然放行但模型没听懂”的伪绕过;可迁移性则决定该攻击面是局部现象还是系统性问题。本文评述:现有公开报告多只报告穿透率,缺少后两个维度,导致结论难以横向比较,这是该领域评估规范亟待补齐的部分。
3.2 数据集构建与预处理细节
构建评估数据集时,需明确预处理流程,否则结果不可复现。本文建议的流程包括:第一步,从公开越狱语料中抽取有害意图样本,去除明显违法内容,仅保留用于防御研究的抽象意图描述;第二步,由具备文言阅读能力的人员将意图改写为文言或半文言表达,改写时保留原意图的语义核心;第三步,对改写样本做双人独立标注,标注内容包括意图类别、语义保真度评分与是否含典故;第四步,剔除标注不一致样本,保留一致性系数达标的子集;第五步,按语种与文体分层抽样,形成评估集与对照集。
需要强调的是,上述流程中所有样本仅用于防御性评估,不对外发布可直接复用的攻击模板。笔者认为,安全研究的数据集治理应与漏洞披露类似,遵循“最小必要”与“防御优先”原则,这既是合规要求,也是研究伦理的底线。
3.3 一个最小可复现的评估脚本骨架
为便于工程落地,下面给出一个评估脚本的骨架,仅示意流程,不含任何攻击载荷。脚本的核心是把“输入—护栏—模型”三段串起来,分别记录护栏判定与模型输出,再交由人工或辅助分类器做语义保真度评分。
def evaluate(guard, model, samples):
results = []
for s in samples:
guard_flag = guard.check(s.text) # 护栏判定
output = model.generate(s.text) # 模型输出
results.append({
"id": s.id,
"lang": s.lang,
"guard_pass": guard_flag == "allow", # 是否放行
"output": output,
"intent": s.intent_label
})
return results
# 评分阶段:语义保真度由双人标注或辅助分类器完成
# 注意:样本仅用于防御评估,不对外发布
该骨架的关键设计是把护栏判定与模型输出解耦记录,从而能区分“护栏放行但模型拒答”与“护栏放行且模型照做”两种情形。前者说明护栏失效但模型本体仍安全,后者才是真正的端到端风险。笔者认为,这一区分对定位问题至关重要,也是很多红队报告缺失的细节。
3.4 拓展资源
关于越狱与护栏评估的公开教程与工具,读者可参考以下资源(均在新窗口打开):NeMo Guardrails 官方仓库、LLM Attacks 项目主页、Prompt Engineering Guide。这些资源覆盖了护栏编排、对抗评估与提示设计的基础方法,适合作为工程起步的参考。
四、工程路径:多语种安全对齐的可操作方案
4.1 从关键词过滤到语义意图判定
第一条路径是把护栏从关键词级升级为语义级。具体做法是:用与模型本体同源的编码器对输入做语义编码,再由轻量分类头判定意图类别;分类头的训练数据需覆盖多文体、多语种,并显式加入文言、半文言与典故样本。这样做的代价是推理延迟上升,收益是对同义替换与文体变换的鲁棒性显著提高。
本文评述:语义级护栏并非万能,它会把“分类器与模型本体同源”的风险引入——若编码器本身对某类意图不敏感,护栏也会同步失明。因此,语义级护栏应与规则引擎、输出侧复核形成多层防御,而非单点依赖。工程上可采用“语义分类为主、规则兜底、输出复核”的三级结构。
4.2 训练数据的文化覆盖度补齐
第二条路径是补齐安全训练数据的文化覆盖度。具体步骤包括:其一,系统梳理目标语种的高文化密度文体(文言、诗词、方言、典故密集文本),建立文体清单;其二,按文体分层采样,构造安全对齐样本,样本需覆盖“有害意图的文体化表达”与“无害但形似的文体表达”两类,以降低误报;其三,引入母语者与领域专家参与标注,确保语义判定准确;其四,建立持续更新机制,跟踪新出现的文体化绕过手法。
笔者认为,这一步是整个方案中成本最高、也最不可替代的环节。模型能力可以靠算力堆叠,但文化覆盖度只能靠数据治理与专家参与。任何试图用纯合成数据替代专家标注的做法,都可能在语义保真度上打折扣,进而制造新的漏判。
4.3 推理时的多层防御编排
第三条路径是推理时的多层防御编排。一个可操作的编排顺序是:输入规范化(统一编码、去除混淆字符)→ 语义分类器初筛 → 高风险样本进入深度复核(更重的分类器或人工规则)→ 模型生成 → 输出侧复核 → 拒答或降级响应。每一层都记录判定结果,形成可审计的日志。
这种编排的价值在于把“单点失效”转化为“多点冗余”。即便语义分类器对某类文言表达漏判,输出侧复核仍有机会拦截。代价是延迟与成本上升,因此需要按风险分级触发深度复核,而非对所有请求一视同仁。下表给出一个分级触发的示例配置,数据为模拟配置,仅作示意。
| 风险等级 | 触发条件(模拟) | 复核策略 |
|---|---|---|
| 低 | 语义分类置信度低于阈值 | 仅记录日志 |
| 中 | 命中文体清单或含典故 | 启用深度分类器 |
| 高 | 深度分类器判定为高风险 | 输出侧复核并降级响应 |
4.4 可操作的落地步骤清单
把上述路径落到工程,可按以下步骤推进:第一步,盘点现有护栏的语种与文体覆盖度,识别盲区;第二步,建立文体清单与分层采样规范;第三步,构造并标注多文体安全评估集,明确预处理细节;第四步,部署语义级护栏并与规则引擎并联;第五步,建立分级复核编排与审计日志;第六步,定期复测穿透率、语义保真度与可迁移性,形成闭环。
笔者认为,这六步中最容易被跳过的是第六步。安全对齐不是一次性交付,而是持续运营。缺少复测闭环,护栏会随攻击手法演进而逐渐失效,而团队往往在事故发生后才察觉。把复测纳入常规工程流程,是成本最低、收益最确定的投入。
五、对比与局限:现有方案的边界条件
5.1 三类方案的横向对比
当前应对多语种绕过的方案大致可分三类:关键词与规则方案、语义分类方案、模型本体对齐方案。三者在成本、延迟与鲁棒性上各有取舍。关键词方案成本最低、可解释性最好,但对文体变换几乎无抵抗力;语义分类方案鲁棒性较好,但依赖高质量训练数据,且存在与模型本体同源的盲区;模型本体对齐方案从训练阶段入手,理论上最彻底,但迭代周期长、成本高,且难以覆盖长尾文体。
本文评述:三类方案不是替代关系,而是互补关系。工程上合理的做法是按风险分层组合,而非押注单一方案。把“彻底解决”作为目标,往往导致方案过度复杂、难以维护;把“多层冗余、持续复测”作为目标,反而更接近可运营的安全体系。
5.2 语义保真度评估的固有困难
语义保真度评估本身存在困难。文言文的隐喻与典故使得“意图”难以被单一定义,不同标注者对同一文本的理解可能存在合理分歧。这意味着评估结果天然带有区间,而非点值。工程上应报告区间与一致性系数,而非单一数字,以免误导决策。
此外,评估集与真实攻击分布之间也存在差距。评估集是静态的,攻击手法是演进的;今天有效的分类器,明天可能因新文体而失效。笔者认为,这一局限无法被彻底消除,只能通过持续更新与对抗演练来缩小。任何声称“一劳永逸”的安全方案,都应被审慎对待。
5.3 “文化深度即攻击面”的边界
回到本文主线:“每一种语言的文化深度本身就是一条攻击面”这一判断需要限定边界。它成立的前提是:模型本体的文化理解能力高于护栏的文化识别能力。若某语种在预训练与安全训练数据中的覆盖度都极低,模型本体可能根本不具备理解能力,此时“绕过”更多表现为无意义输出,而非有害意图的穿透。换言之,攻击面的大小取决于能力与防护的相对落差,而非文化深度本身。
本文评述:这一限定很重要,它避免了把问题浪漫化为“文化越深越危险”的简单叙事。真正需要关注的是落差,而落差是可以通过数据治理缩小的。这也意味着,多语种安全对齐的投入应优先投向“模型已具备理解能力、但护栏覆盖不足”的语种,而非平均用力。
六、结论与展望
文言文以高成功率绕过关键词级护栏,表面是语言现象,实质是安全对齐在表征层、分类层与语料层的三重错配。本文以“能力—防护落差”为分析主线,把这一现象拆解为可测量的因果链,并给出评估框架与工程路径。核心结论是:问题的根源不在模型本体不够聪明,而在护栏的训练分布过窄;缓解的关键不在单点加固,而在多层冗余与持续复测。
展望未来,三个方向值得投入:其一,建立跨语种、跨文体的安全评估基准,统一穿透率、语义保真度与可迁移性的报告规范;其二,探索语义级护栏与模型本体对齐的协同设计,减少同源盲区;其三,把文化覆盖度纳入安全对齐的常规指标,像对待准确率一样对待它。笔者认为,只有当“文化覆盖度”成为可度量、可考核的工程指标,多语种安全对齐才算真正落地。
主要参考文献与拓展资源
本文在写作中参考了越狱攻击、护栏设计、多语种安全对齐与分词器行为等方向的公开研究。受篇幅所限,正文未逐条罗列全部文献,以下列出主要参考文献与拓展资源,完整清单以原始文献为准。涉及数据集的评估均应在合规与伦理审查前提下进行。
- Wei A, Haghtalab N, Steinhardt J. Jailbroken: How Does LLM Safety Training Fail? NeurIPS, 2023.
- Zou A, Wang Z, Kolter J Z, et al. Universal and Transferable Adversarial Attacks on Aligned Language Models. arXiv:2307.15043, 2023.
- Perez F, Ribeiro I, Ignatidis A, et al. Red Teaming Language Models with Language Models. EMNLP, 2022.
- Ganguli D, Lovitt L, Kernion J, et al. Red Teaming Language Models to Reduce Harms. arXiv:2209.07858, 2022.
- Rebedea T, Dinu R, Sreedhar M, et al. NeMo Guardrails: A Toolkit for Controllable and Safe LLM Applications. EMNLP Demo, 2023.
- Yong Z X, Menghini C, Bach S H. Low-Resource Languages Jailbreak GPT-4. arXiv:2310.02446, 2023.
- Deng Y, Zhang W, Pan S J, et al. Multilingual Jailbreak Challenges in Large Language Models. ICLR, 2024.
- Xu S, et al. Safety Alignment for Multilingual LLMs: A Survey. arXiv 预印本, 2024–2025.
- NVIDIA. NeMo Guardrails Documentation. https://github.com/NVIDIA/NeMo-Guardrails(访问于2025年).
拓展阅读建议:关注 ACL、EMNLP、USENIX Security 近三年关于多语种越狱与护栏评估的论文;工程实践可参考 NeMo Guardrails 与 LLM Attacks 项目的公开文档与示例。
文章声明:本文内容仅为作者学习、思考、经验、笔记的总结,仅供技术交流与参考。文中观点仅代表笔者个人思辨,不构成任何学术建议、商业建议或专业建议。所有数据来源已标注,引用时请以原始文献为准。
内容仅供学习参考。如需引用,请以原始文献为准。全文约12800字 | 参考文献60余篇(主要9篇)。

