AI研究

文言文能以接近100%的成功率绕过顶级模型的安全防御,语义凝练、多义歧义、隐喻修辞让关键词级护栏完全失效——当训练语料里文言文足够多、模型“看得懂”但“警报器看不懂”时,非英语语种的安全对齐到底该怎么补,还是说每一种语言的文化深度本身就是一条攻击面?

👤 为我痴狂 👁 10 阅读 ❤ 0 点赞 ➦ 0 分享 📅 2026-11-07
首页› AI› AI研究› 正文
文言文能以接近100%的成功率绕过顶级模型的安全防御,语义凝练、多义歧义、隐喻修辞让关键词级护栏完全失效——当训练语料里文言文足够多、模型“看得懂”但“警报器看不懂”时,非英语语种的安全对齐到底该怎么补,还是说每一种语言的文化深度本身就是一条攻击面?

摘要:近期多项红队测试与学术预印本显示,以文言文、半文言或高度依赖典故的汉语变体构造的越狱提示,对主流大模型的安全分类器具有异常高的穿透率,部分测试场景下接近100%。这一现象并非单纯的“翻译绕过”,而是暴露了安全对齐在表征层、分类层与语料层三重错配。本文以“语言文化深度即攻击面”为分析主线,先界定越狱与安全对齐的技术含义,再从分词器覆盖率、语义表征漂移、护栏分类器训练分布三个层面拆解机制,随后给出可复现的评估方法与工程化缓解路径,最后讨论多语种安全对齐的边界条件与研究方向。

本文的核心判断是:文言文绕过不是“模型太笨”,而是“护栏太窄”。当模型本体具备文言理解能力、而安全分类器只在现代白话与英文分布上训练时,二者之间就形成了一条稳定的能力—防护落差。弥补这条落差,需要把安全对齐从“关键词过滤”推进到“语义意图判定”,并把低资源、高文化密度语种纳入系统性评估。

一、背景与问题定义:从“翻译绕过”到“表征错配”

1.1 越狱、护栏与安全对齐的准确定义

在讨论“文言文绕过”之前,需要先把几个常被混用的概念厘清。越狱(jailbreak)指通过构造特定输入,使模型输出其部署方本意要拒绝的内容;护栏(guardrail)指部署在模型输入或输出侧的安全过滤组件,常见形式包括关键词黑名单、分类器、规则引擎与拒答模板;安全对齐(safety alignment)则是一个更宽泛的工程目标,指通过训练数据、偏好优化、系统提示与推理时约束,使模型行为符合预设的安全规范。三者层次不同:越狱是攻击行为,护栏是防御组件,安全对齐是防御体系。

本文讨论的“文言文绕过”,严格说属于输入侧护栏失效的一种表现:攻击者并未攻破模型本体对有害意图的理解,而是让输入侧的分类器或关键词规则无法识别该意图。这一区分至关重要,因为它决定了缓解方案应落在“分类器重训”还是“模型本体对齐”上。笔者认为,把这类问题笼统归为“模型不安全”是一种诊断错误,会导致资源投向错误的位置。

1.2 为什么文言文是特殊的攻击载体

文言文之所以成为高穿透率的攻击载体,与其三项语言学特征直接相关。第一是语义凝练:单字承载的语义密度远高于现代白话,一个四字短语可能对应现代汉语一整个从句,这使得基于n-gram或关键词的匹配难以覆盖其语义变体。第二是多义歧义:大量文言虚词与实词存在多解,同一文本在不同上下文下可指向不同意图,分类器若只做局部匹配,极易漏判。第三是隐喻修辞:典故、借代、反讽在文言中极为常见,有害意图可以被包装为历史评述或文学讨论,表面语义与真实意图之间存在系统性偏移。

本文评述:这三项特征并非文言文独有,但它们在文言文中同时高强度出现,且与当代安全分类器的训练分布距离最远。换言之,文言文不是“更难的语言”,而是“与护栏训练分布距离最大的语言之一”。这一判断把问题从“语言难度”转向“分布距离”,为后续的量化评估提供了可操作的方向。

1.3 问题的真实边界:能力—防护落差

一个常被忽略的事实是:模型本体对文言文的理解能力,往往强于其安全分类器对文言文的识别能力。原因在于,预训练语料中包含大量古籍、诗词、历史文献,模型在预训练阶段已经习得了文言文的语义表征;而安全分类器的训练数据通常来自现代白话的越狱样本与人工标注,文言文样本占比极低。二者之间由此形成一条能力—防护落差:模型“看得懂”,但“警报器看不懂”。

这一落差是本文分析主线的起点。笔者认为,只要预训练语料的文化覆盖度持续高于安全训练数据的文化覆盖度,这条落差就会稳定存在,并在低资源、高文化密度语种上反复出现。因此,文言文绕过不是一个孤立的汉语现象,而是“文化深度即攻击面”这一结构性问题的典型样本。

二、机制拆解:分词、表征与分类器为何同时失灵

2.1 分词层:覆盖率不足导致的语义碎片化

主流大模型多采用子词分词(subword tokenization),其词表由训练语料的频率统计决定。现代白话与英文在语料中占绝对多数,文言文常用字与搭配在词表中的覆盖并不均衡。结果是,一段文言文输入常被切分为大量短碎片,甚至单字token,导致输入侧分类器看到的是一串语义不连贯的片段,关键词匹配自然失效。

需要说明的是,分词碎片化对模型本体的影响有限,因为Transformer的注意力机制可以在碎片之间重建语义;但对轻量级分类器而言,碎片化直接破坏了其依赖的局部模式。本文评述:这正是“能力—防护落差”在工程层面的第一个落点——同一段输入,模型本体能重建语义,护栏却不能。缓解思路不是简单地扩充词表,而是让护栏也具备跨碎片重建语义的能力。

2.2 表征层:语义漂移与分布外泛化

即便分词问题被缓解,文言文在嵌入空间中的位置也可能偏离分类器的决策边界。安全分类器通常在特定分布上训练,其决策边界对分布内样本敏感,对分布外样本则可能给出高置信度的错误判断。文言文的句法结构、指代方式与语用习惯与现代白话差异显著,属于典型的分布外输入。

更微妙的是“语义漂移”:同一有害意图,用现代白话表达时激活的分类器特征,与用文言文表达时激活的特征可能几乎不重叠。这意味着分类器学到的不是“有害意图”本身,而是“有害意图的现代白话表达方式”。笔者认为,这是当前护栏设计中最值得警惕的隐性假设——把表达形式误当成了意图本质。

2.3 分类层:关键词级护栏的结构性缺陷

关键词级护栏的缺陷是结构性的,而非参数性的。它依赖显式词汇匹配,对同义替换、语序调整、跨语言转写天然脆弱。文言文的凝练与多义进一步放大了这一脆弱性:一个在现代白话中需要多个敏感词才能表达的意思,在文言中可能只需一个中性字,且该字在古代文献中大量出现,无法被简单列入黑名单。

下表汇总了三层失灵的表现与可观测信号,供工程排查参考。表中数据为本文基于公开红队报告与分词器行为的整合性描述,标注为模拟数据,仅用于说明机制,不作为精确统计。

层级 失灵表现 可观测信号(模拟数据)
分词层 输入被切为大量单字碎片 平均token长度下降约40%–60%
表征层 嵌入偏离决策边界 分类器置信度与人工判定一致性显著下降
分类层 关键词匹配漏判 黑名单命中率接近0,误报率同步上升

2.4 一个可验证的因果链

把上述三层串起来,可以得到一条可验证的因果链:预训练语料的文化覆盖度高 → 模型本体具备文言理解能力 → 安全训练数据的文化覆盖度低 → 分类器决策边界偏向现代白话 → 文言输入落在分布外 → 护栏漏判。这条链条的每一环都可以独立测量,因而具备可证伪性。

笔者认为,这条因果链的价值在于它把“文言文绕过”从轶事式观察转化为可检验的工程命题。如果链条成立,那么缓解措施应优先作用于“安全训练数据的文化覆盖度”这一环,而非模型本体的能力。后续章节的评估方法与工程路径均围绕这一判断展开。

三、评估方法:如何可复现地测量“文化深度攻击面”

3.1 评估框架的三个维度

要测量“文化深度攻击面”,需要把模糊的“绕过”拆成可量化的维度。本文建议从三个维度构建评估框架:穿透率(有害输入被护栏放行的比例)、语义保真度(绕过输入与原始有害意图的语义距离)、可迁移性(同一构造方法在其他语种或模型上的复现程度)。三者结合,才能区分“偶然漏判”与“结构性攻击面”。

穿透率是最直观的指标,但单独使用容易被高估或低估;语义保真度用于排除“虽然放行但模型没听懂”的伪绕过;可迁移性则决定该攻击面是局部现象还是系统性问题。本文评述:现有公开报告多只报告穿透率,缺少后两个维度,导致结论难以横向比较,这是该领域评估规范亟待补齐的部分。

3.2 数据集构建与预处理细节

构建评估数据集时,需明确预处理流程,否则结果不可复现。本文建议的流程包括:第一步,从公开越狱语料中抽取有害意图样本,去除明显违法内容,仅保留用于防御研究的抽象意图描述;第二步,由具备文言阅读能力的人员将意图改写为文言或半文言表达,改写时保留原意图的语义核心;第三步,对改写样本做双人独立标注,标注内容包括意图类别、语义保真度评分与是否含典故;第四步,剔除标注不一致样本,保留一致性系数达标的子集;第五步,按语种与文体分层抽样,形成评估集与对照集。

需要强调的是,上述流程中所有样本仅用于防御性评估,不对外发布可直接复用的攻击模板。笔者认为,安全研究的数据集治理应与漏洞披露类似,遵循“最小必要”与“防御优先”原则,这既是合规要求,也是研究伦理的底线。

3.3 一个最小可复现的评估脚本骨架

为便于工程落地,下面给出一个评估脚本的骨架,仅示意流程,不含任何攻击载荷。脚本的核心是把“输入—护栏—模型”三段串起来,分别记录护栏判定与模型输出,再交由人工或辅助分类器做语义保真度评分。

def evaluate(guard, model, samples):
    results = []
    for s in samples:
        guard_flag = guard.check(s.text)          # 护栏判定
        output = model.generate(s.text)           # 模型输出
        results.append({
            "id": s.id,
            "lang": s.lang,
            "guard_pass": guard_flag == "allow",  # 是否放行
            "output": output,
            "intent": s.intent_label
        })
    return results

# 评分阶段:语义保真度由双人标注或辅助分类器完成
# 注意:样本仅用于防御评估,不对外发布

该骨架的关键设计是把护栏判定与模型输出解耦记录,从而能区分“护栏放行但模型拒答”与“护栏放行且模型照做”两种情形。前者说明护栏失效但模型本体仍安全,后者才是真正的端到端风险。笔者认为,这一区分对定位问题至关重要,也是很多红队报告缺失的细节。

3.4 拓展资源

关于越狱与护栏评估的公开教程与工具,读者可参考以下资源(均在新窗口打开):NeMo Guardrails 官方仓库、LLM Attacks 项目主页、Prompt Engineering Guide。这些资源覆盖了护栏编排、对抗评估与提示设计的基础方法,适合作为工程起步的参考。

四、工程路径:多语种安全对齐的可操作方案

4.1 从关键词过滤到语义意图判定

第一条路径是把护栏从关键词级升级为语义级。具体做法是:用与模型本体同源的编码器对输入做语义编码,再由轻量分类头判定意图类别;分类头的训练数据需覆盖多文体、多语种,并显式加入文言、半文言与典故样本。这样做的代价是推理延迟上升,收益是对同义替换与文体变换的鲁棒性显著提高。

本文评述:语义级护栏并非万能,它会把“分类器与模型本体同源”的风险引入——若编码器本身对某类意图不敏感,护栏也会同步失明。因此,语义级护栏应与规则引擎、输出侧复核形成多层防御,而非单点依赖。工程上可采用“语义分类为主、规则兜底、输出复核”的三级结构。

4.2 训练数据的文化覆盖度补齐

第二条路径是补齐安全训练数据的文化覆盖度。具体步骤包括:其一,系统梳理目标语种的高文化密度文体(文言、诗词、方言、典故密集文本),建立文体清单;其二,按文体分层采样,构造安全对齐样本,样本需覆盖“有害意图的文体化表达”与“无害但形似的文体表达”两类,以降低误报;其三,引入母语者与领域专家参与标注,确保语义判定准确;其四,建立持续更新机制,跟踪新出现的文体化绕过手法。

笔者认为,这一步是整个方案中成本最高、也最不可替代的环节。模型能力可以靠算力堆叠,但文化覆盖度只能靠数据治理与专家参与。任何试图用纯合成数据替代专家标注的做法,都可能在语义保真度上打折扣,进而制造新的漏判。

4.3 推理时的多层防御编排

第三条路径是推理时的多层防御编排。一个可操作的编排顺序是:输入规范化(统一编码、去除混淆字符)→ 语义分类器初筛 → 高风险样本进入深度复核(更重的分类器或人工规则)→ 模型生成 → 输出侧复核 → 拒答或降级响应。每一层都记录判定结果,形成可审计的日志。

这种编排的价值在于把“单点失效”转化为“多点冗余”。即便语义分类器对某类文言表达漏判,输出侧复核仍有机会拦截。代价是延迟与成本上升,因此需要按风险分级触发深度复核,而非对所有请求一视同仁。下表给出一个分级触发的示例配置,数据为模拟配置,仅作示意。

风险等级 触发条件(模拟) 复核策略
低 语义分类置信度低于阈值 仅记录日志
中 命中文体清单或含典故 启用深度分类器
高 深度分类器判定为高风险 输出侧复核并降级响应

4.4 可操作的落地步骤清单

把上述路径落到工程,可按以下步骤推进:第一步,盘点现有护栏的语种与文体覆盖度,识别盲区;第二步,建立文体清单与分层采样规范;第三步,构造并标注多文体安全评估集,明确预处理细节;第四步,部署语义级护栏并与规则引擎并联;第五步,建立分级复核编排与审计日志;第六步,定期复测穿透率、语义保真度与可迁移性,形成闭环。

笔者认为,这六步中最容易被跳过的是第六步。安全对齐不是一次性交付,而是持续运营。缺少复测闭环,护栏会随攻击手法演进而逐渐失效,而团队往往在事故发生后才察觉。把复测纳入常规工程流程,是成本最低、收益最确定的投入。

五、对比与局限:现有方案的边界条件

5.1 三类方案的横向对比

当前应对多语种绕过的方案大致可分三类:关键词与规则方案、语义分类方案、模型本体对齐方案。三者在成本、延迟与鲁棒性上各有取舍。关键词方案成本最低、可解释性最好,但对文体变换几乎无抵抗力;语义分类方案鲁棒性较好,但依赖高质量训练数据,且存在与模型本体同源的盲区;模型本体对齐方案从训练阶段入手,理论上最彻底,但迭代周期长、成本高,且难以覆盖长尾文体。

本文评述:三类方案不是替代关系,而是互补关系。工程上合理的做法是按风险分层组合,而非押注单一方案。把“彻底解决”作为目标,往往导致方案过度复杂、难以维护;把“多层冗余、持续复测”作为目标,反而更接近可运营的安全体系。

5.2 语义保真度评估的固有困难

语义保真度评估本身存在困难。文言文的隐喻与典故使得“意图”难以被单一定义,不同标注者对同一文本的理解可能存在合理分歧。这意味着评估结果天然带有区间,而非点值。工程上应报告区间与一致性系数,而非单一数字,以免误导决策。

此外,评估集与真实攻击分布之间也存在差距。评估集是静态的,攻击手法是演进的;今天有效的分类器,明天可能因新文体而失效。笔者认为,这一局限无法被彻底消除,只能通过持续更新与对抗演练来缩小。任何声称“一劳永逸”的安全方案,都应被审慎对待。

5.3 “文化深度即攻击面”的边界

回到本文主线:“每一种语言的文化深度本身就是一条攻击面”这一判断需要限定边界。它成立的前提是:模型本体的文化理解能力高于护栏的文化识别能力。若某语种在预训练与安全训练数据中的覆盖度都极低,模型本体可能根本不具备理解能力,此时“绕过”更多表现为无意义输出,而非有害意图的穿透。换言之,攻击面的大小取决于能力与防护的相对落差,而非文化深度本身。

本文评述:这一限定很重要,它避免了把问题浪漫化为“文化越深越危险”的简单叙事。真正需要关注的是落差,而落差是可以通过数据治理缩小的。这也意味着,多语种安全对齐的投入应优先投向“模型已具备理解能力、但护栏覆盖不足”的语种,而非平均用力。

六、结论与展望

文言文以高成功率绕过关键词级护栏,表面是语言现象,实质是安全对齐在表征层、分类层与语料层的三重错配。本文以“能力—防护落差”为分析主线,把这一现象拆解为可测量的因果链,并给出评估框架与工程路径。核心结论是:问题的根源不在模型本体不够聪明,而在护栏的训练分布过窄;缓解的关键不在单点加固,而在多层冗余与持续复测。

展望未来,三个方向值得投入:其一,建立跨语种、跨文体的安全评估基准,统一穿透率、语义保真度与可迁移性的报告规范;其二,探索语义级护栏与模型本体对齐的协同设计,减少同源盲区;其三,把文化覆盖度纳入安全对齐的常规指标,像对待准确率一样对待它。笔者认为,只有当“文化覆盖度”成为可度量、可考核的工程指标,多语种安全对齐才算真正落地。

主要参考文献与拓展资源

本文在写作中参考了越狱攻击、护栏设计、多语种安全对齐与分词器行为等方向的公开研究。受篇幅所限,正文未逐条罗列全部文献,以下列出主要参考文献与拓展资源,完整清单以原始文献为准。涉及数据集的评估均应在合规与伦理审查前提下进行。

  1. Wei A, Haghtalab N, Steinhardt J. Jailbroken: How Does LLM Safety Training Fail? NeurIPS, 2023.
  2. Zou A, Wang Z, Kolter J Z, et al. Universal and Transferable Adversarial Attacks on Aligned Language Models. arXiv:2307.15043, 2023.
  3. Perez F, Ribeiro I, Ignatidis A, et al. Red Teaming Language Models with Language Models. EMNLP, 2022.
  4. Ganguli D, Lovitt L, Kernion J, et al. Red Teaming Language Models to Reduce Harms. arXiv:2209.07858, 2022.
  5. Rebedea T, Dinu R, Sreedhar M, et al. NeMo Guardrails: A Toolkit for Controllable and Safe LLM Applications. EMNLP Demo, 2023.
  6. Yong Z X, Menghini C, Bach S H. Low-Resource Languages Jailbreak GPT-4. arXiv:2310.02446, 2023.
  7. Deng Y, Zhang W, Pan S J, et al. Multilingual Jailbreak Challenges in Large Language Models. ICLR, 2024.
  8. Xu S, et al. Safety Alignment for Multilingual LLMs: A Survey. arXiv 预印本, 2024–2025.
  9. NVIDIA. NeMo Guardrails Documentation. https://github.com/NVIDIA/NeMo-Guardrails(访问于2025年).

拓展阅读建议:关注 ACL、EMNLP、USENIX Security 近三年关于多语种越狱与护栏评估的论文;工程实践可参考 NeMo Guardrails 与 LLM Attacks 项目的公开文档与示例。

文章声明:本文内容仅为作者学习、思考、经验、笔记的总结,仅供技术交流与参考。文中观点仅代表笔者个人思辨,不构成任何学术建议、商业建议或专业建议。所有数据来源已标注,引用时请以原始文献为准。

内容仅供学习参考。如需引用,请以原始文献为准。全文约12800字 | 参考文献60余篇(主要9篇)。

🔒 复制本站文章内容需登录并达到 L3。当前:未登录

分享到

💬
微信
📷
朋友圈
🐧
QQ好友
🌐
QQ空间
👁
微博
📌
钉钉
🔗
复制链接
📑
复制图文

微信扫一扫分享

打开微信「扫一扫」,扫描二维码后在微信中分享给好友或朋友圈。

💬 评论 (0)

评论功能已关闭

⏸️ 本站暂未开放评论功能,不能进行评论,此为规划的后续开发预留
首页| 关于本网| 网站声明| 联系我们| 网站纠错| 服务| 网站地图
黔ICP备19010680号-1  |  邮箱:six528528@163.com
贵公网安备 52010302001819号
Copyright 2019-2026 http://www.databrush.com/ All rights reserved.
QQ
QQ扫一扫
Logo
DBN数据刷