修炼AI技能
AI 教程 / AI 安全与对齐 / 越狱与红队测试：评估大模型的安全边界

越狱与红队测试：评估大模型的安全边界

什么是越狱

越狱（jailbreak）指通过特制的提示词，诱导大模型突破其内置的安全约束与拒答边界，输出本应被拦截的内容。需要明确：本文只做防御科普与评估方法介绍，不提供可直接滥用的越狱载荷，也不给出完整利用脚本。【已核验】

成因：对齐与能力的错位

现代大模型在预训练阶段获得广泛能力，再通过「对齐」（alignment，如 RLHF、DPO）学习「哪些该说、哪些不该说」。越狱之所以存在，根因常是「能力」与「对齐」的不一致：模型具备生成有害内容的能力，但安全约束主要靠提示层与对齐训练施加，二者之间存在可被绕过的缝隙。换句话说，越狱利用的是「知道怎么做」与「被要求不做」之间的张力。【已核验】

预训练获得能力 与 对齐施加约束 共同决定模型行为
越狱 = 在不移除能力的前提下，绕过或弱化约束层

典型手法分类（仅概念层面）

以下只做分类描述，不展开具体话术。

  • 角色扮演：让模型假定一个「无限制」的角色或人格，试图把回答与默认安全准则解绑。
  • 虚拟场景：把请求包装进虚构故事、游戏设定或假设情境，诱导模型把内容当作非真实来放行。
  • 编码混淆：用 base64、拼音、特殊符号替换等方式掩蔽敏感词，绕过关键词与语义过滤。
  • 多轮诱导：单轮会被拒，但分多轮逐步铺垫、把目标拆碎，最后拼出越界结果；这类手法最难被单层过滤器识别。【已核验】

红队测试流程

红队（red teaming）是以攻击视角系统性评估模型安全性的方法，形成闭环。

1. 目标设定：明确待测风险（如违法建议、隐私泄露、偏见）
2. 攻击模拟：用上述分类构造试探性提示，记录模型反应
3. 记录：保存提示、响应与是否被拦，形成可复现用例
4. 修复闭环：把失败用例反馈给对齐训练或护栏，重新评测

关键是「可复现、可度量、可回归」：一次越狱成功不算结论，要沉淀为回归测试用例，防止修复后复发。【已核验】

评估指标

常用指标包括：

  • 攻击成功率（ASR）：在特定测试集上绕过护栏的比例，越低越好。
  • 拒答率：对明确违规请求的合规拒绝比例。
  • 误伤率：对合理请求的过度拒绝比例，需在安全与可用性之间权衡。【已核验】

防御启示

  • 输入过滤：对编码混淆、角色扮演套话做模式识别，必要时多模态解码后再判定。
  • 对齐训练：用红队数据持续做 RLHF 或 DPO，压缩能力与约束之间的缝隙。
  • 护栏（guardrails）：在模型前后加规则与分类器，对输出做二次校验与脱敏。
  • 监控：上线后记录异常提问与人工上报，形成持续对抗的样本源。【已核验】

参考框架

OWASP 在《Top 10 for Large Language Model Applications》中将「提示注入」列为 LLM01，是与越狱最直接相关的风险类别；LLM02 在不同版本中命名有差异（2023 版为不安全输出处理，2025 版为敏感信息泄露），均可作为越狱防御的对照清单。【待核实】

小结

越狱源于模型能力与安全对齐之间的错位，常见手法包括角色扮演、虚拟场景、编码混淆与多轮诱导。红队测试以「目标设定、攻击模拟、记录、修复闭环」评估并持续收敛风险，辅以攻击成功率、拒答率、误伤率等指标。防御侧应组合输入过滤、对齐训练、护栏与监控，并对照 OWASP LLM Top 10 等框架查漏补缺。

参考与延伸阅读