研究:叙事包装可跨语言绕过 LLM 拒答
提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱
- arXiv
- 2610.11005
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-1.7B、Qwen3-4B、GLM-4-9B
摘要GUISE 分开测包装与语域。
作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
提出 GUISE 基准与 AXIS 训练,防御叙事包装越狱
作者测量叙事包装下的拒答失效,并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是:安全对齐模型拒绝直说的有害请求,却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。
提出 SafeBridge,对齐循环语言模型不同循环深度的安全性
提出审计感知遗忘框架 AVCE,从文本与视觉通路擦除扩散模型概念
AVCE 是面向扩散模型的概念擦除方法,要让擦除经得起绕过文本条件的潜空间审计,而不只是挡住对抗提示词。
形式化 watchman 防御以阻止序贯马赛克攻击
这篇工作同时给出序贯马赛克防御的博弈理论,以及冻结 LLM 上的分角色自博弈训练。
提出 SSRFT,用角色监督内化安全原则以替代拒答式对齐
SSRFT是一种用监督微调把预定义安全角色写进参数的安全对齐方法。作者称它是首个以安全角色内化本身为对齐目标的框架。
提出 Target-free LAT,用无目标多方向潜干预做对抗安全对齐以抵御越狱
Target-free LAT 是一种不监督有害输出的潜空间对抗对齐。它要处理的问题是:现有 LAT 每步大多只造一种有害行为,对不上真实越狱里的直接遵从、角色扮演、编码和多语言等模式。
提出 Intent-Privilege OPSD,蒸馏证据化意图以对齐视觉语言模型的安全与有用
Intent-Privilege OPSD 针对视觉语言模型的跨模态隐式风险,把安全与有用性放进同一个训练目标,并要求部署时不再看意图。图像和文本可以各自无害、合在一起才有风险。
提出 ACTR,只更新安全思考神经元以对齐推理与回答的安全类别
提出 EOPSA,用 TRR 截断与安全类过滤做在策略自蒸馏安全对齐
提出 SafeMol,联合对齐分子多模态模型的文本与图输入
SafeMol 研究分子多模态模型在危险分子相关请求上的安全对齐,并同时看过拒和任务效用。
提出 AnchorRep,用 LoRA 推离有害提示表征以防御跨模型越狱迁移
提出 AEGIS,用中层内部信号选择性激活后层适配器拦截音频越狱
提出 PALS,用潜空间平滑防御全双工语音对话的对抗扰动
提出 AUDIT PLAN 先计划后作答,并用 FAITHGATE 绑定答案奖励与计划正确性
AUDIT PLAN 把安全对齐从“只优化最终答案”改成“先提交隐藏的结构化安全计划,再按该计划作答”,并用 FAITHGATE 把高答案奖励限定在计划正确时。
提出 Cunning 两阶段训练,用非安全数据培养警觉后再做安全对齐
Cunning 是一种两阶段对齐:先用与安全目标不绑定的推理陷阱题培养 vigilance,再接常规安全微调,使安全判断更常在有害计划之前控制回复。
提出 ReSO ,对齐潜在道德表征以提升越狱条件下的安全泛化
ReSO 把对齐目标从偏好回答改成道德分类的潜在关系。。
提出 SEAL,在 MoE 共享专家上做 DPO-LoRA 对齐以抵御越狱与权重篡改
SEAL是面向混合 MoE 的训练时防御:只对齐始终执行的共享专家,使安全不依赖路由器是否把 token 送到安全专家。
提出 Safin-1,以可路由 Safety State 在冻结主干上实现内在安全
提出 WIFA 意图组监督微调,缓解包装式越狱与过度拒答
WIFA 是一种自动意图组数据构造,用来让安全微调拒绝有害意图而不是拒绝表面包装。WIFA-Boost 与 A-GCRT 在同一数据层上选取不同的安全–过拒工作点。
把批量提示当作越狱攻击,提出 batch-aware DPO 缓解
这篇工作检查一种本用于省推理成本的输入结构:把多个问题一次送进对齐后的 LLM,安全拒答是否还和单问时一样。