StealthGraph:通过知识图谱引导的有害提示词生成揭示 LLM 的领域特定风险(原文,在新标签页打开)
提出 StealthGraph,合成领域隐式有害提示并评测模型。
提出 StealthGraph,合成领域隐式有害提示并评测模型。
提出 BanglaLorica 分层水印,增强孟加拉语生成文本的水印抗去除能力。
提出 MiJaBench,审计模型对不同群体的越狱防护差异。
提出 SearchAttack,诱导检索增强模型整合网页证据生成可操作输出。
华为研究团队比较内在因素与越狱对 LLM 和 LRM 安全对齐的影响。
提出 RedBench,汇总红队数据集评测对抗提示与过度拒绝。
提出 TFA 与 SVA,抑制 ensemble 后门指纹验证。
Bai et al. 用 RLHF 在人类偏好数据上训练语言模型,证明可同时提升帮助性与无害性,但二者的张力无法完全消除。训练覆盖 13M 到 52B 参数:纯帮助性训练使模型更愿配合有害请求,纯无害性训练则使其变得回避、无用。RLHF 模型比仅用监督微调的模型更抗红队测试,但仍可被多轮操纵和角色扮演攻击突破。
提出 RAILS,仅用 logits 做无梯度无先验后缀优化以越狱并跨模型迁移。
推荐理由论文给出无需梯度与人工先验的越狱优化方法,并在开源与闭源模型上报告攻击成功率与迁移数据,可供红队方法对照。
提出 GAMBIT 游戏化越狱框架,用拼图与竞赛场景攻击多模态模型。
提出 ACL 量化攻击,令模型全精度良性而量化后恶意。
提出两阶段抽出流程,从生产语言模型近逐字抽出版权书籍。
推荐理由论文给出了从四款生产级 LLM 中提取受版权书籍的具体流程与成功率,可用于评估记忆化与输出防护的实际强度。
提出无外部攻击模型的多轮自我越狱方法SLIP。
比较提示抽取与激活探测对推荐系统数据记忆的检出。
提出 ZO-SPSA,以黑盒优化构造视觉对抗输入越狱视觉语言模型。
提出结构 tokenization,检测 Agent 轨迹中的未见攻击族。
提出 Generative Montage,用公开真证据片段诱导智能体采纳虚构因果。
Lin 等人构建的 TruthfulQA 基准发现逆向缩放现象,在人类常见误解普遍的问题上,更大的语言模型反而不如小模型真实。该基准包含 817 个问题,覆盖健康、法律、金融、政治等 38 个类别,专门设计成常见误解会导向错误答案。在生成式设置下,最大的 GPT-3 175B 只有 58% 的回答属实,人类基线为 94%。论文提出“模仿性谬误”概念,指模型生成虚假陈述并非因为缺乏知识,而是因为该虚假说法在训练数据中统计上普遍。研究还发现信息量随规模上升而真实性下降,并引入 GPT-judge 和 GPT-info 自动评估指标。
提出面向渗出的权重压缩,评估推理服务器权重窃取可行性。
用 emoji 填充与串联构造越狱提示,绕过过滤引出受限内容。
提出 CSSBench 评测轻量模型对中文表面对抗改写的失守与过度拒绝。
提出 GAP 梯度组装投毒,在联邦 LoRA 聚合中诱导定向语义偏离。
提出 BPA 改写 profile 与记忆,重新诱发智能体对人类的外群体偏向。
提出 MOBjailbreak,将恶意优化算法请求改写为无害表达实施越狱。
牛津大学等机构的研究者构建 TRAP 基准,评测网页 Agent 被界面提示注入劫持任务的情况。
推荐理由TRAP 把提示注入拆成说服原则、操纵手法与界面形式等模块,量化了界面细节对网页 Agent 被劫持概率的影响。
Wang 等人提出风险意识注入(RAI),一种无需训练的框架,通过在视觉嵌入空间放大不安全信号来恢复 VLM 的安全校准。该方法针对跨模态安全缺口:能可靠拒绝有害文本请求的 LLM,在同样内容以图像呈现时往往照做,因为 RLHF 或指令微调的安全对齐主要作用于文本表示,而视觉编码器走的是另一条通路。RAI 从已知不安全内容的语言嵌入构建不安全原型子空间,在推理时识别嵌入接近该子空间的视觉 token 并调制其表示,以触发模型已有的安全机制。作者称该方法在多个多模态越狱基准上大幅降低攻击成功率,同时在标准 VLM 评测上保持任务表现。作者还提出该思路可推广到具身 AI,例如机器人 VLA 模型;其能否抵御专门针对不安全原型子空间的自适应攻击仍是未解问题。
提出 GateBreaker,推断时定位并置零 MoE 安全神经元以解除安全对齐。
推荐理由论文给出针对 MoE 大模型的安全神经元定位与推理期屏蔽方法,并报告跨模型迁移的攻击成功率,可供评估 MoE 部署风险时参考。
提出双重隐写越狱 Odysseus,用图像隐写绕过多模态系统安全过滤器。
推荐理由论文披露商业多模态系统安全过滤依赖恶意内容显式可见的假设,并给出跨模态隐藏载荷的完整攻击链与实测成功率。
南京大学、香港大学等机构的研究者提出 DREAM 框架,评测 Agent 的跨环境长链攻击脆弱性。
提出约束对抗搜索红队框架,系统发现模型多类鲁棒性漏洞。
Sermanet 等人的论文提出 ASIMOV 基准,用于评测充当机器人控制器的基础模型的语义安全,并提出自动生成行为宪法的框架。该基准综合文本与图像生成、真实视觉数据和医院伤害报告,把机器人安全从几何避障扩展到语义判断,即模型需要判断某个动作在具体情境中是否有害。论文称,通过自动修订机制迭代细化的宪法在 ASIMOV 上达到 84.3% 的对齐率,高于基线和人工编写的宪法。该框架把 Constitutional AI 从语言模型对齐迁移到机器人控制。Failure-First 指出,剩余 15.7% 的失败可能集中在最危险的模糊边缘情形。
SafeProbing 在解码阶段探测隐藏的安全信号,拦截越狱下的有害生成。在 Qwen 模型上对 AutoDAN、PAIR 等 7 种攻击方法取得 95.1% 平均防御成功率,比次优基线 80.1% 高 15 个百分点,并随机抽取 20% 解码步探测。XSTest 过度拒答仅 18 次,数学解题性能零退化。
提出 ContextLeak,用金丝雀成员推断审计私有 ICL 泄漏。
Tai 等人提出 RealMirror,一个面向具身智能的开源视觉-语言-动作(VLA)平台,整合高效数据采集、标准化评测与基于 3D Gaussian Splatting 的环境重建。该平台让研究者在没有实体机器人硬件的情况下开发与迭代 VLA 模型,并提供包含多场景和标准化轨迹的 VLA 基准。论文展示了纯在仿真中训练的模型无需微调即可完成真实机器人任务的零样本 sim-to-real 迁移。Failure-First 从安全角度指出,仿真中验证的对抗攻击(如 DropVLA 记录的后门攻击)也可能无需适应阶段直接迁移到实体机器人,并提问该基准能否扩展到对抗条件下的安全评测。
SafeAgentBench 是一个面向具身 LLM Agent 安全任务规划的基准,对八种 Agent 架构的测试显示,其对危险任务的拒答率仅约 3% 到 10%。该基准包含 750 个任务、覆盖 10 类危险,分为显式危险任务、欺骗性危险任务和含隐藏危险的正常任务三类,并基于 AI2-THOR 构建了支持 17 种高层动作的 SafeAgentEnv 仿真环境。评测同时采用执行层面和语义层面两套指标,前者看 Agent 是否真的执行了危险动作,后者看其规划中是否包含危险步骤。结果显示,更换底层 LLM 对安全表现影响不大,欺骗性表述能有效绕过拒答,而带安全反思步骤的规划框架仅有小幅改善;部分 Agent 规划了不安全动作却因环境限制未能执行,作者认为语义层面的不安全规划仍应视为真实风险信号。
推荐理由该基准用 750 个任务和两套评测指标测出八种具身 Agent 对危险指令的拒答率仅 3% 到 10%,为具身安全评测提供了可复用的任务集与仿真环境。
Li 等人提出 STAR 框架,把多轮语言模型交互中的安全失效重新表述为状态空间问题,而非提示词工程问题。该框架将对话历史当作状态转移算子,用于分析对齐模型在自回归条件下如何越过安全边界。核心发现是,在单轮静态评测中看似稳健的模型,在结构化多轮交互中会快速且可复现地出现安全崩溃;机制分析显示其内部表征随轮次单调偏离与拒答相关的特征,角色条件化的上下文还会引发突然的阶段跃迁,使模型由拒答转为顺从。作者称 STAR 是用于探测和理解安全边界的诊断框架,而非以最大化攻击成功率为目标的越狱方法,可为 crescendo、Foot-In-The-Door 等依赖对话铺垫的多轮攻击为何有效提供结构性解释。
研究者 Yang 提出一种针对思考型 LLM 的多流扰动攻击,在单个提示词中交错多个任务流、字符反转与格式约束,使模型的推理过程崩溃或退化为重复循环,从而绕过安全对齐。该攻击组合多流交错、反转扰动和形状变换三种策略,效果优于任何单一策略。在被攻击的回复中,最多 17% 出现完全推理崩溃,60% 出现回复重复。攻击在 Qwen3 系列、DeepSeek、Qwen3-Max 和 Gemini 2.5 Flash 等主流思考型模型上均取得较高成功率,论文认为这是思考模式架构的系统性弱点,而非单一模型的缺陷。
Ying 等人提出 SAFE 基准系统,用于评测具身 AI 在危险指令下的安全性,由三个组件构成。SAFE-THOR 提供可适配的仿真环境,SAFE-VERSE 给出 45 个对抗场景、1,350 个危险任务和 9,900 条指令,灵感来自阿西莫夫的机器人三定律,SAFE-DIAGNOSE 则分阶段独立评估感知、规划与执行。对九个 SOTA VLM 的测试显示,模型能识别危险,却系统性地无法把这种识别转化为安全的规划与行动,作者认为这是感知到行动之间的断层。
论文提出 Mousetrap,并称这是首个专为大型推理模型(LRM)设计的越狱框架,通过 Chaos Machine 将攻击提示词做一对一映射并迭代嵌入模型的推理链,利用推理惯性让模型自行推导出有害内容。论文报告的成功率为 o1-mini 96%、Claude-Sonnet 86%、Gemini-Thinking 98%;在针对 Claude-Sonnet 的标准基准上为 AdvBench 87.5%、StrongREJECT 86.58%、HarmBench 93.13%。论文认为推理缺陷不同于对齐缺陷,仅在输出层设防可能无法阻止推理链被污染。Failure-First 指出推理轨迹本身即攻击面,并质疑这些成功率在不同评分方法下是否稳健。
推荐理由论文称推理链本身可成为攻击面,越狱后的推理模型会输出比普通 LLM 更具体的有害内容。
提出视觉推理序列攻击 VRSA,以图像序列越狱多模态大模型。