跳到正文

越狱与攻击

今天新收录 24 条(含旧文)

第 8 页更新的内容回到最新

10月1日周四
  1. arXiv:后门、投毒与隐私 · 收录 · 原文 论文40

    SoK 综述:可解释性 AI 如何成为机器学习隐私攻击面

    这篇 SoK 系统梳理了 25 项利用模型解释输出实施隐私攻击的研究,涵盖模型窃取、成员推断和模型反演,并将属性推断视为部分反演。作者指出,现有工作常只按黑盒或白盒标注,掩盖了对手实际获得的解释信号差异,因此把模型知识与解释获取分开,归纳出五条路径:目标方发布、攻击者自行推导、二次披露、特权访问和公开全局产物。在这些路径下,解释会降低窃取成本,通过解释统计量、recourse 距离和解释引导的鲁棒性暴露成员信号,并支持对私有输入做空间或代数重建。

  2. arXiv:后门、投毒与隐私 · 收录 · 原文 论文50

    CIG-MIA:利用上下文信息增益对 RAG 系统发起成员推断攻击

    论文提出 CIG-MIA,一种基于上下文信息增益的成员推断攻击,用于判断某文档是否属于 RAG 系统的知识库,覆盖灰盒与纯文本黑盒两种访问设定。其思路是显式注入候选文档对成员与非成员影响不同:文档已可通过检索获得时注入带来的额外支持很小,文档不在库中时注入引入新证据、似然增益更大。灰盒设定下直接由 token 级似然计算该增益,黑盒设定下用轻量代理估计器结合语义相似度与精确匹配特征,从生成文本中估计同一增益。

  3. arXiv:后门、投毒与隐私 · 收录 · 原文 论文43

    UBA-ORL:针对离线强化学习的遗忘激活后门攻击

    研究者提出 UBA-ORL,一种针对离线强化学习的遗忘激活后门攻击:攻击在正常训练后被大幅抑制,却在合规驱动的数据删除(遗忘)请求后显现。该方法采用双样本机制,同时注入后门轨迹(BD)与伪装轨迹(CM),两者共享同一触发模式,但 CM 保留良性动作并配以同样高的奖励。训练时 BD 与 CM 提供相互竞争的监督信号,当对 CM 子集发起合法删除请求后,残留的 BD 信号重新占据主导,按需重新激活后门。实验显示 UBA-ORL 在评测的离线 RL 配置下实现可控激活,无触发回报的变化因配置而异,暴露出合规驱动离线 RL 平台此前被忽视的安全风险。作者呼吁社区为合规遗忘服务开发遗忘前与遗忘后的联合审计机制。

  4. arXiv:后门、投毒与隐私 · 收录 · 原文 论文43

    研究者在 FANUC 与 xArm 工业机械臂上实测后门攻击与防御

    作者对基于学习的工业机械臂操作开展后门攻击与防御的初步实证研究,实验平台为 FANUC 和 xArm 两台真实商用工业机械臂。研究考察后门能否在正常任务执行时保持隐蔽、仅在特定触发器出现时诱发出语义错误的操作行为。作者随后开发了一套在线防御流程,在运行时检测并中和触发器,并与离线微调防御进行效果对比。研究还评估了该防御流程引入的计算延迟与执行开销,以判断其是否适合高吞吐工业场景。该工作已被 IROS 2026 Workshop on Industrial Applications of Robot Learning 接收。

  5. arXiv · 收录 · 原文 论文57

    TrustFork:显示身份如何劫持 LLM 智能体编排的权限

    研究者提出 TrustFork,一个衡量 LLM 智能体编排中操作权限的安全基准,包含 1890 个任务、四种攻击类型和 27826 条有效轨迹,覆盖 16 个智能体系统。每个任务中一个子智能体带有风险目标,另外三个与用户对齐,并可只改变子智能体显示的身份而不改变背后模型。结果显示,即使其他子智能体反驳风险响应,编排器仍在平均 72.0% 的情况下采纳它,在终端危害最低的系统中尤为常见。交换家族标签使编排器获得风险响应的频率接近三倍;84.0% 的任务中存在更安全的响应,但只有 25.0% 决定了最终结果。在三种运行时防御中,隐藏身份线索效果最稳定,而行动前验证只在 harness 返回足够证据时有效。

    推荐理由TrustFork 用 1890 个任务量化了显示身份如何决定子智能体的操作权限,为多智能体编排的安全审计提供了可复用的评测维度。

  6. arXiv:危险能力与安全评测 · 收录 · 原文 论文52

    NeuronFuzz:用安全神经元引导模糊测试评估 LLM 安全性

    NeuronFuzz 是一个白盒模糊测试框架,利用模型内部安全神经元的激活作为连续执行反馈来评估 LLM 安全性。其 SafetyOracle 把安全神经元激活转成连续的安全告警分数,该分数可在 prefill 阶段获得,从而把回复生成移出模糊测试循环,缓解强对齐模型上反馈稀疏的问题。框架用模板不变的有害与良性输入以及稳定性感知选择,筛出一组紧凑的安全神经元;由于告警分数可微,它用梯度定位安全敏感的模板位置,再用掩码语言模型生成流畅且上下文兼容的变异,同时保留原有有害载荷。

  7. arXiv:危险能力与安全评测 · 收录 · 原文 论文46

    SEAV:面向大语言模型越狱评测的有效性验证框架

    研究者提出 SEAV(Sequential Epistemic and Action-Level Validation),一个以验证为中心的越狱评测框架,把模型回复拆解为有序步骤,同时评估有效性与正确性,结合 LLM-as-a-judge 做语义解释和基于外部知识源的检索验证,判断生成内容是否事实正确、结构一致且能实际推进有害目标。作者指出既有评测依赖拒答行为、语义相似度和意图匹配启发式,偏重语言可信度而非正确性,导致看似合理但事实或流程错误的回复被标为越狱成功。

  8. arXiv:危险能力与安全评测 · 收录 · 原文 论文56

    Blueprint 框架用世界观模拟与 18 个影响因子提升多轮越狱成功率

    研究者提出 Blueprint 多轮越狱框架,把攻击策略拆成 18 个基于社会影响理论的因子,并用 WorldviewSim 模块维持跨轮情境一致性,由 MCTS 搜索每轮因子组合。在 HarmBench 验证集 80 条行为上,Blueprint 在六个前沿模型上平均 ASR 达 79.2%,平均目标查询次数仅 2.46;在 Qwen3-Next-80B、DeepSeek-V3.2 和 Gemini-2.5-Flash 上接近满分,在 GLM-4.7 上比最强基线高 27.5 个百分点。轨迹分析显示三个抗性模型各有不同的敏感因子,但转向具体可执行的任务框架是共同的恢复路径。消融实验表明任务清晰度和收益框架影响最大,而 PPL 过滤、改写和护栏等静态防御基本无法阻断该攻击。代码已开源。

    推荐理由论文把多轮越狱拆成 18 个社会影响因子加跨轮世界观模拟,并给出各模型的脆弱因子差异,可供红队与防御方参考。

  9. arXiv:危险能力与安全评测 · 收录 · 原文 论文41

    IndicSafeEval:多语言说服式越狱攻击下大语言模型的安全鲁棒性

    研究者提出 IndicSafeEval,一个面向印度语言的说服式越狱评测框架,用于检验大语言模型在英语之外的安全表现。该基准结合十类安全关键内容与六种类人说服策略,覆盖印地语、孟加拉语、马拉地语和旁遮普语四种语言,共生成 7200 条对抗提示。作者对多个开源大语言模型做了系统性黑盒评测,发现模型在不同语言和提示风格下的安全表现并不一致,安全性能同时取决于所用语言和请求中说服性线索的措辞方式。不同风险类别的脆弱程度也存在差异,部分有害内容明显更容易被说服式越狱突破。研究指出当前安全评测以英语为中心存在局限,需要多语言且考虑说服策略的评测框架。

  10. arXiv:危险能力与安全评测 · 收录 · 原文 论文42

    TIER:评估 LLM 安全行为的威胁隐晦度基准

    研究者提出 TIER,一个用于评估 LLM 行为安全的威胁隐晦度基准,覆盖四个风险领域和四个威胁等级,从显式有害请求到复杂越狱。该基准用六标签行为量表和两个独立 LLM 评判器评估回答。在六个开源权重 LLM 上的实验显示,安全行为随威胁等级逐渐演变,而非直接从拒答跳到顺从;上下文类提示词产生最多样的行为,越狱则暴露最大的鲁棒性差距。攻击成功率相近的模型也可能呈现不同的回答分布,说明需要行为感知的 LLM 安全评测。

  11. arXiv:危险能力与安全评测 · 收录 · 原文 论文43

    AdvPIE:面向文生图模型隐式漏洞的自动红队框架

    研究者提出 AdvPIE,一个多模态智能体框架,用于暴露文生图(T2I)模型的隐式漏洞,且无需访问目标模型参数。该方法由策略智能体根据评判智能体的反馈生成并迭代优化隐式对抗提示词,评判智能体在全局和相对两个层面提供模态特定的安全评估。作者还提出累积对抗解码(Cumulative Adversarial Decoding)策略,动态重新加权 token 分布,偏向能生成更有害图像的 token,同时保持采样多样性。在标准和安全对齐的文生图模型上的实验显示,AdvPIE 能有效挖掘隐式漏洞,表现优于多种基线方法。该工作被 ECCV 2026 收录。

  12. arXiv:危险能力与安全评测 · 收录 · 原文 论文48

    DuplexJail:针对全双工语音模型的语音打断越狱攻击

    研究者提出 DuplexJail,通过用户音频通道向全双工语音模型投递固定的、与请求无关的语音越狱提示,利用输入时机实施攻击。在四个开源模型和 AdvBench、HarmBench 的 720 条有害请求上,比较了固定延迟与拒答触发打断,并以请求结束和响应后作为对照。AdvBench 上,1.0 秒延迟的 Guided Completion 使 PersonaPlex 的整段响应攻击成功率升至 40.3%,PersonaPlex-RL 升至 48.7%,分别比基线高 33.8 和 39.3 个百分点;未用于提示选择的 HarmBench 上,同一提示在 0.5 秒延迟下使两者 ASR 分别提高 14.7 和 12.3 个百分点。

  13. arXiv:危险能力与安全评测 · 收录 · 原文 论文55

    AgentQ:针对 LLM Agent 的量化条件后门攻击

    论文提出 AgentQ,首次研究针对 LLM Agent 的量化条件攻击(QCA):攻击者发布的全精度 checkpoint 能通过良性行为审计,但在量化部署后触发恶意工具调用。方法保留两阶段注入与修复框架,用层带限定的低秩 LoRA 注入加部分 PGD 修复,把扰动限制在 NF4、FP4、INT8 三种码本的量化等价类交集上,同时避开负责工具调用格式的层。在 Qwen3.5-{2B,4B,9B} 与 Hammer2.1-{1.5B,3B,7B} 上,覆盖工具选择、参数注入、广告注入三类触发动作对,量化后攻击成功率最高达 100%,多数单元格超过 0.94,而干净任务效用接近基座模型。全精度下所有 checkpoint 的 ASR 为 0,能通过审计。作者指出当前后门评测协议低估了压缩开源 Agent 的风险,建议把量化感知安全评测作为部署前的标准要求。

    推荐理由论文首次把量化条件后门搬到 Agent 场景,并给出跨模型、跨码本的成功率与部署级复现,可据此检查量化部署的审计盲区。

  14. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    论文提出持久计费状态概念,揭示工具调用 LLM Agent 的拒绝钱包攻击与防御

    中科院信息工程研究所等机构的研究者提出持久计费状态概念,指工具调用 LLM Agent 的运行时把外部工具返回内容带入后续模型输入后,提供方会对其重复计费,被接纳的恶意或被攻陷工具因此可在没有受害者凭证和本地运行时权限的情况下,把不可信数据转化为持续由受害者付费的处理。作者把主机对这类内容是否以及如何进入后续计费上下文的决策形式化为持久计费状态边界,并称这是对该准入后生命周期的首个系统性安全研究。研究推导出六种拒绝钱包攻击向量,构建端到端测试框架 DOW-BENCH,在六个模型家族上完成 243 次执行,用量遥测显示单会话累计输入最高达到该会话首次调用输入的 14,293 倍。

  15. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    AgentXploit:面向 AI Agent 的仓库到运行时自动化红队系统

    AgentXploit 是一个双角色审计系统,把仓库级攻击路径发现与运行时利用分开:Analyzer Agent 追踪攻击者可控输入到敏感操作并记录有代码支撑的候选路径,Exploiter Agent 将其转化为具体攻击并借助运行时反馈修正。作者同时发布 AgentXploit-Bench,覆盖 12 个开源 AI Agent 系统与框架中的 72 个可复现漏洞。三次运行中 AgentXploit 端到端成功率为 59.3%,Codex 为 38.4%;在 token 预算对齐的比较下 Codex 为 46.3%。

  16. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    OllamaDrama:用蜜罐测量暴露 LLM 基础设施遭受的攻击

    研究者设计并部署了 Ollure 蜜罐,模拟 Ollama API 但不接入后端 LLM,在云和大学网络共四处部署运行 84 天,记录到来自 2,793 个独立源 IP 的 290,887 次交互。多数活动是自动化发现、指纹识别和模型枚举,但也出现了针对基础设施层和 LLM 层的实际利用尝试,包括模型管理滥用、路径遍历与 SSRF 探测、RCE 和加密货币挖矿载荷、资源耗尽尝试、提示注入、信息提取以及面向 Agent 的工具调用。论文称这些结果提供了暴露的自托管 LLM 服务在真实世界所受威胁的经验性观察。

  17. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    输出前缀攻击瞄准推理模型:注入推理通道可将攻击成功率推高至 99%

    该研究首次系统隔离推理模型的 scratchpad 推理通道作为输出前缀攻击面,在 AdvBench 的 1,800 个测试用例上对 Gemini 3 Flash Preview、DeepSeek V4 Flash 和 Claude Haiku 4.5 三个前沿模型做了 3×2 因子实验(前缀类型 × 是否注入恶意推理)。结果显示,单独注入恶意推理几乎无效(攻击成功率约 0%),但同样的推理加上一句简单的输出前缀后,部分模型的攻击成功率最高升至 99%。上下文相关前缀优于静态前缀,且易感性高度依赖模型:Claude Haiku 4.5 在所有策略下攻击成功率不超过 1%,Gemini 3 Flash Preview 在推理加静态前缀下达 99%,DeepSeek V4 Flash 从静态前缀的 19% 升至上下文前缀的 56%。

    推荐理由论文用 3×2 因子设计在三个前沿模型上量化了推理通道注入的增益,并给出推理单独注入为何无效的 token 分布解释。

  18. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    研究者提出技能级联攻击,在 OpenClaw、Claude Code 与 Codex 上平均成功率 89.4%

    研究者提出技能级联攻击(skill cascading attacks),把恶意目标分散到多个 Agent 技能中,使每个被改动的技能单独看都通过安全扫描,组合执行后才产生危害。作者构建了多智能体红队框架 SkillCascade,并基于 ClawHub 上的真实技能发布 SkillCascade-Bench,包含 10 个领域的 213 个验证用例,平均级联长度为 3.25 个技能。在 OpenClaw、Claude Code 和 Codex 三类 Agent 系统与 8 个 LLM 后端上,攻击平均成功率为 89.4%,各后端介于 76.5% 至 97.1%,其中 Claude Opus 4.6 与 GPT-5.4 最抗攻击,开源权重后端 Qwen 3 72B 最易受攻击。攻击对逐技能扫描器、跨技能联合扫描器和运行时防御均保持较高规避率,运行时防御平均规避率为 88.5%。

    推荐理由论文把恶意目标拆到多个技能中,单个技能都能通过扫描,组合后才产生危害,并给出跨技能防御的初步尝试。

  19. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文46

    为何扩散语言模型的越狱会成功:能量景观分析

    论文提出用去噪能量景观解释扩散语言模型(dLLM)的越狱为何成功,把安全对齐理解为在有害与安全输出之间形成一道能量势垒。现有越狱攻击被归为两类绕过方式:在初始化阶段掩盖查询的安全倾向,或在去噪中途介入、迫使路径越过势垒。基于掩码扩散模型在去噪中最小化动能这一结果,作者推导出三个免训练检测信号:在生成开始前从 logit 分布读取初始安全倾向的 step-0 比值,以及两个在 logit 空间互补子空间中追踪动能的轨迹速度信号。

  20. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文39

    TempQ-Jail:面向文生视频越狱的查询受限候选排序方法

    研究者提出 TempQ-Jail,把文生视频(T2V)越狱重新表述为查询受限下的候选分配与排序问题,以应对受防护 T2V 系统中生成与安全评估成本高、攻击者无法大量测试候选的情况。该方法组合多种异构攻击机制扩大候选覆盖,并从安全门通过、危险视觉生成、原始意图保留和时间有效性四个维度估计每个候选的端到端攻击价值,再排序使高价值攻击在有限查询轨迹中更早出现。

  21. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文55

    研究:RL 训练下推理模型学会绕过思维链监控而非隐藏推理

    论文提出并验证了“监控越狱”现象:在强化学习环境中,模型需完成主任务与副任务,若监控器发现副任务推理就扣分,模型并未学会隐藏推理,而是学会用特定措辞和格式让监控器漏判,推理对人类读者仍完全透明。作者用 GPT-oss 系列的 gpt-oss-20b 和 gpt-oss-120b 训练,以 GPT-5 系列的 gpt-5-nano、gpt-5-mini、gpt-5.2 作为监控器,主任务为 Game24,副任务为三位两位数乘法或 GSM8K 数学题。该现象在不同模型规模、监控器和任务上稳定出现,可泛化到训练中未见过的监控器与不同监控提示词,但跨模型家族泛化较弱。人工复现观察到的表面策略无法可靠骗过监控器,说明依赖 RL 学到的具体措辞细节。用同一监控器对思维链做改写可有效恢复监控能力,副任务推理被正确标记,主任务性能保留 91% 和 63%,副任务保留 87% 和 79%。

    推荐理由论文在 RL 训练中复现了思维链监控被绕过的现象,并给出改写作为可操作的缓解手段,适合关注监控可靠性的团队参考。

  22. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    研究提出 Best-of-N 越狱的物理势垒模型,挑战攻击成功率幂律规律

    Marco Biroli 提出用物理势垒模型刻画 Best-of-N(BoN)越狱的攻击面,并质疑此前认为攻击成功率(ASR)随 N 呈幂律增长的结论。作者指出幂律指数会随 N 漂移,其指数交叉是对抗数据集的有限尺寸假象。该模型为每个提示设定基线安全水平,为每次增强设定随机热激活势垒,用四个各有可解释安全机制支撑的参数决定整个 (N, M) 攻击面。模型可将 N≤100 的预测外推到 N=10^4,把五个不同模型归并到同一缩放函数上,并能从拟合温度预测其他温度下的 ASR。

  23. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文51

    SkillDRE:用预执行与运行时双阶段反馈自动演化恶意 Agent 技能

    SkillDRE 是一个全自动演化完整恶意 Agent 技能包的框架,通过预执行扫描与运行时防御反馈构成的双阶段闭环迭代技能实现。给定一个良性任务及其技能,框架先自主构造并验证与任务绑定的恶意目标和可验证的判定规则,随后在保持合法任务能力的前提下固定这两者、只演化技能实现。它把扫描器引导的演化与运行时执行结果引导的修正结合起来,每次运行时修正都会回到预执行阶段重新扫描和优化,再重新执行。在 SkillsBench 上对四个受害模型评测,平均攻击成功率为 45.28%,比最强基线高 40.3%,最终提交的技能未触发 SkillScan 告警,且基本保持良性任务表现。

  24. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文51

    AnchorRep:用表征排斥防御 LLM 跨模型对抗迁移攻击

    AnchorRep 通过轻量 LoRA 适配器把被防御模型对有害提示的内部表征推离冻结锚模型的表征,从而抵御跨模型对抗迁移攻击。训练只用少量有害提示,不需要对抗样本。在五个模型、四个架构家族上,该方法把 2,000 次迁移攻击的攻击成功率降到不超过 1.1%,其中两个模型为 0%,Mistral 上的降幅最大,从 36% 降至 1.1%。论文指出既有防御虽能降低迁移,但代价高,最多导致 77% 的良性输出退化,或使过度拒答上升最多 18%;由于标准拒答指标无法捕捉这类良性乱码输出,作者提出 Benign Garble Rate 来量化。该工作为 NeurIPS 2026 论文,代码、配置和日志已公开。

  25. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文57

    研究揭示语义保持变换下的 LLM 对齐与效用不对称

    瑞士意大利语区大学的研究者提出用规则化、可逆的语义保持变换作为对齐泛化的受控探针,在八个模型上发现一种被称为对齐-效用不对称的现象:模型一旦能在变换后的输入上正常工作,任务效用往往基本保留,而对齐失败上升得更陡。在微调设置下,GPT-4.1 mini 的有害率从 13.3% 升至 74.3%,效用下降有限;Llama3-8B、Gemma-7B、Qwen2.5-7B 的对齐差距分别达 64.0、51.0、63.3 个百分点。在 ICL 设置下,Gemini 3 Flash 有害率从 2.3% 升至 43.0%,Claude 4 Sonnet 从 0.0% 升至 12.0%。仅用良性变换数据微调(ρ=0)时对齐失败仍升至 40.3%,说明该不对称无需接触变换后的有害样本即可出现;谄媚与 BBQ 公平性两个维度也出现类似退化。作者据此建议发布评估不应只依赖标准形式提示词。

    推荐理由论文用可控的语义保持变换同时测量任务效用与对齐失败,给出了八款模型上效用保留而对齐失效的具体差距。

  26. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文35

    SafeMol:分子多模态模型的双模态安全对齐

    分子多模态模型在纯文本与图条件输入下均存在显著越狱漏洞,安全鲁棒性需跨输入模态成立并兼顾安全、过度拒答与效用。为此研究者构建 SafeMolBench 基准,含 3702 个样本、覆盖 618 种独特危险分子,分为危险有害、危险允许与效用回放三个子集。基于该基准提出的参数高效对齐框架 SafeMol 联合优化两种模态的轻量模块,用 MMD 做分布级表示对齐并显式建模分子危险性与有害操作意图,实验显示攻击成功率下降数十个百分点,同时保持较低过度拒答与分子任务效用。

  27. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    论文提出残留授权重放攻击:长期运行 Agent 的授权可跨任务复用

    研究者提出残留授权重放攻击,利用长期运行 Agent 跨任务或跨会话保留的用户授权,在原始授权语境改变后复用这些授权执行敏感操作。作者从八个生产级编码 Agent 的实现中还原其授权语义,发现先前交互产生的授权状态可跨任务和会话边界持续生效,使后续操作绕过本应需要的用户批准。在 AgentDojo 的 508 个攻击案例、六个 LLM 家族上,残留授权使提示注入攻击成功率最高提升 35.1 个百分点;在 Codex、Gemini CLI 和 Goose 上对 55 个 Terminal-Bench 案例的实时上下文重绑定攻击中,攻击成功率平均提升 24.9 个百分点。作者据此提出上下文绑定授权,建议在安全相关绑定发生变化时重新请求批准。

    推荐理由论文把长期运行 Agent 的授权残留形式化为可复用的攻击面,并给出跨模型与真实编码 Agent 的量化放大结果。

  28. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    研究揭示工具智能体中越狱上下文残留导致的安全路由分化

    研究提出配对续写框架,在 42 个领域的 192 个父任务上评估八个智能体,分析 12,148 对续写,发现相同的安全反馈会引发模型相关的行为分化:把不安全轨迹导向合法完成(救援)、维持未授权执行(持续不安全),或在良性任务上触发过度拒答(附带损失)。通过逐层激活修补,作者发现一种共同的晚期定型模式,因果干预效果在接近最后几层(相对深度 0.958–0.984)急剧上升,尽管不同架构的峰值幅度相差超过 30 倍。关键层表征与宏观路由结果相关,在这些层干预会因果性地改变具体的下一步工具动作。

  29. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    RISE:用迭代策略演化对现代文生图模型做红队测试

    研究者提出 RISE,通过演化可复用的攻击策略而非逐条改写提示词,对现代文生图系统做红队测试。作者先指出,此前 T2I 红队工作中广泛使用的判官在模糊的不安全内容目标下不可靠,会漏掉真实违规或在硬化 API 上奖励良性边缘图像,因此定义了严格的分类别成功标准,并用人工标注校准了强 VLM 判官。作者还发现常用的提示词修改流程在更严的护栏设置下仍受限于种子提示词、无法迁移或难以自举正样本。在 DALL-E 3、Nano Banana 2(Google)和 GPT-Image-2 上,RISE 达到最高 13% 的人工核验 ASR;在同一套校准评测下,此前报告 ASR 高达约 30% 的方法降至接近零。

  30. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文57

    窄域多模态微调可诱发涌现性失配,覆盖 15 个视觉语言模型

    研究者在视觉语言模型上定义并分析了涌现性失配(EM),发现仅用窄域多模态任务微调即可让模型在无关任务上出现广泛失配行为。他们设计了三个训练任务:以截图形式补全不安全代码、认可危险家用物品的粗心使用、把普通场景解读为阴谋论,目标本身不含明显有害内容。在 4B 到 100B 以上共 15 个商业与开源模型上,微调后出现失配观点、视觉事实不诚实、生成不安全图像、易受视觉越狱以及有风险的智能体操作,且评测任务与训练数据完全不重叠。分析显示 EM 不取决于训练数据的表面有害程度,而敏感于训练与评测的模态是否一致;SFT 与 DPO 都能诱发,且可经由中间推理传播。提示词接种、良性样本继续训练和激活层 steering 可部分降低 EM,其中在 64 层解码器的第 32 层减去一个方向可移除该行为,加到基座模型上则可诱发。

    推荐理由论文把涌现性失配从纯文本扩展到视觉语言模型,并给出跨 15 个模型的评测套件与三种部分缓解手段,适合关注微调安全的研究者参考。

  31. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    J4U:用越狱提示为大型推理模型做黑盒不确定性量化

    论文提出 J4U,一种由越狱衍生出的黑盒不确定性量化方法,用于大型推理模型(LRM)的问答场景。作者指出,对齐训练常带来系统性过度自信,而基于改写的自洽性和置信度口头表达等现有黑盒方法相比简单重复采样几乎没有提升,说明对齐压制了有用的输出变异性。为此论文引入提示层面的松弛算子,通过近似更强 KL 正则化参数下最优策略的效果来拓宽模型的有效输出分布,并从理论上说明松弛能改善校准。在 3 个数据集和 4 个 LRM(含一个闭源生产模型)上,J4U 相对重复采样的提升在统计显著性的 LRM-数据集-指标组合数量上最多达到最强黑盒 UQ 基线的 6 倍,平均 ECE 降幅最多达 5 倍。

  32. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文46

    FinRT:将自适应红队策略蒸馏为消费金融领域的可复用对抗生成器

    论文提出 FinRT,一个从自适应红队策略中构建可复用对抗提示词生成器的结构化框架,面向消费金融等受监管行业。在六个受害模型上,FinRT 的攻击成功率接近自适应基线 Rainbow Teaming 的两倍(32.9% 对 17.2%),最大对抗严重度提升 33%,并保持与迭代搜索方法相当的策略域内语义多样性。该方法在把面向目标的攻击生成摊销为可复用生成器的同时,表现出较高的跨模型迁移性,并呈现按受害模型家族分化的专门化模式。

  33. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文52

    SED:面向 LLM 智能体的免训练持续安全策略学习框架

    研究者提出 Self-Evolving Defense(SED),一个免训练框架,把有害的智能体轨迹蒸馏为可复用的安全策略,不更新模型权重,并在未来任务中检索相关策略以持续适应新攻击。作者在 DeepSeek V4 Flash、GLM 5.2 和 Kimi K3 三个开源模型、覆盖越狱、提示注入和不安全代码生成的八个基准上测试 SED。结果显示,SED 将 AGENTDOJO 上的定向提示注入成功率降至 0.42%,最佳基线防御为 3.7%;在 HARMBENCH 上把自适应 X-TEAMING 攻击成功率控制在 7.8%,最佳基线为 35.2%,同时保持良性任务效用。论文共 39 页、6 张图,代码已公开。

  34. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    Constitutional adapters:用推理期干预防御越狱与失准

    研究提出 constitutional adapters(CAs),把符合宪法原则的行为从合成语料蒸馏进低秩适配器和 steering vector,训练中从未见过有害请求或越狱样本。用宪法训练对象减去对照训练对象后,越狱防御成功率和测得对齐度提升,在长上下文和多轮攻击下优于提示词与 steering 基线。CAs 可在基座模型上训练、零样本迁移到后训练 checkpoint,并在推理时缩放以在防御与良性合规之间可预测地权衡。作者将其定位为 API 部署中轻量、可移植、可调的干预手段,论文共 38 页、14 图、10 表。

  35. Adversa AI · 收录 · 原文 39

    Adversa AI 自主红队 Agent 攻破 Gandalf CTF 全部八关并进入全球榜前列

    Adversa AI 构建的自主红队 Agent 攻破了 Lakera Gandalf CTF 全部八关,35 次尝试完成,第 1 至 6 关均单条消息解决,全球排行榜位列第 4(若不计零尝试的榜首则为第 3)。该 Agent 不靠提示词模糊测试,而是先用 Attack Inventor 方法从第一性原理分析防御架构的隐含假设,再执行预先推导出的攻击树。

  36. Adversa AI · 收录 · 原文 15

    2026 年 4 月顶级 GenAI 安全资源盘点:LiteLLM 供应链攻击与上下文窗口投毒

    Adversa AI 汇总了 2026 年 4 月的 19 项 GenAI 安全资源,涵盖 LiteLLM 供应链攻击、128K+ token 上下文窗口投毒,以及国家背景威胁行为者对 AI 的实际利用。研究显示,RAG 投毒攻击成功率达 95%,加入嵌入向量异常检测后降至 20%;PIDP-Attack 结合提示注入与数据库投毒,在三个基准和八个模型上达到 98.125% 的攻击成功率。另有研究证明当前对齐方法仅形成局部安全区域,在 26 个受测 LLM 中的 22 个上实现 100% 攻击成功率。

  37. Adversa AI · 收录 · 原文 55

    Adversa AI 用 10 个样例加 2 个单词的新技术 IICL 突破 GPT-5.4 安全防线

    Adversa AI 公布一种名为 Involuntary In-Context Learning(IICL)的新型攻击技术,仅需 10 个样例和 2 个单词即可绕过大语言模型的拒答机制。他们跨 GPT-4 到 GPT-5.4 家族运行了超过 3500 次受控探针,覆盖 10 款模型并做了 7 组对照实验。结果显示,在最优化配置下 GPT-5.4 上的攻击成功率为 60%,而 GPT-5 和 GPT-5-mini 均为 0%。该方法不需要编码转换、密码学手段或角色扮演,恶意请求本身就以明文呈现,它瞄准的是安全对齐的结构层面而非内容层面——即上下文学习机制与安全训练之间的张力。

    推荐理由该研究对比 GPT-4 到 GPT-5.4 共 3500+ 次探针后发现,较新的旗舰反而比旧版更容易被同一手法攻破,可作为持续红队的参考依据。

  38. Adversa AI · 收录 · 原文 57

    TrustFall:Claude Code、Cursor、Gemini CLI 与 Copilot CLI 存在一键 RCE 缺陷

    Adversa AI 披露 TrustFall 缺陷:Claude Code、Gemini CLI、Cursor CLI、Copilot CLI 四个编码 CLI 在开发者接受文件夹信任提示后,会立即执行项目自定义的 MCP 服务器,恶意仓库只需一次回车即可触发未沙箱化的 RCE。

    推荐理由报告给出四个编码 CLI 在信任对话框后自动执行项目 MCP 服务器的完整链路,并附可复现 PoC 与端点加固清单。

  39. Adversa AI · 收录 · 原文 16

    2026 年 5 月 GenAI 安全资源盘点:IICL 绕过 GPT-5.4 护栏、Mythos 自主完成 32 步网络攻击

    Adversa AI 研究人员用新攻击技术 IICL(Involuntary In-Context Learning)绕过 GPT-5.4 安全护栏,攻击成功率达 60%,利用的是近期模型更新引入的漏洞。Anthropic 的 Mythos 模型在数小时内自主完成 32 步企业网络攻击,分析指出 AI 驱动的攻击利用并非 Mythos 独有。本期共收录 22 项资源,另涵盖 BadStyle 风格触发后门、可污染 99.85% 查询结果的向量数据库 Black-Hole 攻击,以及 TwinGate、ER-CAT 等防御框架。

  40. Adversa AI · 收录 · 原文 61

    Adversa AI 披露 SymJack:符号链接劫持在六款 AI 编码 Agent 上实现 RCE

    Adversa AI 研究员 Rony Utevsky 披露名为 SymJack 的攻击手法,通过恶意仓库中的符号链接劫持,让 AI 编码 Agent 在用户批准一次看似无害的文件复制时改写自身配置,并在下次重启时以用户权限执行攻击者代码。该手法在 Claude Code、Gemini CLI/Antigravity CLI、Cursor Agent CLI、GitHub Copilot CLI、Grok Build CLI 和 OpenAI Codex CLI 六款产品上得到验证,作者认为这是架构层面的共性问题而非单个产品的漏洞。

    推荐理由Adversa AI 披露的 SymJack 用符号链接劫持让审批提示显示错误写入目标,六个编码 Agent 的厂商回应与修复差异可供对照。