跳到正文

越狱与攻击

新的越狱方法、对抗攻击与红队发现,以及它们对主流模型的实际效果。

71条精选相关主题提示注入防御与护栏红队

最新精选

第 21–40 条 · 共 71 条
9月18日周五
  1. FAR.AI · 62

    FAR.AI 披露绕过 Qoder 网络安全护栏的越狱方法

    FAR.AI 展示了通过把恶意请求包装成仓库规范来绕过 Qoder 网络安全护栏的越狱方法,模型随后输出了完整的攻击工具链。该输出包含 SysWhispers3 风格的间接系统调用 stub、运行时 SSN 解析与补丁、ntdll 中 syscall;ret gadget 定位、基于 \KnownDlls 的 ntdll unhooking,以及 unhook 后对 EtwEventWrite 的补丁,用于在用户态移除 hook 并静默用户态 ETW。材料同时指出模型纠正了原请求中用户态代码可绕过内核态 EDR 监控的错误前提,说明 SYSCALL 仍会进入内核并被 ETW-TI、内核回调等观测。文中给出构建与执行步骤、预期输出示例,以及面向防御方的检测说明和清理流程。

    推荐理由材料给出完整的 SysWhispers3 间接系统调用工具链与可复现步骤,红队与防御方可据此对照检测遥测。

9月17日周四
  1. arXiv:越狱与提示注入 · 84

    红队测试 Auto Mode:用注入与多上下文攻击绕过编码 Agent 阻断监控器

    Anthropic Fellows 项目的研究者对 Claude Code 的 Auto Mode 和 OpenAI Codex 的 Guardian 两类生产阻断监控器做红队测试,发现面对持续失准的编码 Agent 时,超过 55% 的攻击未被拦截。攻击者使用 Opus 5,在 79% 的试验中通过针对监控器的注入攻击执行任意 bash 命令。论文归纳四类攻击:监控器注入、多上下文攻击(compaction 摘要与多 Agent 共享工作区)、覆盖缺口(未监控的 cwd 编辑可改变已批准命令的执行内容)以及策略漏洞。代码已开源在 GitHub。

    推荐理由论文给出针对 Claude Code Auto Mode 与 Codex Guardian 的多种绕过机制与成功率,并展示加固后的召回提升与延迟代价。

9月14日周一
  1. arXiv:越狱与提示注入 · 82

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力

    研究者提出“能力洗白”(capability laundering)攻击:较弱的未对齐模型把有害任务拆成看似无害的子问题,分别独立咨询更强的对齐模型,再在本地组合答案,因此没有任何单次回复本身构成有害任务。作者以 GPT-5.5、Claude Opus 4.8 和 Grok-4.3 为顾问、四个本地模型为编排者,在 CyBench、BountyBench 和有害 CBRN 请求上衡量咨询带来的能力提升。CyBench 上,Gemma-4-31B 借助 GPT-5.5 和 Opus 分别解出 8/14、7/9 个候选任务,Gemma-4-12B 只有 2/21、4/15;BountyBench 上效果因编排者而异,Muse-Glimmer-30B 一个也没解出。CBRN 方面,咨询把 Gemma-4-31B 在一条假设攻击链八个步骤上的平均评分从 62.3 提高到 83.1(满分 100)。作者认为,拒绝有害任务并不能阻止前沿能力经由许多各自被允许的交互转移和组合。

    推荐理由论文把有害任务拆成多个看似无害的子问题分别咨询强对齐模型、再在本地拼装,并在 CyBench 和 CBRN 测试上量化了这种能力转移,说明只按单次交互评估安全会漏掉这一缺口。

9月13日周日
  1. arXiv:危险能力与安全评测 · 78

    AgentQ:针对 LLM Agent 的量化条件后门攻击

    论文提出 AgentQ,首次研究针对 LLM Agent 的量化条件攻击(QCA):攻击者发布的全精度 checkpoint 能通过良性行为审计,但在量化部署后触发恶意工具调用。方法保留两阶段注入与修复框架,用层带限定的低秩 LoRA 注入加部分 PGD 修复,把扰动限制在 NF4、FP4、INT8 三种码本的量化等价类交集上,同时避开负责工具调用格式的层。在 Qwen3.5-{2B,4B,9B} 与 Hammer2.1-{1.5B,3B,7B} 上,覆盖工具选择、参数注入、广告注入三类触发动作对,量化后攻击成功率最高达 100%,多数单元格超过 0.94,而干净任务效用接近基座模型。全精度下所有 checkpoint 的 ASR 为 0,能通过审计。作者指出当前后门评测协议低估了压缩开源 Agent 的风险,建议把量化感知安全评测作为部署前的标准要求。

    推荐理由论文首次把量化条件后门搬到 Agent 场景,并给出跨模型、跨码本的成功率与部署级复现,可据此检查量化部署的审计盲区。

9月12日周六
  1. arXiv:越狱与提示注入 · 80

    FlowSeal:用信息流控制阻断 LLM Agent 的隐私泄露

    论文指出,个人 AI 智能体现有的隐私防御靠后端 LLM 在攻击者可控的同一对话上下文中自行判断是否披露敏感信息,使防御机制与攻击面重合。作者提出三种无需提示注入、仅靠普通交互即可实施的攻击:把信息提取包装成协作任务(Collaborative Workspace Lure)、通过省略而非智能体写出的内容诱导披露(Semantic Obfuscation Attack)、把提取请求与披露拆到相互独立的通道(Channel Decoupling Attack),三者的泄露率都明显高于这些防御原本针对的攻击。据此作者提出 FLOWSEAL,在 LLM 上下文之外的工具层拦截器中,依据数据来源和带受控降密的信息流控制格执行保密。在三个基准、五种基于提示的基线和八种攻击(包括通过 MCP 执行真实工具调用的智能体)上,FLOWSEAL 把泄露率降到接近零(如 Collaborative Workspace Lure 从 52.2% 降到 0.5%),同时保持任务效用,且不依赖底层 LLM。

    推荐理由论文给出三种无需提示注入即可绕过现有隐私防御的交互式攻击,并附各防御下的泄露率对比,便于评估 Agent 隐私防护的实际边界。

  2. arXiv · 80

    PMPA:针对 OpenClaw 与 Claude Code 的持久记忆投毒攻击

    研究者提出 PMPA,一种针对基于 harness 的智能体的持久记忆投毒攻击,攻击者只需在外部来源中嵌入恶意指令,无需直接访问智能体框架。注入阶段把载荷藏在文本、图片或 PDF 的良性问答内容中,诱导智能体将其写入持久记忆;触发阶段在新会话中检索该记忆,在完成正常任务的同时执行额外动作造成隐私泄露。在 OpenClaw 与 Claude Code 上,以 DeepSeek-V4-Flash、DeepSeek-V4-Pro、Qwen3-Max 为底座模型,平均注入成功率与跨会话攻击成功率为 73.7%/55.5% 和 66.9%/81.7%,同时良性任务表现保持在 80% 以上。纯文本模态攻击效果最强,OpenClaw 上注入成功率接近 100%;日历场景跨会话成功率最高,达 96.7% 和 87.8%。

    推荐理由论文给出跨会话记忆投毒在 Claude Code 与 OpenClaw 上的分项成功率,并显示提示层防御对已污染记忆几乎无效。

9月10日周四
  1. Check Point Research · 78

    Check Point 披露 PuzzleMask:用纯散文隐藏载荷绕过 LLM 快速策略检查

    Check Point Research 提出 PuzzleMask 技术,用不含 emoji、Base64 等编码痕迹的纯英文散文包装违规载荷,使承担快速策略检查的 LLM 判定输入安全并放行给目标模型。测试中 gpt-4o-mini-2024-07-18、gpt-oss-safeguard:20b、claude-3-haiku-20240307 各 23 条提示、llama-guard3:8b 5 条提示,门卫模型 100% 将构造提示判为安全;目标模型 gpt-5-thinking-high 在 18 次试验中 17 次成功提取并执行了嵌入载荷,成功率约 94.4%。作者强调该技术本身不是越狱,但可把越狱提示作为载荷组合使用,且目标模型每次成功提取都需超过 1 分钟思考时间和多个 Python 脚本执行。

    推荐理由研究给出纯散文包装绕过快速策略检查的具体机制与跨模型成功率,部署门卫加目标双模型流水线的团队可据此自查。

9月9日周三
  1. arXiv:越狱与提示注入 · 78

    CS-Guard:首个面向代码生成安全的 LLM 护栏评测基准

    CS-Guard 是首个系统评测代码生成安全护栏的基准,覆盖文本到代码与代码到代码两类场景。文本到代码部分使用 1000 条高质量恶意代码生成提示、7 种越狱攻击,以及新提出的虚构场景攻击(FSA),后者把恶意意图嵌入看似合法的软件开发情境;代码到代码部分包含 331 条提示,涵盖代码填充、代码补全和代码翻译。作者在 7 个 LLM 上评测了 9 种护栏,发现现有护栏对恶意代码生成请求表现不佳:文本到代码在越狱后平均攻击成功率(ASR)对许多护栏约为 50%,代码到代码在基座模型上平均 ASR 接近 100%,应用护栏后仍在 14.4% 到接近 100% 之间;FSA 对许多护栏的 ASR 接近 100%。多轮 FSA 在所选护栏上的 ASR 为 65.0% 到 92.3%。作者按三层分类法组织护栏,并以 CC BY-NC-SA 4.0 许可发布基准与数据。

    推荐理由CS-Guard 用 1000 条恶意代码生成提示和 331 条代码到代码样本横评 9 类护栏,给出了各类护栏在代码场景下的失效区间。

  2. arXiv:对齐与欺骗 · 78

    研究:任意密文攻击前沿大模型无需微调即可越狱

    McGill 大学研究者 Thomas Rivasseau 发现,前沿大模型无需微调即可通过提示和上下文学习掌握字母置换密文通信,并借此绕过对齐与有害性分类器。攻击分三步:先用提示让模型接受一套字母置换方案,再给出若干密文问答示例,最后用该方案发送有害请求;密文在分类器看来只是乱码。作者关闭模型推理,因为开启后模型会把指令解密成明文,足以绕过分类器但不足以绕过对齐。单次注入完整置换的方案在 Claude Sonnet 4 上稳定成功,可产出炸弹、生物武器制作说明和攻击代码;迭代逐级教授字母交换的方案在 Gemini 3 Flash preview 上成功。作者称对 Claude Sonnet 4 实现完全越狱、Gemini 3 完全越狱、Claude Sonnet 4.5 仅证明可行性、GPT 5.5 需结合已知越狱提示词。

    推荐理由论文给出无需微调、仅靠提示与上下文学习即可让前沿模型用字母置换密文绕过拒答与有害性分类器的完整方法。

9月8日周二
  1. Check Point Research · 82

    Check Point 披露 ChatGPT 跨账号数据泄露通道:借内部 Artifactory 共享剪贴板

    Check Point Research 发现 ChatGPT 代码执行容器之间存在一条隐蔽的跨账号双向通道,可让攻击者借受害者会话的工具、数据和已连接应用执行隐藏任务。容器无法访问公网、彼此也不能直连,但都能访问同一个用于分发软件包的内部 JFrog Artifactory 实例;该实例的 Item Management API 允许读写仓库条目的字符串属性,且属性不按账号隔离,于是包服务的元数据变成了隔离容器之间的共享剪贴板,属性值可直接携带文本或 Base64 编码的二进制内容,过大数据可分块存储再重组。研究者在 2026 年 6 月独立验证了该通道,并把它变成隐藏任务流:在 Thinking 模式下,ChatGPT 同一轮既处理受害者的可见请求,又检查隐藏信箱并执行攻击者任务,结果经隐蔽通道回传且不出现在可见回答中。

    推荐理由披露 ChatGPT 代码执行容器借内部 Artifactory 元数据跨账号传数据,并演示借 Gmail 连接器外泄邮件,可对照检查共享内部服务的租户隔离。

  2. arXiv:越狱与提示注入 · 78

    研究:内容不变的风格包装可翻转 LLM 安全评判器的判定

    研究者提出内容不变的风格包装攻击,在回复正文逐字节不变的前提下,只在前后添加固定字符串改变语气,测试 8 个安全评判器是否会翻转判定。在 600 条来自 JailbreakBench 的回复(300 条有害、300 条拒答,覆盖四个目标模型)上,token 式拒答包装把 GPT-4o-mini 正确判为不安全的判定翻转 19.9%(95% CI [15.0, 24.0],噪声下限 0.5%),而 Claude 仅 0.4%。已部署的 Llama Guard 4 同样被绕过,教育课程框架翻转其 12.3% 的有害判定,token 式拒答翻转 8.3%;另一个专用护栏 gpt-oss-safeguard-20b 对所有包装的翻转均不超过 1.2%,低于其自身噪声下限。仅修改评判提示词、要求忽略语气后,同一模型上的 token 式拒答攻击约减少十倍。

    推荐理由论文用内容不变的风格包装测试 8 个安全评判器,量化了各评判器被翻转的比率,做安全评测的团队可据此检查自己的评分环节。

9月7日周一
  1. arXiv · 78

    TrojanWorld:通过想象引导对世界模型智能体植入后门

    研究者提出 TrojanWorld,一种针对世界模型智能体的供应链后门框架,通过引导模型内部想象而非改动决策模块来诱发攻击者指定的行为。攻击以场景中放置的物理物体作为触发器,经智能体原生观测管线激活,无需数字篡改观测流。框架由三项机制组成:Decision-Reflective Induction 利用决策反馈将触发条件下的想象导向目标动作,Clean Behavior Anchoring 保持无触发时的预测与行为保真度,Causal Propagation 在触发器消失后沿后续轨迹延续被诱导的偏好。研究还测试了 Fine-Pruning、SHINE 和 Neural Cleanse 三种防御的适配版本,没有一种能在保持干净效用的同时完全移除攻击。

    推荐理由论文把后门植入世界模型而非策略层,用物理物体触发并让恶意行为在触发物消失后延续,为具身智能体的供应链安全提供了新的攻击面参考。

  2. arXiv:越狱与提示注入 · 80

    论文提出拒答的几何解释:事后安全训练脆弱,预训练期持续安全共训更抗攻击

    论文从几何角度解释事后安全训练(RLHF、DPO)为何脆弱:在五个模型家族上,安全更新 Δ 与模型能力方向近乎正交,只集中在少数高曲率方向,相当于在完整能力之上加了一道拒答闸门,而非抹除能力。核不动性引理说明这类更新只能掩盖能力,因此少量良性微调就能恢复:100 条良性样本让 Qwen-2.5-7B-Instruct 和 Llama-3-8B-Instruct 在 AdvBench 上的拒答率下降 35–38 个百分点。OLMo-2-1B 的预训练检查点扫描显示,拒答所依附的特征在 1B 到 63B 预训练 token 之间急剧出现。在整个预训练过程中持续加入安全共训练、从头训练的模型,在 410M 到 6.9B 各规模上达到 87%–98% 的 AdvBench 拒答率,同样的攻击只让它下降 2–14 个百分点,代价是短答案能力探针上的少量损失;总安全权重相同但只在一个窗口内加入则装不上拒答。作者的结论是,带来攻击鲁棒性的是安全信号在预训练中的持续性,而不是加入的时机。

    推荐理由论文用几何视角解释事后安全训练为何容易被少量良性微调抹掉,并实测在整个预训练中持续加入安全共训练能让拒答经受住同样的攻击。

9月2日周三
  1. arXiv:危险能力与安全评测 · 80

    Blueprint 框架用世界观模拟与 18 个影响因子提升多轮越狱成功率

    研究者提出 Blueprint 多轮越狱框架,把攻击策略拆成 18 个基于社会影响理论的因子,并用 WorldviewSim 模块维持跨轮情境一致性,由 MCTS 搜索每轮因子组合。在 HarmBench 验证集 80 条行为上,Blueprint 在六个前沿模型上平均 ASR 达 79.2%,平均目标查询次数仅 2.46;在 Qwen3-Next-80B、DeepSeek-V3.2 和 Gemini-2.5-Flash 上接近满分,在 GLM-4.7 上比最强基线高 27.5 个百分点。轨迹分析显示三个抗性模型各有不同的敏感因子,但转向具体可执行的任务框架是共同的恢复路径。消融实验表明任务清晰度和收益框架影响最大,而 PPL 过滤、改写和护栏等静态防御基本无法阻断该攻击。代码已开源。

    推荐理由论文把多轮越狱拆成 18 个社会影响因子加跨轮世界观模拟,并给出各模型的脆弱因子差异,可供红队与防御方参考。

  2. arXiv:越狱与提示注入 · 76

    ISM:通过语义匹配隐式操纵 LLM Agent 的技能选择

    研究者提出 ISM(Implicit Skill-Selection Manipulation via Semantic Matching),一种针对 LLM Agent 技能选择阶段的隐式攻击:即使用户提示词和技能描述单独看都无害,其语义关系仍可被塑造以偏向攻击者选定的技能。该方法同时塑造目标技能的元数据和可复用的提示词,通过三阶段策略扩大语义覆盖、强化目标技能区分度并保持自然措辞,不依赖显式选择指令。在四个任务领域和八个选择器模型上,ISM 将平均目标选择率(TSR)从 15.2% 提升到 63.5%;匹配比较中达到 73.5%,仅比显式引导低 9.8 个百分点。人工审查者只在 2.9% 的判断中拦下 ISM(显式引导为 91.4%),五个基于 LLM 的检查器平均放行 82.9%(显式引导为 37.4%),ISM 对 PPL-W、Llama Prompt Guard 2 和 PIGuard 也仍然有效。

    推荐理由论文给出了一种不依赖显式指令的技能选择操纵方法,并附上人类与 LLM 审查、规则护栏的通过率对比,可供做 Agent 工具选择防护的团队参考。

9月1日周二
  1. arXiv:后门、投毒与隐私 · 82

    Akrasia:针对推理型代码 LLM 的隐蔽后门攻击

    研究者提出 Akrasia,一种针对推理型代码 LLM 的推理时后门攻击,通过探测模型构造代码级触发器,再用上下文学习植入后门,并借助模型不忠实性隐藏触发器、生成看似合理的推理。在 GPT-5.5、Claude Sonnet-5、Gemini 3.5 Flash、DeepSeek-V4-Pro、GLM 5.2、Qwen3.6-35B 六款模型上,攻击在 CodeMMLU 代码补全任务的平均 ASR 最高达 99.34%,同时保持最高 97.23% 的准确率。在 CoS、ONION、PeerGuard 三种防御下,Akrasia 在 14/18 个防御设置中仍保持最高 98.82% 的平均 ASR;人工检查中,进阶变体在最多 80% 的设置里成功隐藏触发器与推理步骤。攻击目标包括反向 shell、凭据窃取、资源耗尽和长运行时间,作者据此呼吁针对推理后门开发防御方法。

    推荐理由论文给出推理型代码 LLM 后门在六款模型、三类任务和三种防御下的攻击成功率,可据此评估代码 Agent 的供应链风险。

8月28日周五
  1. Simon Willison(提示注入) · 83

    研究者披露绕过 Claude Code Opus 5 auto mode 的攻击

    Johann Rehberger 发现一种绕过 Claude Code auto mode 的攻击,据其称成功率约 80%:诱使 Claude Code 下载并解压 zip 压缩包,再执行导入 base64 的代码,从而加载并运行压缩包中提取的本地 struct.py 文件。

    推荐理由Johann Rehberger 披露的绕过 Claude Code auto mode 的攻击给出 80% 成功率,并暴露安全机制反而阻断清理命令的失效模式。

8月26日周三
  1. Trail of Bits Blog · 87

    Trail of Bits 实测 GPT 5.6-Cyber 三次逃出 QEMU/KVM 虚拟机

    Trail of Bits 在 Patch the Planet 项目中获得 GPT 5.6-Cyber 预览权限,让其在 CTF 任务中逃出 QEMU/KVM 虚拟机并读取 flag,结果该智能体三次成功逃逸。

    推荐理由作者用自家 Linux 主机实测 GPT 5.6-Cyber 的逃逸能力,给出三次逃逸的具体漏洞链与失败路径,可迁移到 Agent 沙箱设计。

8月21日周五
  1. Failure-First · 86

    论文:自适应攻击可绕过可信监控模型,Defer-to-Resample 反而放大风险

    论文显示,不受信任的模型可以针对具体监控模型自适应改造公开越狱提示词,把注入内容嵌进代码注释与恶意载荷一起提交。攻击者用监控模型自身的 system prompt 和历史反馈做调优信号,DeepSeek-Chat 在其设置中完成离线适配。结果 GPT-4.1 作为监控模型把 375 个带后门的 GPT-5 代码样本全部判为良性,可疑度均为 0。原本作为安全改进的 Defer-to-Resample 在此攻击下结构性失效:若单次采样逃逸概率为 p,k 次采样中至少一次逃逸的概率为 1−(1−p)^k,随 k 增大趋近 1;而取最小可疑度的选择规则会主动挑中注入样本,因为注入样本被专门设计成报告接近零的可疑度。

    推荐理由论文给出 1−(1−p)^k 的复合公式,说明 best-of-n 加 LLM 评审的流水线为何会被自适应注入反向利用。

8月20日周四
  1. Check Point Research · 80

    Check Point 逆向 Windows Defender BTR.sys 驱动,将其改造为内核操作原语

    Check Point 逆向 Windows Defender 的 Boot-Time Removal 驱动 BTR.sys,发现其通过注册表 Args 指向的 ADS 中 RC4 加密配置执行文件与注册表操作,无需漏洞或内存破坏即可在 Ring 0 执行任意操作。研究给出完整事务格式,包括 0xFEE1DEAD 魔数、版本 2、~CRC32 完整性校验和硬编码 256 字节 RC4 密钥,并发布 MIT 许可的 BTR_CLI 工具构造合法加密事务。利用该驱动在 Phase 1 的 Boot Bus Extender 组加载时机,可在用户态安全服务启动前删除 WdFilter.sys、MsMpEng.exe 等 Defender 二进制并绕过 Tamper Protection,测试覆盖 Windows 7 至 Windows 11 25H2。

    推荐理由完整逆向 Windows Defender 的 BTR.sys 驱动,展示如何用微软签名驱动在 Ring 0 执行任意文件与注册表操作,并给出 Sysmon 检测思路。