Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
All papers Found 19 papers Another 265 papers do not have category tags yet and are not included in filtered results.
“
About this collection Collection in progress We are building a large AI safety paper collection to help researchers find work related to their interests. Papers are collected automatically andfiltered only for relevance to AI safety , without judging quality, novelty or reading value. The default “Annotated first” shows papers with tags or published paper analyses first. Each group is ordered by original publication date, newest first, with undated papers last. “Newest first” uses publication dates only. This order is not a quality ranking.
One-line summaries, tags and paper analyses are prepared by AI from the papers. Language models may have systematic biases and produce hallucinations.We plan to carry out human annotation and review to reduce errors in this content.
提出 ASPIRE 行为图搜索，开放式发现 Agent 提示注入漏洞
Published Oct 7
Evaluated models Gemini-3.7-Flash , DeepSeek-V4-Flash , Gemini-2.5-flash Abstract ASPIRE 把提示注入红队从载荷优化改成行为图引导的开放式漏洞发现。ASPIRE 是给搭建方用的智能体提示注入红队引擎，目标是开放式画出可利用的行为路径，而不是在固定任务上打磨一条载荷。
提出 AdaLCPI，把恶意指令拆成碎片嵌入工具返回并诱导 Agent 越权执行
Published Sep 29
Evaluated models GPT-4.1 , GPT-5.1 , GPT-5.6-Luna and others7 用跨目标课程强化学习训练提示注入红队，攻破前沿智能体
Published Sep 27
Evaluated models GPT-4o-mini , GPT-5-nano , GPT-5.6-Luna and others12 Abstract 提出跨目标模型课程强化学习，攻破前沿模型冷启动瓶颈并实现跨模型迁移。该研究针对强化学习自动化提示注入红队在攻击前沿大模型时的冷启动问题，提出了一种基于目标模型鲁棒性递进的课程强化学习方法。
测量间接提示注入对类型化概率决策的动作劫持
Published Sep 24
Evaluated models jev-1.13.0 Abstract 封闭动作集改变提示注入的表现，但没有去掉概率被不可信内容移动的风险。作者在 jev-1.13.0 上研究 decision hijacking：不可信内容能否在用户任务和可选动作都不变时，把类型化决策推向攻击者目标。
提出两阶段框架 A2M，优化 MCP 工具元数据与返回载荷以劫持 Agent
Published Sep 23
Evaluated models GLM-4.6 , Qwen3-Max , DeepSeek-V3.1 and others5 提出 Search Harness，把间接提示注入做成测试时搜索并自适应利用
Published Sep 4
Evaluated models Claude Opus 4.8 , GPT-5.5 提出 ECLIPSE 双通道提示注入，劫持长程 Agent 的动作轨迹
Published Aug 31
Evaluated models DeepSeek , GPT-4o , Claude 4.8 Opus and others7 提出 PIMiner，用可复用策略库自动搜索并迁移针对智能体的提示注入
Published Aug 6
Evaluated models Gemini-2.5-Pro , DeepSeek-V4-Pro , GPT-4o-mini and others10 提出权威链劫持与轨迹引导策略演化，劫持搜索 Agent 的证据链
Published Aug 5
Evaluated models Qwen3.5-9B , Gemma4-31B , DeepResearch and others7 Abstract 论文揭示了多步搜索智能体在受限中间人操纵下的脆弱性，提出 ACH 策略与 TGSE 演化方法并完成系统验证。
训练自博弈红队智能体 GPT-Red，规模化生成提示注入与越狱攻击
Published Jul 29
Evaluated models GPT-5.6 , GPT-5.5 , GPT-5.4 and others8 提出 AHA 自动科研循环，发现生产 Agent 的可复用漏洞概念
Published Jul 13
Evaluated models Minimax-M2.7 , Kimi-K2.6 , Deepseek-V4-Pro and others5 Abstract 论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。
提出 MEMGHOST，用单封邮件对持久个人 Agent 做跨会话隐蔽记忆注入
Published Jul 6
Evaluated models GPT-5.4 , Claude Sonnet 4.6 , Claude Sonnet 4.5 and others6 Abstract 总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。
提出 MAStrike，用 Shapley 选联盟对多智能体做共谋红队
Published Jun 11
Evaluated models Claude Opus 4.7 , GPT-5.5 , Gemini 3.1 Pro 构建 Trojan Hippo Bench，评测 Agent 持久记忆投毒与外泄
Published May 4
Evaluated models Gemini 3.1 Pro , GPT-5-mini , GPT-5 Abstract 论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。
提出 TIP，用树搜索为 MCP 响应生成隐蔽注入载荷
Published Mar 25
Evaluated models Qwen2.5-7B-Instruct , Qwen2.5-72B-Instruct , Llama3.1-8B-Instruct and others8 Abstract TIP 在 MCP 工具响应上做黑盒注入。TIP 是面向 MCP 工具响应的 black-box 间接提示注入，目标是在不改工具元数据的情况下生成语义连贯的 JSON 载荷。
提出 AdapTools 自适应间接提示注入，诱导智能体调用指定工具
Published Feb 24
Evaluated models GPT-4.1 , DeepSeek-R1 , Gemini-2.5-Flash and others6 提出 DREAM 框架，评测 Agent 的跨环境长链攻击脆弱性
Published Dec 22, 2025
Evaluated models Gemini-2.5-Flash-NT , o4-mini , Gemini-2.5-Flash and others12 Abstract DREAM 提出基于知识图谱与策略搜索的动态红队框架，分析了长链跨环境攻击对当前主流智能体的系统性威胁。
Attacks arXiv 2510.09023 · Oct 10, 2025 提出自适应攻击框架，击穿越狱与提示注入防御
Published Oct 10, 2025
Evaluated models Gemini-2.5 Pro , GPT-5 Mini , Llama-3.3 70B and others15 Attacks arXiv 2510.04885 · Oct 6, 2025 提出 RL-Hammer，从零训练攻击模型经工具输出实施提示注入
Published Oct 6, 2025
Evaluated models Llama-3.1-8B-Instruct , Meta-SecAlign-8B , Meta-SecAlign-70B and others10 Abstract 作者称通过无热启动的强化学习可有效突破具备防御的商业模型，论文提出的 RL-Hammer 促使业界关注提示注入风险。RL-Hammer 是一个无需热启动数据、基于 GRPO 算法从零训练的黑盒提示注入对抗攻击框架。现有针对大语言模型智能体的提示注入防御（如 Instruction Hierarchy 与 SecAlign）主要在静态或弱攻击下测试，在面对自动化强力攻击时的真实防御能力缺乏充分检验。方法的核心机制包括。
You have reached the end