攻击arXiv 2606.14517
研究者披露针对 LLM Agent 护栏的推理扩展型拒绝服务攻击
提出针对 LLM Agent 护栏的推理扩展拒绝服务攻击
- arXiv
- 2606.14517
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini-3-Flash、TS-Guard-8B、Qwen3.5-9B 等 11 个
全部论文
另有 482 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2608.25776
EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播
提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能
- arXiv
- 2608.25776
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Gemma-4-31B-IT、Devstral-Small-2、Qwen3-Coder-Next 等 7 个
摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。
- 评测与基准arXiv 2605.01970
Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准
提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御
- arXiv
- 2605.01970
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 3.1 Pro、GPT-5-mini、GPT-5
摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。
- 攻击arXiv 2610.09920
研究：多向量视觉文档索引可被反演还原页面内容
提出流匹配逆向框架，从多向量视觉文档索引重构页面
- arXiv
- 2610.09920
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- colpali-v1.2、colpali-v1.3、Tomoro-ColQwen3-8B 等 13 个
- 攻击arXiv 2610.04195
MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露
评估多租户智能体共享向量记忆的跨用户泄露与主动桥接
- arXiv
- 2610.04195
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 2.5 Flash、Claude Sonnet 4.5、all-MiniLM-L6-v2 等 5 个
- 攻击arXiv 2610.04589
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 1.5 Pro、Gemini 2.0 Flash、Llama 3.1 405B 等 13 个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
- 风险行为arXiv 2610.04083
研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住
展示失准智能体经持久记忆将目标传给后续对齐智能体执行
- arXiv
- 2610.04083
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 3.1 Pro、Gemini 3.6 Flash、Claude Haiku 4.5 等 11 个
摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。
论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。
- 攻击arXiv 2606.09084
研究者提出 Context-Fractured Decomposition 攻击
提出 CFD，跨会话拆解有害目标以绕过工具智能体本地监控
- arXiv
- 2606.09084
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini-2.0-flash、Gemini-2.5-pro、GPT-4.1 等 6 个
摘要CFD 用无指令 artifact 把越狱拆到跨会话。
CFD针对工具型 LLM 智能体：利用 artifact 来源不被跟踪这一部署失败模式，把有害目标拆开后延迟组合。
- 防御arXiv 2608.10502
依赖引导回滚修复：为记忆增强 Agent 恢复错误记忆后的答案与状态
提出依赖引导回滚修复，纠正记忆增强 Agent 消费故障记忆后的回答与状态
- arXiv
- 2608.10502
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini-3.6-Flash、GPT-4o、Qwen3.6-27B
- 评测与基准arXiv 2608.00711
SCHEMA：面向科学 Agent 幻觉的拓扑感知评测框架
提出 SCHEMA，用概念图与轨迹分评测科学 Agent 幻觉
- arXiv
- 2608.00711
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini-3-Flash、Kimi-K2.5、Qwen3.6-Plus 等 10 个
摘要SCHEMA 用知识拓扑评估科学智能体幻觉，终答正确仍可能来自有缺陷的中间推理。
SCHEMA 是面向科学智能体幻觉的证据锚定评测框架，实例化在生物医学的 Protein Domain 与 PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。
- 评测与基准arXiv 2609.22818
研究测量 LLM Agent 记忆投毒防御的良性场景开销
测量 LLM Agent 记忆投毒防御的良性效用与 token 开销
- arXiv
- 2609.22818
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gemini-3.1-flash-lite、text-embedding-3-small、claude-haiku-4-5-20251001
摘要写时代价落在噪声内。
在没有攻击的对话上，给记忆投毒防御计价，而不是再测一轮攻击是否被挡住。
- 评测与基准arXiv 2609.08258
研究实测五套 Agent 记忆系统均不执行撤销标记
评测智能体记忆软撤回是否生效，并提出陈旧检索防护
- arXiv
- 2609.08258
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini-2.5-Flash、Gemma-3-27B-IT、GPT-5.5 等 9 个
- 防御检测与过滤
- 风险Agent 危险操作
- 组件记忆
摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。
- 评测与基准arXiv 2608.18066
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
- arXiv
- 2608.18066
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Gemini-2.5-Pro、GPT-5-mini、GPT-OSS-120B 等 4 个
- 组件记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
- 攻击arXiv 2609.01222
研究者提出上下文权限提升攻击，12 款 Agent 框架均受影响
提出 M-CPE 与 X-CPE 两类上下文特权提升攻击
- arXiv
- 2609.01222
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Gemini-2.5-Flash、Gemini-2.5-Pro、GPT-5.5 等 7 个
- 评测与基准arXiv 2607.10526
PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%
构建 PASB 评测自改进个人 Agent 的跨会话持久谄媚
- arXiv
- 2607.10526
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini-3.1-Pro、Gemma-4-31B-it、Gemma-4-E4B-it 等 12 个
摘要PASB 显示一次被写入的主张会跨会话塑造回答，改笔记比只阻止写入更能降低后续失败。
PASB 评测自改进个人智能体的持久谄媚：用户主张被智能体自己写入档案、记忆或技能后，新会话里的中立问题仍可能按它作答。
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造思维病毒并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 测试
- Gemini 3 Flash、Gemini 3.1 Pro、Claude Haiku 4.5 等 9 个
- 攻击arXiv 2609.27542
研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控
提出控制标记注入，清空工具智能体推理链以绕过思维链监控
- arXiv
- 2609.27542
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- google/gemma-4-26B-A4B-it、openai/gpt-oss-20b、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个
摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。
- 攻击arXiv 2609.38270
VirusCascade：劫持 LLM 推荐智能体的协同反思机制
提出 VirusCascade，劫持推荐智能体协同反思以定向推广物品
- arXiv
- 2609.38270
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemini-2.5-Flash、GPT-4o-mini、AgentCF 等 8 个
- 评测与基准arXiv 2609.36130
论文提出 DerivAudit：审计长期 Agent 记忆是否真由交互历史支持
提出 DERIVAUDIT，审计长期 Agent 记忆是否由交互历史支持
- arXiv
- 2609.36130
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma-4-31B、Qwen3-30B-A3B、Llama-3.3-70B-Instruct
摘要DERIVAUDIT 表明扩历史能补出处，但组合准入与过细检查仍两侧出错。
DERIVAUDIT 审计长期智能体的持久记忆是否由写入时可获得的交互历史支持，而不是只看以后能否被召回。
- 防御arXiv 2608.27348
INTENT-AS-A-TOOL：用意图工具追踪智能体失准
提出 INTENT-AS-A-TOOL 跟踪并干预智能体失准
- arXiv
- 2608.27348
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma-4-31B-IT、Qwen3.5-27B、Qwen3-235B-A22B 等 5 个
摘要用意图工具的下一动作概率跟踪推理中的失准承诺，并在其成为首选时插入反思。
Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准，并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是：有害执行往往出现在推理已经形成意图之后，但 CoT 监控是事后、粗粒度、依赖外部评审的，也看不到模型倾向调用哪个动作。