攻击arXiv 2606.14517
研究者披露针对 LLM Agent 护栏的推理扩展型拒绝服务攻击
提出针对 LLM Agent 护栏的推理扩展拒绝服务攻击
- arXiv
- 2606.14517
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini-3-Flash、TS-Guard-8B、Qwen3.5-9B 等 11 个
全部论文
另有 592 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2606.09700
研究者提出 HPAA 攻击：用排版视觉线索绕过 13 个内容审核系统
提出 HPAA 攻击，用排版视觉线索绕过内容审核系统
- arXiv
- 2606.09700
- 发表
- 层
- 提示层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 测试
- ShieldGemma-2B、ShieldGemma-9B、Gemini 2.0 Flash 等 13 个
摘要揭示了排版视觉线索与分词差异带来的审核盲区，HPAA 以极低查询实现近乎完全规避。
这篇论文研究了人类视觉感知与大模型分词处理机制之间的差异所导致的内容审核漏洞。
- 攻击arXiv 2608.16246
CompoSkill 框架利用逐个通过扫描的 Agent 技能组合发起攻击
提出 CompoSkill，诱导 Agent 将过审技能组合成攻击链
- arXiv
- 2608.16246
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini-3.1-flash、GPT-5.4、DeepSeek-V4 等 4 个
摘要论文分析了智能体技能组合风险，指出单包安全认证状态不具备可组合性，需转向路径级防护。
- 攻击arXiv 2608.25776
EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播
提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能
- arXiv
- 2608.25776
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Gemma-4-31B-IT、Devstral-Small-2、Qwen3-Coder-Next 等 7 个
摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。
- 分析与理论arXiv 2610.09517
审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度
开环审计冻结视觉安全分，发现偏离主要来自场景模板与视角
- arXiv
- 2610.09517
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 测试
- CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B 等 6 个
- 组件视觉
摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。
本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。
- 评测与基准arXiv 2605.01970
Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准
提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御
- arXiv
- 2605.01970
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 3.1 Pro、GPT-5-mini、GPT-5
摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。
- 攻击arXiv 2610.09920
研究：多向量视觉文档索引可被反演还原页面内容
提出流匹配逆向框架，从多向量视觉文档索引重构页面
- arXiv
- 2610.09920
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- colpali-v1.2、colpali-v1.3、Tomoro-ColQwen3-8B 等 13 个
- 攻击arXiv 2610.07723
研究者提出答案侧后门：让模型自生成触发词绕过安全拒答
提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答
- arXiv
- 2610.07723
- 发表
- 场景
- 模型与 API
- 测试
- Gemma-7B-it、Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3 等 4 个
摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
- 攻击arXiv 2610.04195
MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露
评估多租户智能体共享向量记忆的跨用户泄露与主动桥接
- arXiv
- 2610.04195
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 2.5 Flash、Claude Sonnet 4.5、all-MiniLM-L6-v2 等 5 个
- 攻击arXiv 2610.04589
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 1.5 Pro、Gemini 2.0 Flash、Llama 3.1 405B 等 13 个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
- 风险行为arXiv 2610.04083
研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住
展示失准智能体经持久记忆将目标传给后续对齐智能体执行
- arXiv
- 2610.04083
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 3.1 Pro、Gemini 3.6 Flash、Claude Haiku 4.5 等 11 个
摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。
论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。
- 防御arXiv 2609.05797
论文发现安全监控器主要拦截模型本就会拒答的请求
评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检
- arXiv
- 2609.05797
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Gemma-4-31B-IT、Qwen3-32B、Llama Guard 3 8B 等 6 个
摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
- 评测与基准arXiv 2609.22818
研究测量 LLM Agent 记忆投毒防御的良性场景开销
测量 LLM Agent 记忆投毒防御的良性效用与 token 开销
- arXiv
- 2609.22818
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gemini-3.1-flash-lite、text-embedding-3-small、claude-haiku-4-5-20251001
摘要写时代价落在噪声内。
在没有攻击的对话上，给记忆投毒防御计价，而不是再测一轮攻击是否被挡住。
- 评测与基准arXiv 2609.05535
Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测
提出 Mind2Web-Injection，评测网页 Agent 截图护栏的证据对齐
- arXiv
- 2609.05535
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Gemma-4-31B、Gemma-3-27B、GPT-5.6-luna 等 6 个
摘要作者称检测、定位和反事实响应在六个 VLM 上可分开。
Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。
- 评测与基准arXiv 2607.05462
BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准
提出 BioSecBench-Refusal，评测智能体生物安全拒答是否对准风险
- arXiv
- 2607.05462
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Gemini 3.5 Flash、Gemini 3.1 Pro、Opus 4.8 等 10 个
摘要配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。
BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。
- 评测与基准arXiv 2609.02316
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御
- arXiv
- 2609.02316
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 11 个
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
- 评测与基准arXiv 2609.08258
研究实测五套 Agent 记忆系统均不执行撤销标记
评测智能体记忆软撤回是否生效，并提出陈旧检索防护
- arXiv
- 2609.08258
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini-2.5-Flash、Gemma-3-27B-IT、GPT-5.5 等 9 个
- 防御检测与过滤
- 风险Agent 危险操作
- 组件记忆
摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。
- 评测与基准arXiv 2608.18066
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
- arXiv
- 2608.18066
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Gemini-2.5-Pro、GPT-5-mini、GPT-OSS-120B 等 4 个
- 组件记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
- 攻击arXiv 2609.01222
研究者提出上下文权限提升攻击，12 款 Agent 框架均受影响
提出 M-CPE 与 X-CPE 两类上下文特权提升攻击
- arXiv
- 2609.01222
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Gemini-2.5-Flash、Gemini-2.5-Pro、GPT-5.5 等 7 个
- 评测与基准arXiv 2609.05843
SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准
提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性
- arXiv
- 2609.05843
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Gemini 3.1 Pro Preview、Gemini 3.5 Flash、GPT-5.4 mini 等 12 个
摘要SinoGlyphBench 显示中文字形混淆会同时增加有害漏报和误报，全文扰动最重。
SinoGlyphBench是一个配对诊断基准，用来看内容审核在可还原的中文字形混淆下是否还保持原决定。