攻击arXiv 2606.14517
研究者披露针对 LLM Agent 护栏的推理扩展型拒绝服务攻击
提出针对 LLM Agent 护栏的推理扩展拒绝服务攻击
- arXiv
- 2606.14517
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- TS-Guard-8B、Qwen3.5-9B、DeepSeek-V3.2 等 11 个
Agent 安全 · 论文
另有 234 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 防御arXiv 2610.05637
研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点
提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口
- arXiv
- 2610.05637
- 发表
- 场景
- 模型与 API
- 测试
- Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B 等 5 个
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。
- 评测与基准arXiv 2610.03938
论文发现多模态模型启用工具后拒答失败率最高上升 68.7%
评测启用工具调用后多模态模型拒答有害图文请求的变化
- arXiv
- 2610.03938
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Claude Opus 4.6 等 13 个
摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。
论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。
- 评测与基准arXiv 2609.09404
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测智能体框架的多模态提示注入
- arXiv
- 2609.09404
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
- 分析与理论arXiv 2608.06270
研究用因果审计揭示多模态模型视觉工具调用的假象
用因果审计检验视觉工具观察是否真正改变答案
- arXiv
- 2608.06270
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- DeepEyes、Pixel Reasoner、Mini-o3 等 6 个
- 组件视觉
摘要聚合增益集中在 Calibrated 少数轨迹，作者称之为视觉工具使用的错觉。
对六个 thinking-with-images 模型做因果审计，检查 crop-and-zoom 返回的观察是否中介最终答案。
- 评测与基准arXiv 2609.05535
Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测
提出 Mind2Web-Injection，评测网页 Agent 截图护栏的证据对齐
- arXiv
- 2609.05535
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5.6-luna、Qwen3-VL-32B、Qwen3-VL-8B 等 6 个
摘要作者称检测、定位和反事实响应在六个 VLM 上可分开。
Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。
- 攻击arXiv 2609.27542
研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控
提出控制标记注入，清空工具智能体推理链以绕过思维链监控
- arXiv
- 2609.27542
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个
摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。
- 攻击arXiv 2609.04533
Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击
提出 Repeat-After-Me，以图像前缀诱导智能体调用工具或泄露隐私
- arXiv
- 2609.04533
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude-Opus-4.7、GPT-5.5、Gemini-3.1-Pro 等 11 个
摘要论文提出了针对黑盒 VLM 的前缀诱导自适应视觉提示注入，在多款模型上诱发了工具调用与隐私泄露。
- 其他arXiv 2609.12413
SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量
综述智能体执行链路中的越狱攻击、防御与实践权衡
- arXiv
- 2609.12413
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Llama-3.1-8B-Instruct
摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。
Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。
- 其他arXiv 2609.23894
综述提出智能体 AI 安全的跨维度威胁分类 T={S,B,P,A}
提出威胁分类 T 并映射智能体红队研究与安全基准的覆盖
- arXiv
- 2609.23894
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 组件推理链
- 评测与基准arXiv 2609.08126
SchemeArena：面向 LLM 智能体谋划的因子化压力测试基准
提出 SchemeArena 因子化评测智能体的谋划倾向
- arXiv
- 2609.08126
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-8B、Qwen3-32B、o4-mini 等 5 个
摘要SchemeArena 把 scheming 拆成目标和 hint 等因子。
- 防御arXiv 2608.27348
INTENT-AS-A-TOOL：用意图工具追踪智能体失准
提出 INTENT-AS-A-TOOL 跟踪并干预智能体失准
- arXiv
- 2608.27348
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma-4-31B-IT、Qwen3.5-27B、Qwen3-235B-A22B 等 5 个
摘要用意图工具的下一动作概率跟踪推理中的失准承诺，并在其成为首选时插入反思。
Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准，并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是：有害执行往往出现在推理已经形成意图之后，但 CoT 监控是事后、粗粒度、依赖外部评审的，也看不到模型倾向调用哪个动作。
- 分析与理论arXiv 2609.34572
论文提出 Nudgeability：推理模型会跟随置信信号却不追踪自身能力
提出 Nudgeability，测量推理模型跟随信心信号调整工具委派的对准程度
- arXiv
- 2609.34572
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3-4B、Qwen3-8B、Qwen3-14B 等 11 个
- 组件推理链
- 防御arXiv 2609.03438
CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行
作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。
- arXiv
- 2609.03438
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- UI-Venus-1.5-8B、UI-TARS-1.5-7B、OS-Atlas-Base-7B 等 10 个
- 防御推理时干预
- 风险Agent 危险操作
- 组件视觉
摘要ConflictGUI 暴露 GUI 智能体的执行偏向过度服从，ConflictGuard 用条件转向提高冲突终止率。
ConflictGuard用推理时的可行性核验和条件激活转向，让 GUI 智能体在指令不可行时终止，而不是盲执行。
- 防御arXiv 2609.36121
Render Before Reading：把不可信内容渲染成图像以防御提示注入
提出 Pictionary，将不可信文本渲染为图像以防御提示注入
- arXiv
- 2609.36121
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Opus 4.7、Claude Haiku 4.5、GPT-5.5 等 12 个
- 评测与基准arXiv 2609.35912
MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作
提出 MMSkillRisk 与 NCVA，评测技能图像隐藏指令诱导的未授权操作
- arXiv
- 2609.35912
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等 6 个
摘要论文提出 MMSkillRisk 基准与 NCVA 攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
- 防御arXiv 2609.35659
Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统
提出 Tracekit，对编码 Agent 做防篡改的意图-推理-动作审计
- arXiv
- 2609.35659
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Code (claude -p, version 2.1)、独立评审（同一 CLI，无工具）
- 防御监控与审计
- 攻击提示注入
- 风险Agent 危险操作
- 组件监控器
摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。
Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。
已经到底了