攻击arXiv 2610.12292
论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作
提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作
- arXiv
- 2610.12292
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- LAYA-TD、LAYA-EN、LAYA-ML 等 5 个
摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。
全部论文
另有 194 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.11942
LGWM：用动作条件世界模型验证 GUI 智能体的屏幕转移
提出 LGWM，用动作条件世界模型核验 GUI 智能体屏幕转移
- arXiv
- 2610.11942
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- LGWM
- 评测与基准arXiv 2610.11112
EpiReal-Bench：商用图像生成模型虚假声明红队基准
构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据
- arXiv
- 2610.11112
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等 4 个
摘要四款商用图像模型能把假主张画成可信证据。
EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。
- 攻击arXiv 2610.10742
BRANCH 方法绕过 6 套多扫描器护栏系统
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
- arXiv
- 2610.10742
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta Llama Guard 3 8B、Meta Llama Guard 7B、Meta Llama Guard 3 1B 等 18 个
- 防御arXiv 2610.09793
用时序逻辑监控工具 Agent
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
- arXiv
- 2610.09793
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
- 防御arXiv 2610.09703
研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制
提出 Safety-Aware Pruning，缓解视觉 token 剪枝放大的多模态越狱
- arXiv
- 2610.09703
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- LLaVA-1.5-7B
摘要剪枝去掉背景 token 后注意力塌向恶意前景。
这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为，并给出推理时防御 SAP。
- 防御arXiv 2610.09469
Secure-CUA：约束计算机使用智能体中不可信内容的影响
提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响
- arXiv
- 2610.09469
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。
Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 被测模型
- LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 攻击arXiv 2610.09027
P-VMI：对抗图像经 KV cache 持续影响多轮对话
提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出
- arXiv
- 2610.09027
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B
摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。
- 攻击arXiv 2610.07723
研究者提出答案侧后门：让模型自生成触发词绕过安全拒答
提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答
- arXiv
- 2610.07723
- 发表
- 场景
- 模型与 API
- 被测模型
- Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个
摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
- 防御arXiv 2610.07657
DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降
实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击
- arXiv
- 2610.07657
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Qwen3-235B-A22B-Instruct-2507、gpt-oss-120b、Llama-4-Scout-17B-16E-Instruct 等 5 个
摘要DEFER 把确定性检查放在 judge 之前。
DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。
- 评测与基准arXiv 2610.06503
研究评测五款开源文生图模型的有害内容生成与审核缺口
评测文生图模型的有害内容生成能力与审核检测缺口
- arXiv
- 2610.06503
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SDXL、Stable Diffusion 3.5 Large、FLUX.1-dev 等 12 个
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 攻击arXiv 2610.05943
CRIME 框架利用良性 Agent 技能组合诱发恶意行为
提出 CRIME 框架，组合良性 Agent 技能诱发恶意行为
- arXiv
- 2610.05943
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Flash、GPT-4o-mini、GPT-4o 等 6 个
摘要良性技能经 DCA 或 ACA 组合后可产生恶意环境后果，单独审查对不上。
CRIME 把公共技能库中各自通过审查的技能配成两两组合，看联合执行能否实现指定恶意任务。。
- 分析与理论arXiv 2610.07009
研究受控拆解图像到文本越狱中图像属性的作用
固定有害指令，单轴归因图像到文本越狱的图像属性
- arXiv
- 2610.07009
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- GPT-4o、Claude Sonnet 4.5、Qwen3-VL-8B-Instruct 等 6 个
摘要固定文本的图像越狱拆解，只在 Qwen 上给出一条有界相关性归因。
- 攻击arXiv 2610.04589
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
提出 StegoMemory，评测智能体持久记忆作为跨会话隐写信道
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
- 防御arXiv 2610.04504
论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证
提出 VAL 框架，并用确认门与参数沙箱约束智能体高风险工具调用
- arXiv
- 2610.04504
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-chat、Meta Llama 3.1 8B、Kimi
- 防御arXiv 2610.04412
论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性
提出检测、结构化与 GSPO 流程，降低共识生成的提示注入错位
- arXiv
- 2610.04412
- 发表
- 层
- 应用层
- 被测模型
- LLaMA-2 7B、LLaMA-3 8B、GPT 3.5 Turbo 等 14 个
摘要三章依次做个体偏好预测、政党知识图谱审议，以及共识生成对提示注入的脆弱性与一条防御流程。
这是一篇把 LLM 数字孪生放进增强民主的博士论文，分个体表示、政党聚合和共识生成的提示注入三章。
- 防御arXiv 2610.03434
Persona Guardrail：面向智能体系统的生产级防御框架
提出 Persona Guardrail，强制客服智能体守住功能边界
- arXiv
- 2610.03434
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- Qwen3-30B-A3B、Qwen3-VL-30B、Qwen3-8B 等 5 个
摘要Persona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。
Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。
- 防御arXiv 2610.02853
研究提出基于收缩约束状态空间模型的有界可达性与越狱检测方法
提出收缩约束 SSM 安全头，认证嵌入扰动并检测越狱
- arXiv
- 2610.02853
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- ToySSMClassifier、S4 safety head
摘要收缩给出玩具 LTI 的有界认证。
给 SSM 安全头一个收缩条件，并在越狱检测上使用收缩正则的 S4 头。。