攻击arXiv 2610.12292
论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作
提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作
- arXiv
- 2610.12292
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- LAYA-TD、LAYA-EN、LAYA-ML 等 5 个
摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。
全部论文
另有 196 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.10742
BRANCH 方法绕过 6 套多扫描器护栏系统
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
- arXiv
- 2610.10742
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta Llama Guard 3 8B、Meta Llama Guard 7B、Meta Llama Guard 3 1B 等 18 个
- 防御arXiv 2610.09793
用时序逻辑监控工具 Agent
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
- arXiv
- 2610.09793
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
- 攻击arXiv 2610.04985
研究揭示 Jev 作为应用决策层的安全与隐私风险
评估应用决策层的输入注入与隐私推断风险
- arXiv
- 2610.04985
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Jev、NanoJev
摘要Jev 的类型化决策可被输入与训练操纵，也会泄露信息，并同时支持检测与滥用。
Jev 是 TypeSafe 的 System One 模型，把应用 state 和固定问题变成 Choice、Noul 或 Score 的类型化决策与概率。作者用官方 API 和可改训练的 NanoJev，考察它作为决策层时的操纵、泄露与双重用途。
- 防御arXiv 2610.03434
Persona Guardrail：面向智能体系统的生产级防御框架
提出 Persona Guardrail，强制客服智能体守住功能边界
- arXiv
- 2610.03434
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- Qwen3-30B-A3B、Qwen3-VL-30B、Qwen3-8B 等 5 个
摘要Persona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。
Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。
- 防御arXiv 2610.02432
论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护
提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感
- arXiv
- 2610.02432
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
- 被测模型
- Gemma-3-27B-Instruct、Gemma-3-4B-Instruct、Llama-3.2-3B-Instruct 等 12 个
- 攻击arXiv 2610.01871
研究者提出 IMMRAG 攻击，可从多模态 RAG 数据存储中提取医学与文档图像
提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容
- arXiv
- 2610.01871
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Lumina-mGPT、Gemini 2.5 Flash Image Preview、CLIP ViT-B/16 等 5 个
- 防御arXiv 2610.00400
DART：用表征位移检测多轮 LLM 智能体中的新兴安全风险
提出 DART，用去噪表征转移检测多轮智能体攻击并注入提醒
- arXiv
- 2610.00400
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- Qwen3-8B、Qwen3-14B、Qwen3-32B 等 6 个
- 防御arXiv 2609.22724
MATE：面向移动 Agent 的策略感知安全审计方法
提出移动 Agent 轨迹审计器 MATE，判断轨迹是否违反可编辑安全策略
- arXiv
- 2609.22724
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 攻击者
- 黑盒
- 被测模型
- MATE-0.5B、MATE-1.5B、MATE-3B
- 防御监控与审计
- 攻击恶意使用
- 风险Agent 危险操作
- 组件监控器
摘要MATE 用合成轨迹微调轻量审计器，在可编辑策略下判断移动智能体轨迹是否违规并给出解释。
MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器，在给定自然语言安全策略时判断轨迹是否违规并解释原因。
- 攻击arXiv 2609.19722
ALIBI：向二进制注入虚假安全叙事可让 LLM 恶意软件分析器误判
提出 ALIBI，向恶意二进制注入不执行掩护叙事使分析器误判为良性
- arXiv
- 2609.19722
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Gemini 2.5 Pro、GPT-5.5 Pro、Claude Opus 4.7
摘要ALIBI 用二进制内的掩护叙事重释可疑静态证据，Gemini 上翻转多，另两模型主要为降级。
ALIBI 是针对 LLM 恶意软件分诊的语义掩护叙事攻击：不覆盖系统指令，而把仍可见的可疑静态证据重释成良性安全产品的预期行为。
- 攻击arXiv 2609.15383
微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力
提出能力洗钱攻击，拆分任务向对齐模型套取能力
- arXiv
- 2609.15383
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个
摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。
- 攻击arXiv 2609.14649
CIG-MIA：利用上下文信息增益对 RAG 系统发起成员推断攻击
提出 CIG-MIA，用上下文信息增益推断 RAG 知识库成员身份
- arXiv
- 2609.14649
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Llama-2-13b-chat-hf 等 6 个
摘要CIG-MIA 用注入前后的答案似然差推断 RAG 库成员，灰盒可分性高于所列基线。
CIG-MIA 是针对 RAG 外部知识库的成员推断攻击，同时覆盖灰盒和纯文本黑盒。
- 防御arXiv 2609.08394
Windows 恶意软件检测器作为复合 AI 系统：准确率、效率与对抗鲁棒性的权衡
提出 OBELISK 三级流水线，权衡恶意软件检测的准确率、开销与鲁棒性
- arXiv
- 2609.08394
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GBDT-ALL、GBDT-YARA、NEBULA-ALL 等 4 个
摘要三级过滤以不大的检测损失换速度，同一机制扩大攻击面，部署应按约束选配置。
OBELISK 把 Windows PE 恶意软件检测做成 YARA、EMBER-GBDT 与 Nebula 的顺序流水线，用来同时看检出、计算开销和对抗鲁棒性。
- 攻击arXiv 2608.27439
RedEvoAgent：以经验驱动技能演化的自动红队智能体
提出 RedEvoAgent，演化攻击技能对黑盒智能体做自动红队
- arXiv
- 2608.27439
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
- 被测模型
- MiniMax-M2.5、DeepSeek-V4-Flash、Qwen3.5-35B
摘要RedEvoAgent 用验证棘轮演化可读攻击技能，在两种产品级 harness 上多数设置高于固定工具与红队基线。
RedEvoAgent 是面向产品级 black-box 智能体的自动红队方法，用一份可演化、人类可读的攻击技能编排多个越狱工具。。
- 防御arXiv 2608.17829
LeakGauge：用行为探针在解码前检测上下文泄露攻击信号
提出 LeakGauge，用行为后缀的 prefill 对数概率检测上下文泄露
- arXiv
- 2608.17829
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Gemma-4-E4B-it、Gemma-4-31B-it、Qwen2.5-14B-Instruct 等 11 个
- 攻击arXiv 2608.09732
ColluSkill 用跨技能组合绕过 Agent 技能扫描器
提出 ColluSkill，用跨技能组合绕过 Agent 技能扫描器
- arXiv
- 2608.09732
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5、DeepSeek-V4-Pro、GLM-5.2
摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。
- 防御arXiv 2608.06422
CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用
提出分片监督，将评判标准分配给独立调用以抵御展示攻击
- arXiv
- 2608.06422
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 4 个
摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。
本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。
- 攻击arXiv 2608.04192
研究者提出 SkillClone，仅凭正常提问即可克隆 LLM Agent 隐藏技能功能
提出 SkillClone，仅凭良性任务交互重构闭源 Agent 技能
- arXiv
- 2608.04192
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- DeepSeek-Flash、DeepSeek-Pro、GLM-5.1 等 5 个
摘要论文揭示了仅靠良性任务交互即可重构闭源智能体技能隐藏功能的风险，表明功能保密需要限制累积信息泄露。
论文从功能保密视角系统研究了大语言模型智能体技能的行为重构威胁。
- 攻击arXiv 2607.26115
OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体
训练自博弈红队智能体 GPT-Red，规模化生成提示注入与越狱攻击
- arXiv
- 2607.26115
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- GPT-5.6、GPT-5.5、GPT-5.4 等 8 个
- 攻击arXiv 2607.25560
SigLeak 可从执行轨迹推断专有 Agent 技能
提出 SigLeak，从黑盒 Agent 执行轨迹推断专有技能
- arXiv
- 2607.25560
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- GPT-5.4-mini、GPT-5.5、GLM-5.2 等 4 个
摘要提出了通过良性查询和对照轨迹推断黑盒专有技能的 SigLeak 框架，揭示了智能体执行可见性带来的行为侧信道泄露风险。