10月8日 · 周四

红队 · 论文

找到 7 篇

筛选1

攻击类型

越狱2 提示注入3

攻击技术

潜伏触发1

模型自身风险

失准与价值偏离1

防御类型

指令与数据隔离1 权限与审批4

影响

越权操作6 数据与隐私泄露1

系统形态

AI Agent7 编程 Agent2 网页与电脑操作1 多智能体1

攻击面/入口

用户输入3 网页与界面1 工具返回1 工具与技能描述2 代码仓库与依赖1 记忆写入2 Agent 间消息1

层

应用层7

系统组件

MCP 与技能12 记忆3 RAG2 护栏与评审11 监控器4 推理链2 权限与沙箱7 微调与开源权重1 视觉5 音频1 视频1 图像生成1 多模态7

被测模型厂商

Anthropic6 Qwen（阿里）5 Kimi（月之暗面）5 其他7

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 95 篇还没打标签，不在筛选结果里。

系统组件：权限与沙箱话题：红队清除全部

另有 95 篇论文还没打上分类标签，暂不在筛选结果里。

评测与基准arXiv:2609.22076 · 9月18日
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
提出 APort Vault，评测支付智能体授权层对越权转账的拦截
AI Agent测试Claude Fable 5.1、Claude Sonnet 5、Claude Haiku 4.5 等 14 个应用层
完整解读
评测与基准arXiv:2610.07639 · 10月6日
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制
编程 Agent测试GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个应用层
完整解读
防御arXiv:2610.04504 · 10月3日
论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证
提出 VAL 框架并用确认门与参数沙箱约束高风险工具调用
AI Agent测试DeepSeek-chat、Meta Llama 3.1 8B、Kimi应用层
完整解读
防御arXiv:2610.03089 · 10月2日
COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构
提出 COBRA 双 LLM 架构，防御计算机使用智能体的分支转向攻击
网页与电脑操作测试gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个应用层
摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。
完整解读
风险行为arXiv:2609.35799 · 9月18日
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
AI Agent测试GLM 5.2、GLM 5.3、Kimi K3 等 9 个应用层
- 失准与价值偏离
- 权限与沙箱
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
完整解读
攻击arXiv:2610.00392 · 10月2日
A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型
提出 A2A-TIBA 间接提示注入，诱导智能体部署常驻回调并外传数据
多智能体编程 Agent测试MiniMax-M3、deepseek-v4-pro、glm-5.3 等 8 个应用层
摘要A2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。
A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。
完整解读
防御arXiv:2609.34518 · 9月28日
SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE
提出工具智能体的状态攻击 DART 与预执行防御 SAGE
AI Agent测试GPT-5.6 Luna、GPT-5.6 Terra、Gemini 3.8 Flash 等 8 个应用层
摘要论文提出状态控制框架 SEAD、攻击 DART 与防御 SAGE，实验显示执行反馈与环境探测在攻防交互中具有关键作用。
完整解读

已经到底了

红队 · 论文

攻击类型

攻击技术

模型自身风险

防御类型

影响

系统形态

攻击面/入口

层

系统组件

被测模型厂商

APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权

HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

论文提出 VAL 框架：相同 ASR 的 LLM Agent 防御可能对应不同安全保证

COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE