10月8日 · 周四

红队 · 论文

找到 3 篇

筛选2

攻击类型

提示注入1 检测规避1

防御类型

模型加固1 检测与过滤1 指令与数据隔离1 权限与审批1

影响

越权操作2 监督失效1

系统形态

模型与 API1 LLM 应用1 AI Agent9 编程 Agent3 网页与电脑操作2

攻击者权限

攻击面/入口

网页与界面2 文档与消息1 工具返回1 工具与技能描述1

层

系统组件

MCP 与技能1 护栏与评审1 权限与沙箱1

被测模型厂商

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 95 篇还没打标签，不在筛选结果里。

系统形态：LLM 应用系统形态：网页与电脑操作话题：红队清除全部

另有 95 篇论文还没打上分类标签，暂不在筛选结果里。

防御arXiv:2610.03089 · 10月2日
COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构
提出 COBRA 双 LLM 架构，防御计算机使用智能体的分支转向攻击
网页与电脑操作测试gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个应用层
摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。
完整解读
防御arXiv:2608.06422 · 8月6日
CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用
提出分片监督，将评判标准拆至独立调用以改善一致性并抵御展示攻击
LLM 应用攻击者黑盒测试Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 5 个应用层
摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。
本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。
完整解读
防御arXiv:2609.22178 · 8月27日
SCOPE：训练有能力且安全的计算机使用智能体
提出 SCOPE 联合后训练计算机使用智能体的任务执行与安全决策
网页与电脑操作测试Qwen3.5-9B、SCOPE-mid-checkpoint、SCOPE-Capability-Safety 等 14 个应用层
- 模型加固
- 提示注入
完整解读

已经到底了