10月8日 · 周四

Agent 安全 · 论文

找到 2 篇

筛选1

攻击类型

投毒与后门1

攻击技术

模型自身风险

欺骗与谋划1 奖励作弊1

影响

有害内容1 越权操作22 数据与隐私泄露13 输出被操纵10 监督失效2

系统形态

AI Agent2 编程 Agent2 网页与电脑操作1

攻击面/入口

网页与界面1 代码仓库与依赖1 训练数据1 权重与梯度1

层

应用层1 训练与数据层1

系统组件

护栏与评审1 权限与沙箱1 微调与开源权重1

被测模型厂商

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 377 篇还没打标签，不在筛选结果里。

影响：监督失效话题：Agent 安全清除全部

另有 377 篇论文还没打上分类标签，暂不在筛选结果里。

攻击arXiv:2605.12673 · 5月12日
UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷
提出 BENCHJACK，自动审计智能体基准的奖励作弊缺陷
编程 Agent 网页与电脑操作测试Claude Code、OpenAI Codex应用层
摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。
论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。
完整解读
攻击arXiv:2610.05793 · 10月5日
研究者训练出按多智能体拓扑触发的代码后门模型
微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞
编程 Agent测试Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct训练与数据层
摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
完整解读

已经到底了