跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 4 篇
筛选2

攻击类型

提示注入1

模型自身风险

奖励作弊2

防御类型

监控与审计1

影响

越权操作8数据与隐私泄露2输出被操纵2可用性与可靠性1监督失效4

系统形态

LLM 应用1AI Agent3编程 Agent2网页与电脑操作1多智能体1

攻击面/入口

用户输入1网页与界面1代码仓库与依赖1

层

提示层1应用层3

系统组件

MCP 与技能1记忆1护栏与评审4监控器15推理链2权限与沙箱4微调与开源权重1

被测模型厂商

其他4
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 275 篇还没打标签，不在筛选结果里。
影响：监督失效系统组件：护栏与评审话题：Agent 安全清除全部

另有 275 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2605.12673

    UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    提出 BENCHJACK，自动审计智能体基准的奖励作弊缺陷

    arXiv
    2605.12673
    发表
    层
    应用层
    场景
    编程 Agent、网页与电脑操作
    测试
    Claude Code、OpenAI Codex
    摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。

    论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。

    深度解读完整解读
  2. 评测与基准arXiv 2609.34262

    论文提出基准完整性维护框架，审计 Agent 通过轨迹中的非应得通过

    提出过程核验框架，审计 Agent 基准的无根据通过与奖励黑客

    arXiv
    2609.34262
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Opus 4.7、Opus 4.8、Opus 5 等 11 个
    摘要审计通过轨迹、分开奖励黑客与验证器弱点，并用重放加现场重测验收修复。

    Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。

    深度解读完整解读
  3. 评测与基准arXiv 2609.33401

    论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

    评测 System One 模型对 Agent 安全输入的分类可靠性与校准

    arXiv
    2609.33401
    发表
    层
    提示层
    场景
    LLM 应用
    测试
    Jev 1.13、Decider, approximately 2B、Bespoke Nimble, approximately 9B 等 14 个
    摘要离线评测表明，安全判定的总体分数和校准不能代替分组误差和带预算的自动决策检查。

    Liu 离线评测 System One 模型能否为智能体安全输入给出可自动化的概率决策。问题是分类是否可靠，以及概率能否在指定漏检和误拦上限内支持放行、拦截或复核。

    深度解读完整解读
已经到底了