跳到正文
10月10日 · 周六

Agent 安全 · 论文

找到 5 篇
筛选2

模型自身风险

Agent 危险操作3

防御类型

检测与过滤4

影响

越权操作3

系统形态

AI Agent5

层

应用层5

系统组件

MCP 与技能18记忆10护栏与评审5监控器15权限与沙箱76视觉0
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。
系统组件：护栏与评审系统组件：视觉话题：Agent 安全清除全部
  1. 评测与基准arXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等 17 个
    摘要义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    深度解读完整解读
  2. 防御arXiv 2610.07657

    DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降

    实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击

    arXiv
    2610.07657
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Qwen3-235B-A22B-Instruct-2507、gpt-oss-120b、Llama-4-Scout-17B-16E-Instruct 等 5 个
    摘要DEFER 把确定性检查放在 judge 之前。

    DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。

    深度解读完整解读
  3. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性

    arXiv
    2610.07359
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    AgentTrust runtime (174 rules)、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等 7 个
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  5. 评测与基准arXiv 2609.34862

    JEV 作为智能体轨迹安全评判器：与生成式 LLM 评判器的实证对比

    对比类型化评审与生成式评审对智能体轨迹的安全判定

    arXiv
    2609.34862
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    JEV、GLM-5.2-Tencent、DeepSeek-V4-Flash 等 5 个
    摘要JEV 的四基准平均正类 F1 最高，延迟和估计费用更低，但分数据集与精确率有取舍。

    在已保存的工具使用智能体轨迹上，比较类型化评审 JEV 与四种生成式评审的回溯安全分类。

    深度解读完整解读
已经到底了