Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

Agent safety · Papers

Found 20 papers
  1. 研究提出 Agent 安全新维度:识别未履行的安全义务

    提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务

    Published
    Evaluated models
    ObligationGuard, Claude-Opus-4.8, GPT-5.6-Sol and others17
    Abstract义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。

    Paper analysisRead analysis
  2. DefensesarXiv 2610.07657

    DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降

    实现 DEFER,以确定性检查优先拦截多智能体流水线的内容攻击

    Published
    Evaluated models
    Qwen3-235B-A22B-Instruct-2507, gpt-oss-120b, Llama-4-Scout-17B-16E-Instruct and others5
    AbstractDEFER 把确定性检查放在 judge 之前。

    DEFER 用来测量多智能体授权流水线里,确定性规则在何处结束、LLM judge 从何处开始。

    Paper analysisRead analysis
  3. AgentMonBench:面向长时程智能体行为监控的软件工程基准

    提出 AgentMonBench 评测长时程编程智能体监控并检验 EBG

    Published
    Evaluated models
    GPT-5.6 Luna, GPT-5.6 Terra, GPT-5.6 Sol and others8
    AbstractAgentMonBench 评测后果性决策监控,EBG 组织证据。

    长时程软件工程任务里,用户要判断智能体哪些选择值得核验。作者用 AgentMonBench 评测监控器,并用免训练的 EBG 组织带源证据。

    Paper analysisRead analysis
  4. DefensesarXiv 2610.02432

    论文提出 LLM 输入扰动鲁棒性度量,并发布 ASA 攻击与 AttestMCP 防护

    提出 ASA 与 AttestMCP,度量并降低 LLM 对输入序列扰动的敏感

    Published
    Attacker
    Black-box
    Evaluated models
    Gemma-3-27B-Instruct, Gemma-3-4B-Instruct, Llama-3.2-3B-Instruct and others12
    Paper analysisRead analysis
  5. DefensesarXiv 2609.35659

    Tracekit:面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit,审计编码 Agent 的意图、推理与动作并检测账本篡改

    Published
    Evaluated models
    Claude Code (claude -p, version 2.1), 独立评审(同一 CLI,无工具)
    AbstractTracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层:把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链,执行前用正则门,事后用规则和独立模型互查。

    Paper analysisRead analysis
  6. JEV 作为智能体轨迹安全评判器:与生成式 LLM 评判器的实证对比

    对比类型化评审与生成式评审对智能体轨迹的安全判定

    Published
    Setting
    AI Agent
    Evaluated models
    JEV, GLM-5.2-Tencent, DeepSeek-V4-Flash and others5
    AbstractJEV 的四基准平均正类 F1 最高,延迟和估计费用更低,但分数据集与精确率有取舍。

    在已保存的工具使用智能体轨迹上,比较类型化评审 JEV 与四种生成式评审的回溯安全分类。

    Paper analysisRead analysis
  7. Agentic Commerce Bench:衡量会花钱的智能体的欺诈检测能力

    构建支付欺诈基准 ACB,评测花钱智能体的欺诈检测

    Published
    Setting
    AI Agent
    Evaluated models
    gordonguard, pattern judge
    AbstractACB 把支付欺诈与智能体操纵分开测量,作者强调观察权限、误报预算和微支付复核成本。

    ACB 是一套智能体支付欺诈基准与检测参考栈,目标是衡量钱是否被不当提取,而不仅是智能体是否接受了恶意指令。

    Paper analysisRead analysis
  8. DefensesarXiv 2609.22724

    MATE:面向移动 Agent 的策略感知安全审计方法

    提出移动 Agent 轨迹审计器 MATE,判断轨迹是否违反可编辑安全策略

    Published
    Attacker
    Black-box
    Evaluated models
    MATE-0.5B, MATE-1.5B, MATE-3B
    AbstractMATE 用合成轨迹微调轻量审计器,在可编辑策略下判断移动智能体轨迹是否违规并给出解释。

    MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器,在给定自然语言安全策略时判断轨迹是否违规并解释原因。

    Paper analysisRead analysis
  9. DefensesarXiv 2609.15803

    研究者提出 k-robust 联盟对齐,用多智能体评审委托授权

    提出 k-robust 联盟对齐,刻画误对齐评审下的安全委托授权

    Published
    Abstract联盟覆盖使无个体对齐的评审面板仍可相对基线安全授权,数值分数改善完备性。

    委托授权的安全不要求每位评审者对齐,而要求面板在效用空间覆盖委托人。

    Paper analysisRead analysis
  10. A study empirically tests five Agent memory systems and finds none of them enforce revocation markers

    评测 Agent 记忆系统的软撤回执行情况,并提出陈旧检索防护

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.5, Grok-4, DeepSeek-V4-Flash and others9

    Abstract系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞,证明写回会击穿现有防御,并提出读取端防护作为必要控制手段。

    Paper analysisRead analysis
  11. DefensesarXiv 2608.21101

    ClawSentry:面向自主 LLM Agent 的渐进式多层安全监控网关

    提出 ClawSentry 多层监控网关,在技能准入和运行时拦截恶意技能与隐藏指令

    Published
    Evaluated models
    Codex/GPT-5.4, Codex/GPT-5.5, Claude Code/GLM-5.1 and others6
    AbstractClawSentry 用包准入、三级运行时门控和反绕过,压低 skill 攻击并保住干净任务。

    ClawSentry 是挂在智能体运行时之外的安全监督网关,用来同时盖住 skill 执行的多个生命周期边界,并把已被拒绝的效果记到会话里。

    Paper analysisRead analysis
  12. DefensesarXiv 2603.14707

    Visual Confusion Agents: Exploiting and Defending Against Perception Failures in Computer-Use Agents

    Proposes out-of-process dual-channel comparison classification to intercept erroneous clicks by computer-use agents

    Published
    Evaluated models
    multi-modal-embed-small
    AbstractPerception errors can be exploited by swapping screen pixels.

    The authors frame CUA's perception failure as a security vulnerability, visual confused deputy: the agent authorizes click(x,y) based on a misread screen, and the actual landing point differs from the element it believes it is clicking.

    Paper analysisRead analysis
You have reached the end