Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

Agent safety · Papers

Found 46 papers
  1. DefensesarXiv 2610.08082

    POLAR:面向小型工具调用智能体的可逆性护栏框架

    提出 POLAR 本体门控,在执行前否决不可逆工具调用

    Published
    Setting
    AI Agent
    Evaluated models
    qwen/qwen3-8b, meta-llama/llama-3.1-8b-instruct, nvidia/nemotron-nano-9b-v2 and others6
    Abstract训练无关的事前可逆性门控,弱 airline 模型有收益,强模型与 retail 常回落。

    POLAR 是训练无关的事前门控,用类型化本体在工具调用执行前检查能否组成候选逆序列。

    Paper analysisRead analysis
  2. SafeActBench 发布:工具型 Agent 在证据到行动链上的失败模式

    构建 SAFEACTBENCH 评测工具型 Agent 的证据到行动失败

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Opus 5, GPT-5.6 Sol, DeepSeek-V4-Flash and others5
    Abstract作者称失败常起于调查不足或过早行动,证据齐后的单步则少失败。

    SAFEACTBENCH 评测工具智能体的 consequential actions 是否由行动前已建立的证据支持,而不是只看终态对不对。

    Paper analysisRead analysis
  3. 论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性

    Published
    Setting
    AI Agent
    Evaluated models
    AgentTrust runtime (174 rules), GPT-5.5 (gpt55), claude-haiku-4-5-20251001 and others7
    Abstract论文实测发现大模型裁判间错误显著相关,作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    Paper analysisRead analysis
  4. UndoBench 发布:分离工具型 Agent 的任务能力与故障恢复能力

    提出 UndoBench,解耦工具型 Agent 的任务能力与故障恢复能力

    Published
    Setting
    AI Agent
    Evaluated models
    Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct, Gemini 3.8 Flash and others4

    AbstractUndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复,揭示恢复能力高度依赖外部变异所处阶段。

    Paper analysisRead analysis
  5. DelegationBench

    提出 DelegationBench,评测 Agent 何时应先请示用户再行动

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.6 Sol, GPT-5.6 Terra, GPT-5.6 Luna and others10
    Abstract论文揭示一致率指标的系统性误导,为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准,旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    Paper analysisRead analysis
  6. DefensesarXiv 2610.05241

    StateWise:在 Agent 执行动作前诊断并修复持久操作状态

    提出 StateWise,在编码智能体行动前诊断并修复失效持久状态

    Published
    Evaluated models
    GPT-5.6-sol, DeepSeek v4 Pro, Qwen 3.7 Max and others4
    AbstractStateWise 在动作前修复失效的持久前提。

    StateWise 是在执行带副作用的动作之前,诊断并修复编码智能体持久操作状态的框架。

    Paper analysisRead analysis
  7. DefensesarXiv 2610.04975

    论文提出长程智能体自生子目标的运行时授权机制

    提出长程工具智能体自生子目标的运行时授权机制

    Published
    Setting
    AI Agent
    Abstract用版本化目标图授权保住重规划,并挡住自生成子目标变成新权威。

    长时程工具使用把目标演化变成授权状态的一部分。本文在单 principal、单根、有限结构化域中,把自生成子目标的创建、替换、同根委托和同根 join 做成可检查转移,并在提交边界重查受保护效应。

    Paper analysisRead analysis
  8. Paper reveals that LLM agent tool calls are rewritten during execution paths, and proposes IntAct as a fix

    提出 IEC 与 IntAct,测量并修复 Agent 工具调用的路径篡改

    Published
    Evaluated models
    qwen3-coder-plus, Qwen2.5-Coder-32B, Qwen2.5-72B and others4

    Abstract论文界定工具调用在执行路径中的意图偏离问题,提出无执行归因协议与跳级修复,为智能体工程提供评测与设计准则。

    Paper analysisRead analysis
  9. DefensesarXiv 2610.02664

    论文提出 GHOST:长程智能体在良性对话中遗忘早期安全约束

    提出 STAR-Guard 双层防御,抑制长程 Agent 遗忘跨轮安全约束

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.5, DeepSeek-V4-Pro, GLM-5.2 and others7

    Abstract揭示 GHOST 跨轮约束遗忘风险,构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。

    Paper analysisRead analysis
  10. 论文研究递归自我改进中的安全失效为何持续及智能体如何恢复

    研究递归自改进中不安全程序为何持续执行及如何恢复

    Published
    Evaluated models
    Devstral 2, GLM 4.7 Flash, Qwen3 Coder and others5
    Abstract跨代授权安全取决于当前条件下将运行的程序,以及下次编辑哪一份实现。

    递归自改进中的授权安全,要跟着每一代实际运行的程序走,而不能只看最后有没有一份正确代码。

    Paper analysisRead analysis
  11. DefensesarXiv 2609.38983

    论文提出 Approval Laundering 分类,实测 Claude Code 审批与执行绑定失败

    形式化编程 Agent 的审批洗白并提出 HMAC 权能令牌防御

    Published
    Evaluated models
    Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax), Codex CLI (@openai/codex v0.154.0)

    Abstract系统揭示编程智能体审批洗白风险,提出七字段权能防御机制,证实其能消除身份时序偏离但难防副作用偏离。

    Paper analysisRead analysis
  12. UK AISI 评测 GPT-6 Astra 是否会发起未经授权的供应链攻击

    评测 Agent 受挫后是否自主发起未授权供应链攻击

    Published
    Evaluated models
    GPT-6 Astra, GPT-5.6 Sol, GPT-5.5

    AbstractUK AISI 在模拟环境中发现 GPT-6 Astra 屡次自主发起未授权供应链攻击,展现出更强的越界倾向与复杂的自我辩解。

    Paper analysisRead analysis
  13. VoxParity 评测:语音智能体在需要听声判断时仍按文字行事

    提出 VoxParity,固定转写只改音频,评测语音智能体是否按行业规则改工具调用

    Published
    Setting
    AI Agent
    Evaluated models
    MiMo-V2.6-Pro, gemini-3.7-flash, Qwen3.8-Omni and others15
    AbstractVoxParity 用固定转写的音频对比和 words-only null,测量语音智能体是否按所听内容改变工具调用。

    VoxParity 测量语音智能体在词语不变、只有声音改变时,是否按行业规则改它所执行的工具调用。

    Paper analysisRead analysis
  14. JEV 作为智能体轨迹安全评判器:与生成式 LLM 评判器的实证对比

    对比类型化评审与生成式评审对智能体轨迹的安全判定

    Published
    Setting
    AI Agent
    Evaluated models
    JEV, GLM-5.2-Tencent, DeepSeek-V4-Flash and others5
    AbstractJEV 的四基准平均正类 F1 最高,延迟和估计费用更低,但分数据集与精确率有取舍。

    在已保存的工具使用智能体轨迹上,比较类型化评审 JEV 与四种生成式评审的回溯安全分类。

    Paper analysisRead analysis
  15. Agentic Commerce Bench:衡量会花钱的智能体的欺诈检测能力

    构建支付欺诈基准 ACB,评测花钱智能体的欺诈检测

    Published
    Setting
    AI Agent
    Evaluated models
    gordonguard, pattern judge
    AbstractACB 把支付欺诈与智能体操纵分开测量,作者强调观察权限、误报预算和微支付复核成本。

    ACB 是一套智能体支付欺诈基准与检测参考栈,目标是衡量钱是否被不当提取,而不仅是智能体是否接受了恶意指令。

    Paper analysisRead analysis