Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

Agent safety · Papers

Found 107 papers
  1. One More Skill Installed: How Co-Installed Skills in Coding Agents Conflict

    评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代

    Published
    Evaluated models
    claude-sonnet-4-6, claude-haiku-4-5-20251001, claude-opus-5 and others6
    Abstract冲突藏在任务成功后面。

    作者对共同安装、做同一件事的良性 skill 做实证研究,用核心功能是否还在,而不是任务过不过,来看冲突。。

    Paper analysisRead analysis
  2. DefensesarXiv 2610.10833

    研究:Agent 准时停机不等于有效使用时间预算

    用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3.6-27B, Qwen3-4B, Qwen3.5-9B and others4
    Abstract作者比较提示词、harness 与 GRPO:按时性可改善,但额外时间仍未变成更好解。

    作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回,并把更多时间换成更好的解。

    Paper analysisRead analysis
  3. DefensesarXiv 2610.08082

    POLAR:面向小型工具调用智能体的可逆性护栏框架

    提出 POLAR 本体门控,在执行前否决不可逆工具调用

    Published
    Setting
    AI Agent
    Evaluated models
    qwen/qwen3-8b, meta-llama/llama-3.1-8b-instruct, nvidia/nemotron-nano-9b-v2 and others6
    Abstract训练无关的事前可逆性门控,弱 airline 模型有收益,强模型与 retail 常回落。

    POLAR 是训练无关的事前门控,用类型化本体在工具调用执行前检查能否组成候选逆序列。

    Paper analysisRead analysis
  4. SafeActBench 发布:工具型 Agent 在证据到行动链上的失败模式

    构建 SAFEACTBENCH 评测工具型 Agent 的证据到行动失败

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Opus 5, GPT-5.6 Sol, DeepSeek-V4-Flash and others5
    Abstract作者称失败常起于调查不足或过早行动,证据齐后的单步则少失败。

    SAFEACTBENCH 评测工具智能体的 consequential actions 是否由行动前已建立的证据支持,而不是只看终态对不对。

    Paper analysisRead analysis
  5. DefensesarXiv 2610.07657

    DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降

    实现 DEFER,以确定性检查优先拦截多智能体流水线的内容攻击

    Published
    Evaluated models
    Qwen3-235B-A22B-Instruct-2507, gpt-oss-120b, Llama-4-Scout-17B-16E-Instruct and others5
    AbstractDEFER 把确定性检查放在 judge 之前。

    DEFER 用来测量多智能体授权流水线里,确定性规则在何处结束、LLM judge 从何处开始。

    Paper analysisRead analysis
  6. 论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性

    Published
    Setting
    AI Agent
    Evaluated models
    AgentTrust runtime (174 rules), GPT-5.5 (gpt55), claude-haiku-4-5-20251001 and others7
    Abstract论文实测发现大模型裁判间错误显著相关,作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    Paper analysisRead analysis
  7. BazaarBench:评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench,评测 C2C 市场中 Agent 的违规与失信行为

    Published
    Evaluated models
    GPT-5.5, GPT-5.4, GPT-5.4-mini and others5
    Abstract论文提出挂钩底层资产的 C2C 交易评测基准,发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题,提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    Paper analysisRead analysis
  8. UndoBench 发布:分离工具型 Agent 的任务能力与故障恢复能力

    提出 UndoBench,解耦工具型 Agent 的任务能力与故障恢复能力

    Published
    Setting
    AI Agent
    Evaluated models
    Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct, Gemini 3.8 Flash and others4

    AbstractUndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复,揭示恢复能力高度依赖外部变异所处阶段。

    Paper analysisRead analysis
  9. DelegationBench

    提出 DelegationBench,评测 Agent 何时应先请示用户再行动

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.6 Sol, GPT-5.6 Terra, GPT-5.6 Luna and others10
    Abstract论文揭示一致率指标的系统性误导,为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准,旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    Paper analysisRead analysis
  10. SAGE:定位 LLM Agent 修复中最早偏离安全意图的环节

    提出 SAGE,定位代码修复 Agent 最早偏离安全意图的轮次

    Published
    Evaluated models
    GPT-5.5, Claude Opus 4.8, Gemini 3.1 Pro and others6
    AbstractSAGE 在已通过检查的修复轨迹上定位静默失败的最早偏离,类型比轮次更稳定。

    SAGE 在已通过语法和功能检查、但仍含确认安全缺陷的智能体修复轨迹上,定位最早可归因的安全意图偏离。。

    Paper analysisRead analysis
  11. Research: tool-based agents continue searching even after judging results useless; forced integration steps can correct this

    揭示工具型智能体判定无用后仍不停止检索,并检验强制整合纠正效果

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen2.5-7B, Llama-3.1-8B, Qwen3-8B and others7
    Abstract论文揭示智能体判定工具失效却无法转化为停止行动,证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题,系统分析了判定、信念与停止行动之间的解耦现象,并提出了外部规则整合方案。

    Paper analysisRead analysis
  12. DefensesarXiv 2610.05241

    StateWise:在 Agent 执行动作前诊断并修复持久操作状态

    提出 StateWise,在编码智能体行动前诊断并修复失效持久状态

    Published
    Evaluated models
    GPT-5.6-sol, DeepSeek v4 Pro, Qwen 3.7 Max and others4
    AbstractStateWise 在动作前修复失效的持久前提。

    StateWise 是在执行带副作用的动作之前,诊断并修复编码智能体持久操作状态的框架。

    Paper analysisRead analysis
  13. DefensesarXiv 2610.04975

    论文提出长程智能体自生子目标的运行时授权机制

    提出长程工具智能体自生子目标的运行时授权机制

    Published
    Setting
    AI Agent
    Abstract用版本化目标图授权保住重规划,并挡住自生成子目标变成新权威。

    长时程工具使用把目标演化变成授权状态的一部分。本文在单 principal、单根、有限结构化域中,把自生成子目标的创建、替换、同根委托和同根 join 做成可检查转移,并在提交边界重查受保护效应。

    Paper analysisRead analysis