Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 23 papers

Another 215papers do not have category tags yet and are not included in filtered results.

  1. One More Skill Installed: How Co-Installed Skills in Coding Agents Conflict

    评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代

    Published
    Evaluated models
    claude-sonnet-4-6, claude-haiku-4-5-20251001, claude-opus-5 and others6
    Abstract冲突藏在任务成功后面。

    作者对共同安装、做同一件事的良性 skill 做实证研究,用核心功能是否还在,而不是任务过不过,来看冲突。。

    Paper analysisRead analysis
  2. 研究:Agent 更依赖工具报错通道

    测量工具调用 Agent 对显式报错与静默损坏的检测和恢复

    Published
    Setting
    AI Agent
    Evaluated models
    claude-haiku-4.5-thinking, claude-haiku-4.5, deepseek-r1 and others6
    Abstract作者称智能体看错误通道而非返回内容,静默损坏更少被当作问题。

    作者在 BFCL 多轮可执行环境上注入一次工具层故障,把注意到、改计划、恢复和重复分开记分,而不是只看任务有没有做完。

    Paper analysisRead analysis
  3. AgentTime 基准测试智能体时长遵循能力,GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准,评测智能体按时长工作与估时能力

    Published
    Evaluated models
    Fable 5.1, GPT-5.6 Sol, GPT-6 Astra and others7
    Abstract作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测:预测任务耗时、按要求时长工作、事后估计已用时间。

    Paper analysisRead analysis
  4. ParanoiaEval:编码智能体不必要风险处置评测基准发布

    提出 ParanoiaEval 评测编码智能体的不必要风险处置

    Published
    Evaluated models
    Opus-5, Sonnet-5, Sonnet-4.6 and others8
    Abstract作者用证据受控任务对评测风险处置,称其普遍、独立于任务能力并降低满意度。

    作者提出 ParanoiaEval,并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是:证据已经确定风险应如何处置之后,智能体仍可能扩大验证、增加保护或备份,而现有评测要么只看功能正确性,要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。

    Paper analysisRead analysis
  5. SWE-CC 基准:编码 Agent 功能正确仍违反 43.1% 仓库贡献规范

    提出 SWE-CC 基准,评测编码 Agent 对仓库贡献策略的遵守

    Published
    Evaluated models
    GPT-5.6 Luna, Gemini 3.7 Flash, DeepSeek V4 Flash 0731 and others4
    AbstractSWE-CC 中功能正确仍可能违规。

    SWE-CC 评测编码智能体是否遵守仓库贡献策略,而不只看补丁能否通过测试。

    Paper analysisRead analysis
  6. SceneFactory-3D:将 2D 交通场景提升为 3D 物理反事实以做安全评测

    提出 SceneFactory-3D,用路况反事实评测驾驶策略的闭环安全性

    Published
    Evaluated models
    Frozen L0, L0-T, L1 and others5
    AbstractSceneFactory-3D 固定场景只改路况。

    SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器,用来在场景和控制器固定时只改路面物理,并比较闭环结果。

    Paper analysisRead analysis
  7. Study retests 15 prompt injection detectors: benchmark scores poorly predict agent deployment performance

    重测提示注入检测器在 Agent 工具输出上的检出与任务阻断

    Published
    Setting
    AI Agent
    Evaluated models
    Horizon-Labs, Wolf Defender, Prismor-1.5B and others15

    Abstract论文揭示公开基准无法反映智能体检测器表现,检测能力源于输入格式相似而非通用防御,建议基于工具输出与低误报评测。

    Paper analysisRead analysis
  8. Agent Error Dataset 发布 5 万条错误诊断配对,用于失败分析与错误感知后训练

    构建 Agent Error Dataset,把智能体自然失败转为诊断与修复训练数据

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen3-8B
    AbstractAED 把自然失败做成诊断与修正数据。

    AED是一个面向文本智能体的错误–诊断集合,用来把失败轨迹转成可分析、可训练的诊断与修正,而不是只保留最终奖励。

    Paper analysisRead analysis
  9. Drift-Bench++:在沟通失误与意图漂移下评测交互式意图对齐

    提出 Drift-Bench++ 评测 Agent 在错位沟通和意图漂移下的对齐

    Published
    Setting
    AI Agent
    Evaluated models
    DeepSeek-V4-Pro, 五个 LLM backbone(Figure 3,论文未在正文逐一列出名称)
    AbstractDrift-Bench++ 用可执行错位和静默漂移评测交互意图对齐,澄清有帮助但仍有差距。

    Drift-Bench++ 是面向 Interactive Intent Alignment 的可执行基准:智能体要在用户说错、目标会变、耐心有限时,持续跟上当前意图。

    Paper analysisRead analysis
  10. AgentBound:面向工具型 LLM Agent 安全的四路反事实评测框架

    提出 AGENT BOUNDARY,用四向反事实任务评测工具智能体行动边界

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.5, Claude Opus 4.8, Gemini 3.5 Flash and others15
    Abstract四向反事实基准把过度拒绝和未授权遵从拆开,Thought 校正在十个配置上提高已授权完成。

    AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测,并附带一个决策时 Thought 校准模块。

    Paper analysisRead analysis
  11. AgentLSD:在对抗性任务污染下评测 AI 安全 Agent

    评测安全 Agent 在对抗性任务污染下的解题成功与开销

    Published
    Setting
    web agent
    Evaluated models
    Gemma-4 31B, DeepSeek-V4 Flash, GPT-OSS 120B and others6
    AbstractAgentLSD 用配对 web CTF 表明,欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架,用来测量安全智能体在任务本身不变时,对对抗性任务污染的反应。

    Paper analysisRead analysis
  12. READY:面向企业 Agent 部署的可靠性资格认证框架

    提出 READY 框架,认证企业 Agent 在人工监督下能否达到规定可靠性

    Published
    Evaluated models
    Opus 5, Sonnet 5, GPT-5.6-Sol and others15
    AbstractREADY 把工作流证据转成可检验的可靠性–监督–成本部署画像。

    READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性,以及要付多少运营成本”。。

    Paper analysisRead analysis
  13. 论文提出诊断长程安全 LLM Agent 失败来源的检查点方法

    提出检查点诊断法,区分长程安全 Agent 的失败来源

    Published
    Setting
    AI Agent
    Evaluated models
    Gemini 2.5 Flash, Gemini 2.5 Pro, Gemini 3.7 Flash
    Abstract检查点把终局失败拆成暴露前与暴露后。

    作者提出一套检查点诊断,用来判断长程安全智能体的失败发生在目标能力可测之前还是之后,并用配对干预检验上游解释。

    Paper analysisRead analysis
  14. Microsoft releases the Thinkingbox sandbox and a 507-task benchmark to evaluate agent reliability in stateful business processes

    提出 THINKINGBOX 基准评测有状态业务流程 Agent 的执行可靠性

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Opus 5, GPT-5.4, GPT-5.6-sol and others14

    Abstract论文构建多轮业务沙箱与基准,分析多次重复执行差距并展示强化学习训练效果。

    Paper analysisRead analysis
  15. Salesforce AI Research 重测自改进 Agent

    重测记忆型自改进 Agent 的运行方差与任务顺序敏感性

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5-mini, Gemini-2.5-Pro, GPT-OSS-120B and others4
    Abstract论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性,并指出规约不完备是诱发退化的关键瓶颈。

    这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。

    Paper analysisRead analysis