Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 22 papers

Another 232papers do not have category tags yet and are not included in filtered results.

  1. 研究提出 Agent 安全新维度:识别未履行的安全义务

    提出义务识别基准 ObligationBench,并训练护栏识别 Agent 未履行的安全义务

    Published
    Evaluated models
    ObligationGuard, Claude-Opus-4.8, GPT-5.6-Sol and others17
    Abstract义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作,还要找出终止时仍未做的安全关键动作,并将其称为义务。

    Paper analysisRead analysis
  2. 论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性

    Published
    Setting
    AI Agent
    Evaluated models
    AgentTrust runtime (174 rules), GPT-5.5 (gpt55), claude-haiku-4-5-20251001 and others7
    Abstract论文实测发现大模型裁判间错误显著相关,作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    Paper analysisRead analysis
  3. 研究提出智能体排行榜污染审计框架,并检验评分器有效性

    提出 HAL 污染审计框架并核验智能体排行榜评分器

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-4.1, DeepSeek-V4-Flash
    Abstract框架分开易感性与已实现事件。

    作者给出一套测量优先审计框架,用来判断智能体排行榜上的污染主张各自需要何种证据。

    Paper analysisRead analysis
  4. Persona Guardrail:面向智能体系统的生产级防御框架

    提出 Persona Guardrail,强制客服智能体守住功能边界

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    Qwen3-30B-A3B, Qwen3-VL-30B, Qwen3-8B and others5
    AbstractPersona Guardrail 用功能边界做同步输入输出校验,并在 PAGE 与生产延迟预算下给出评测。

    Persona Guardrail 是客服向智能体的同步运行时防御:先写明功能边界,再决定放行或拦截,而不是只检测某一攻击类。

    Paper analysisRead analysis
  5. Study retests 15 prompt injection detectors: benchmark scores poorly predict agent deployment performance

    重测提示注入检测器在 Agent 工具输出上的检出与任务阻断

    Published
    Setting
    AI Agent
    Evaluated models
    Horizon-Labs, Wolf Defender, Prismor-1.5B and others15

    Abstract论文揭示公开基准无法反映智能体检测器表现,检测能力源于输入格式相似而非通用防御,建议基于工具输出与低误报评测。

    Paper analysisRead analysis
  6. JEV 作为智能体轨迹安全评判器:与生成式 LLM 评判器的实证对比

    对比类型化评审与生成式评审对智能体轨迹的安全判定

    Published
    Setting
    AI Agent
    Evaluated models
    JEV, GLM-5.2-Tencent, DeepSeek-V4-Flash and others5
    AbstractJEV 的四基准平均正类 F1 最高,延迟和估计费用更低,但分数据集与精确率有取舍。

    在已保存的工具使用智能体轨迹上,比较类型化评审 JEV 与四种生成式评审的回溯安全分类。

    Paper analysisRead analysis
  7. 论文提出基准完整性维护框架,审计 Agent 通过轨迹中的非应得通过

    审计 Agent 基准通过轨迹,区分无根据通过与奖励黑客并封堵复测

    Published
    Setting
    AI Agent
    Evaluated models
    Opus 4.7, Opus 4.8, Opus 5 and others11
    Abstract审计通过轨迹、分开奖励黑客与验证器弱点,并用重放加现场重测验收修复。

    Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题:验证器给满分,并不等于智能体展示了任务所要的能力。

    Paper analysisRead analysis
  8. Agentic Commerce Bench:衡量会花钱的智能体的欺诈检测能力

    构建支付欺诈基准 ACB,评测花钱智能体的欺诈检测

    Published
    Setting
    AI Agent
    Evaluated models
    gordonguard, pattern judge
    AbstractACB 把支付欺诈与智能体操纵分开测量,作者强调观察权限、误报预算和微支付复核成本。

    ACB 是一套智能体支付欺诈基准与检测参考栈,目标是衡量钱是否被不当提取,而不仅是智能体是否接受了恶意指令。

    Paper analysisRead analysis
  9. 研究者提出技能级联攻击

    提出技能级联攻击,把有害目标拆散到多个技能里绕过单技能扫描

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.4, GPT-5.4 Mini, Claude Opus 4.6 and others11

    Abstract论文探讨了多技能智能体系统面临的技能级联攻击风险,提出自动化红队框架与基准集,指出跨技能交互存在安全防护盲区。

    Paper analysisRead analysis
  10. CS-Guard:首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准,评测代码生成护栏对虚构场景攻击的防御

    Published
    Attacker
    Black-box
    Evaluated models
    CodeLlama-13B-Instruct, DeepSeekCoder-V2-Lite-16B, GPT-OSS-20B and others7

    Abstract论文提出了代码安全护栏基准 CS-Guard,评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    Paper analysisRead analysis
  11. CompoSkill 框架利用逐个通过扫描的 Agent 技能组合发起攻击

    提出 CompoSkill,将逐个通过扫描的技能编排为攻击链

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.4, Gemini-3.1-flash, DeepSeek-V4 and others4

    Abstract论文分析了智能体技能组合风险,指出单包安全认证状态不具备可组合性,需转向路径级防护。

    Paper analysisRead analysis
  12. BioSecBench-Refusal:面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal,评测智能体生物研发拒答与隐蔽危害识别

    Published
    Evaluated models
    Opus 4.8, Opus 4.7, Opus 4.6 and others10
    Abstract配对基准显示拒绝多由 API 触发,合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    Paper analysisRead analysis
  13. SkillVetBench:用 LLM-as-Judge 评估开源 LLM Agent 技能的多维安全风险

    提出 SkillVetBench 评估开源 Agent 技能的多维安全风险

    Published
    Setting
    AI Agent
    Evaluated models
    Qwen2.5-14B-Instruct, Qwen2.5-32B, Llama-3.1-70B and others6

    Abstract公开排行榜用 LLM-as-Judge 给技能分列 SARS 与 CVSS,并对照市场官方审查。

    Paper analysisRead analysis
  14. TraceSafe-Bench:评估 LLM 护栏在多步工具调用轨迹上的表现

    提出 TRACE SAFE-BENCH,静态评测多步工具调用轨迹上的护栏

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5 mini, GPT-5.4 mini, Gemini3-Flash and others15
    AbstractTRACE SAFE-BENCH 用可控变异评轨迹护栏,结构能力比规模和越狱鲁棒性更相关。

    TRACE SAFE-BENCH 用固定的多步工具轨迹评护栏,问的是不安全动作到达环境之前能否被拦住,而不是智能体自己会不会拒绝。

    Paper analysisRead analysis
  15. 研究者开源 Universal Verifier 与 CUAVerifierBench,用于验证计算机使用 Agent 轨迹

    构建 Universal Verifier 核验计算机使用 Agent 轨迹

    Published
    Setting
    web agent
    Evaluated models
    GPT-5.2, GPT-4o, o4-mini and others8
    Abstract四条设计原则叠成 Universal Verifier,作者称其与人类一致程度相当且假阳性近零。

    Universal Verifier 给计算机使用轨迹打过程分和结果分,并定位失败。CUAVerifierBench 用人工标签衡量这种验证器。

    Paper analysisRead analysis
  16. ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow,降低 Agent 有害工具调用

    提出 TS-Guard 与 TS-Flow,在执行前检测并引导 Agent 修正有害工具调用

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-4o, TS-Guard, Qwen2.5-14B-Instruct
    AbstractTS-Bench 标步骤级风险,TS-Guard 用多任务 RL 做执行前判定,TS-Flow 用反馈代替直接中止。

    ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全:基准 TS-Bench、护栏 TS-Guard,以及反馈驱动框架 TS-Flow。

    Paper analysisRead analysis
  17. WAInjectBench 系统评测网页 Agent 的提示注入检测方法

    提出 WAInjectBench 评测网页 Agent 的提示注入检测

    Published
    Setting
    web agent
    Evaluated models
    GPT-4o, Mistral-7B-Instruct-v0.1, Llama-Prompt-Guard-2-86M and others8
    AbstractWAInjectBench 比较网页智能体的提示注入检测:显式线索可被部分检出,隐蔽攻击大多漏检。

    WAInjectBench 是网页智能体提示注入检测的基准。作者要看现有检测器能否发现这类攻击:攻击者改网页,使智能体执行目标动作,而不是用户任务。作者称这是首个此类综合基准。

    Paper analysisRead analysis