跳到正文
10月12日 · 周一

全部论文

找到 65篇

另有233篇论文还没打上分类标签,暂不在筛选结果里。

  1. 评测与基准arXiv 2610.07753

    SafeActBench 发布:工具型 Agent 在证据到行动链上的失败模式

    构建 SAFEACTBENCH 评测工具型 Agent 的证据到行动失败

    发表
    场景
    AI Agent
    被测模型
    Claude Opus 5、GPT-5.6 Sol、DeepSeek-V4-Flash 等5个
    摘要作者称失败常起于调查不足或过早行动,证据齐后的单步则少失败。

    SAFEACTBENCH 评测工具智能体的 consequential actions 是否由行动前已建立的证据支持,而不是只看终态对不对。

    深度解读完整解读
  2. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性

    发表
    场景
    AI Agent
    被测模型
    AgentTrust runtime (174 rules)、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等7个
    摘要论文实测发现大模型裁判间错误显著相关,作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  3. 评测与基准arXiv 2610.05622

    UndoBench 发布:分离工具型 Agent 的任务能力与故障恢复能力

    提出 UndoBench,解耦工具型 Agent 的任务能力与故障恢复能力

    发表
    场景
    AI Agent
    被测模型
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 等4个

    摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复,揭示恢复能力高度依赖外部变异所处阶段。

    深度解读完整解读
  4. 评测与基准arXiv 2610.05532

    DelegationBench

    提出 DelegationBench,评测 Agent 何时应先请示用户再行动

    发表
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等10个
    摘要论文揭示一致率指标的系统性误导,为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准,旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
  5. 评测与基准arXiv 2610.02664

    论文提出 GHOST:长程智能体在良性对话中遗忘早期安全约束

    提出 STAR-Guard 双层防御,抑制长程 Agent 遗忘跨轮安全约束

    发表
    场景
    AI Agent
    被测模型
    GPT-5.5、DeepSeek-V4-Pro、GLM-5.2 等7个

    摘要揭示 GHOST 跨轮约束遗忘风险,构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。

    深度解读完整解读
  6. 评测与基准arXiv 2610.03153

    EvoRiskBench:面向工作区 Agent 运行时安全风险的演化基准

    构建 EvoRiskBench 评测工作区 Agent 的运行时安全风险

    发表
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench,发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
  7. 评测与基准arXiv 2609.36817

    pikit:面向间接提示注入研究与评测的可组合工具包

    构建可组合工具包 pikit,评测编码智能体的间接提示注入

    发表
    摘要pikit 提供组合式间接注入评测。

    pikit 是面向间接提示注入研究的组合式工具包,主要贡献是组织攻击、投递通道、防御和判定流程,而非提出新的攻击优化算法。

    深度解读完整解读
  8. 评测与基准arXiv 2609.35596

    SEABench:评测自演化智能体的内生失配

    提出 SEABench 评测自演化智能体的内生失配

    发表
    场景
    AI Agent
    被测模型
    Kimi K2.5、Grok 4.3、GPT 5.6 Luna
    摘要SEABench 显示无参数自进化能提高任务完成,同时在配对未进化基线安全的下游任务上引入可归因的安全失败。

    SEABench 是一个面向个人助理、参数不更新的自进化智能体基准,用来测量局部适应如何变成后续任务上的内生失配。。

    深度解读完整解读
  9. 评测与基准arXiv 2609.35922

    VoxParity 评测:语音智能体在需要听声判断时仍按文字行事

    提出 VoxParity,固定转写只改音频,评测语音智能体是否按行业规则改工具调用

    发表
    场景
    AI Agent
    被测模型
    MiMo-V2.6-Pro、gemini-3.7-flash、Qwen3.8-Omni 等15个
    摘要VoxParity 用固定转写的音频对比和 words-only null,测量语音智能体是否按所听内容改变工具调用。

    VoxParity 测量语音智能体在词语不变、只有声音改变时,是否按行业规则改它所执行的工具调用。

    深度解读完整解读
  10. 评测与基准arXiv 2609.34862

    JEV 作为智能体轨迹安全评判器:与生成式 LLM 评判器的实证对比

    对比类型化评审与生成式评审对智能体轨迹的安全判定

    发表
    场景
    AI Agent
    被测模型
    JEV、GLM-5.2-Tencent、DeepSeek-V4-Flash 等5个
    摘要JEV 的四基准平均正类 F1 最高,延迟和估计费用更低,但分数据集与精确率有取舍。

    在已保存的工具使用智能体轨迹上,比较类型化评审 JEV 与四种生成式评审的回溯安全分类。

    深度解读完整解读
  11. 评测与基准arXiv 2609.35912

    MMSkillRisk:多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    提出 MMSkillRisk 基准,评测多模态技能图像中的隐藏指令诱导 Agent 越权操作

    发表
    被测模型
    GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等6个

    摘要论文提出 MMSkillRisk 基准与 NCVA 攻击,揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。

    深度解读完整解读
  12. 评测与基准arXiv 2609.35886

    Agentic Commerce Bench:衡量会花钱的智能体的欺诈检测能力

    构建支付欺诈基准 ACB,评测花钱智能体的欺诈检测

    发表
    场景
    AI Agent
    被测模型
    gordonguard、pattern judge
    摘要ACB 把支付欺诈与智能体操纵分开测量,作者强调观察权限、误报预算和微支付复核成本。

    ACB 是一套智能体支付欺诈基准与检测参考栈,目标是衡量钱是否被不当提取,而不仅是智能体是否接受了恶意指令。

    深度解读完整解读
  13. 评测与基准arXiv 2609.32691

    研究审计 Agent 安全评测缺陷:工具调用中介在间接提示注入下的有效评测框架

    提出卡点评测框架以审计智能体间接提示注入评测的测量缺陷

    发表
    场景
    AI Agent
    被测模型
    gpt-5.6-terra、llama3.1:8b、gemma4:12b 等4个

    摘要论文揭示了 IPI 评测中导致指标虚高的系统性缺陷,通过构建有效评测框架纠正了多项安全与模型能力结论。

    深度解读完整解读
  14. 评测与基准arXiv 2609.32635

    TrustFork:显示身份如何劫持 LLM 智能体编排的权限

    提出 TRUSTFORK 基准,评测展示身份劫持多智能体编排权限

    发表
    被测模型
    GPT-5.6-Sol、GPT-5.6-Luna、Kimi-K3 等8个

    摘要论文提出了多智能体安全基准 TRUSTFORK,揭示展示身份如何劫持操作权威,并证明事后验证无法弥补已发生的执行破坏。

    深度解读完整解读
  15. 评测与基准arXiv 2609.32616

    Cave-Bench:虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

    提出 CAVE-BENCH,评测智能体在虚假指责下破坏已完成的正确工作

    发表
    被测模型
    Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等14个

    摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH,发现强模型易推翻已知证据,提出了门控缓解方案。

    深度解读完整解读