Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 61 papers
Filter1

Attack type

Jailbreaks3Prompt injection30Poisoning and backdoors8Malicious use3

Attack technique

Automated search3Cross-modal payloads3

Model risks

Misalignment and value divergence3Dangerous agent actions27

Defense type

Detection and filtering6Permissions and approval3Monitoring and auditing3

Impact

Harmful content57Unauthorized actions61Data and privacy leaks30Output manipulation95Availability and reliability38Oversight failure35Increased misuse capability13

System type

AI Agent61coding agent14web agent7Browser and computer use5Multi-agent systems4Embodied systems and robotics5

Attack surface / entry point

User input15Web pages and interfaces8Documents and messages12Tool responses14Tool and skill descriptions8Code repositories and dependencies5Memory writes4Inter-agent messages3Images, audio and video4Distribution channels3

Layer

Application layer58

System component

MCP and skills7Memory6Guardrails and judges7Monitors4Permissions and sandboxing8Vision6Multimodal7
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 305papers have no tags yet and are not included in filtered results.
Impact：Unauthorized actionsClear all

Another 305papers do not have category tags yet and are not included in filtered results.

  1. Evaluation and benchmarksarXiv 2610.07753

    SafeActBench 发布：工具型 Agent 在证据到行动链上的失败模式

    构建 SAFEACTBENCH 评测工具型 Agent 的证据到行动失败

    arXiv
    2610.07753
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Claude Opus 5, GPT-5.6 Sol, DeepSeek-V4-Flash and others5
    Abstract作者称失败常起于调查不足或过早行动，证据齐后的单步则少失败。

    SAFEACTBENCH 评测工具智能体的 consequential actions 是否由行动前已建立的证据支持，而不是只看终态对不对。

    Paper analysisRead analysis
  3. Evaluation and benchmarksarXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性

    arXiv
    2610.07359
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    AgentTrust runtime (174 rules), GPT-5.5 (gpt55), claude-haiku-4-5-20251001 and others7
    Abstract论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    Paper analysisRead analysis
  6. Evaluation and benchmarksarXiv 2610.05622

    UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

    提出 UndoBench，解耦工具型 Agent 的任务能力与故障恢复能力

    arXiv
    2610.05622
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct, Gemini 3.8 Flash and others4

    AbstractUndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。

    Paper analysisRead analysis
  7. Evaluation and benchmarksarXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测 Agent 何时应先请示用户再行动

    arXiv
    2610.05532
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.6 Sol, GPT-5.6 Terra, GPT-5.6 Luna and others10
    Abstract论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    Paper analysisRead analysis
  9. Evaluation and benchmarksarXiv 2610.02664

    论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束

    提出 STAR-Guard 双层防御，抑制长程 Agent 遗忘跨轮安全约束

    arXiv
    2610.02664
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.5, DeepSeek-V4-Pro, GLM-5.2 and others7

    Abstract揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。

    Paper analysisRead analysis
  10. Evaluation and benchmarksarXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    构建 EvoRiskBench 评测工作区 Agent 的运行时安全风险

    arXiv
    2610.03153
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5

    Abstract论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    Paper analysisRead analysis
  11. Evaluation and benchmarksarXiv 2609.36817

    pikit：面向间接提示注入研究与评测的可组合工具包

    构建可组合工具包 pikit，评测编码智能体的间接提示注入

    arXiv
    2609.36817
    Published
    Layer
    Application layer
    Setting
    coding agent
    Abstractpikit 提供组合式间接注入评测。

    pikit 是面向间接提示注入研究的组合式工具包，主要贡献是组织攻击、投递通道、防御和判定流程，而非提出新的攻击优化算法。

    Paper analysisRead analysis
  12. Evaluation and benchmarksarXiv 2609.35596

    SEABench：评测自演化智能体的内生失配

    提出 SEABench 评测自演化智能体的内生失配

    arXiv
    2609.35596
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Kimi K2.5, Grok 4.3, GPT 5.6 Luna
    AbstractSEABench 显示无参数自进化能提高任务完成，同时在配对未进化基线安全的下游任务上引入可归因的安全失败。

    SEABench 是一个面向个人助理、参数不更新的自进化智能体基准，用来测量局部适应如何变成后续任务上的内生失配。。

    Paper analysisRead analysis
  13. Evaluation and benchmarksarXiv 2609.35922

    VoxParity 评测：语音智能体在需要听声判断时仍按文字行事

    提出 VoxParity，固定转写只改音频，评测语音智能体是否按行业规则改工具调用

    arXiv
    2609.35922
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    MiMo-V2.6-Pro, gemini-3.7-flash, Qwen3.8-Omni and others15
    AbstractVoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。

    VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。

    Paper analysisRead analysis
  14. Evaluation and benchmarksarXiv 2609.34862

    JEV 作为智能体轨迹安全评判器：与生成式 LLM 评判器的实证对比

    对比类型化评审与生成式评审对智能体轨迹的安全判定

    arXiv
    2609.34862
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    JEV, GLM-5.2-Tencent, DeepSeek-V4-Flash and others5
    AbstractJEV 的四基准平均正类 F1 最高，延迟和估计费用更低，但分数据集与精确率有取舍。

    在已保存的工具使用智能体轨迹上，比较类型化评审 JEV 与四种生成式评审的回溯安全分类。

    Paper analysisRead analysis
  15. Evaluation and benchmarksarXiv 2609.35912

    MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    提出 MMSkillRisk 基准，评测多模态技能图像中的隐藏指令诱导 Agent 越权操作

    arXiv
    2609.35912
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    GPT-5.6-sol, Kimi-K2.6, Kimi-K3 and others6

    Abstract论文提出 MMSkillRisk 基准与 NCVA 攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。

    Paper analysisRead analysis
  16. Evaluation and benchmarksarXiv 2609.35886

    Agentic Commerce Bench：衡量会花钱的智能体的欺诈检测能力

    构建支付欺诈基准 ACB，评测花钱智能体的欺诈检测

    arXiv
    2609.35886
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    gordonguard, pattern judge
    AbstractACB 把支付欺诈与智能体操纵分开测量，作者强调观察权限、误报预算和微支付复核成本。

    ACB 是一套智能体支付欺诈基准与检测参考栈，目标是衡量钱是否被不当提取，而不仅是智能体是否接受了恶意指令。

    Paper analysisRead analysis
  17. Evaluation and benchmarksarXiv 2609.32691

    研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架

    提出卡点评测框架以审计智能体间接提示注入评测的测量缺陷

    arXiv
    2609.32691
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    gpt-5.6-terra, llama3.1:8b, gemma4:12b and others4

    Abstract论文揭示了 IPI 评测中导致指标虚高的系统性缺陷，通过构建有效评测框架纠正了多项安全与模型能力结论。

    Paper analysisRead analysis
  18. Evaluation and benchmarksarXiv 2609.32635

    TrustFork：显示身份如何劫持 LLM 智能体编排的权限

    提出 TRUSTFORK 基准，评测展示身份劫持多智能体编排权限

    arXiv
    2609.32635
    Published
    Layer
    Application layer
    Setting
    Multi-agent systems, coding agent
    Evaluated models
    GPT-5.6-Sol, GPT-5.6-Luna, Kimi-K3 and others8

    Abstract论文提出了多智能体安全基准 TRUSTFORK，揭示展示身份如何劫持操作权威，并证明事后验证无法弥补已发生的执行破坏。

    Paper analysisRead analysis
  19. Evaluation and benchmarksarXiv 2609.32616

    Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

    提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作

    arXiv
    2609.32616
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Claude-Sonnet-5, Claude-Opus-5, GPT-5.6-Sol and others14

    Abstract论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。

    Paper analysisRead analysis
Load more