Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 125 papers
Filter2

Attack type

Jailbreaks46Prompt injection34Poisoning and backdoors8Malicious use6

Attack technique

Automated search5Multi-turn escalation5Encoding and obfuscation9Role-play and persuasion3Cross-modal payloads6

Model risks

Misalignment and value divergence3Dangerous agent actions29Inappropriate refusal16

Defense type

Model hardening3Inference-time intervention3Detection and filtering14Instruction–data separation5Permissions and approval3Monitoring and auditing6

Impact

Harmful content61Unauthorized actions64Data and privacy leaks30Output manipulation104Availability and reliability38Oversight failure36Increased misuse capability14

System type

Models and APIs47AI Agent77coding agent18science agent5web agent8Browser and computer use5Multi-agent systems6Embodied systems and robotics6

Attacker access

Black-box9

Attack surface / entry point

User input60Web pages and interfaces8Documents and messages12Tool responses17Tool and skill descriptions9Code repositories and dependencies6Memory writes4Inter-agent messages4Images, audio and video10Distribution channels3

Layer

Prompt layer35Model layer15Application layer72Training and data layer3

System component

MCP and skills7Memory6Guardrails and judges24Monitors8Reasoning chains3Permissions and sandboxing8Fine-tuning and open weights4Vision10Audio5Image generation4Multimodal17
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 265papers have no tags yet and are not included in filtered results.
Impact：Harmful contentImpact：Unauthorized actionsClear all

Another 265papers do not have category tags yet and are not included in filtered results.

  1. Evaluation and benchmarksarXiv 2610.11766

    研究提出意图恢复率作为 LLM 安全评测的补充指标

    提出 IRIS，用意图恢复率区分遮蔽越狱下无害输出的原因

    arXiv
    2610.11766
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    GPT-4o, Claude Sonnet 4.5, Claude Opus 4.5 and others6
    Abstract无害输出的证据权重取决于任务是否被恢复。

    IRIS 把意图恢复当作中间信号，用来解释意图遮蔽提示下为何没有出现有害协助。

    Paper analysisRead analysis
  2. Evaluation and benchmarksarXiv 2610.11005

    研究：叙事包装可跨语言绕过 LLM 拒答

    提出 GUISE 基准与 AXIS 训练，防御叙事包装越狱

    arXiv
    2610.11005
    Published
    Layer
    Training and data layer
    Setting
    Models and APIs
    Evaluated models
    Qwen3-1.7B, Qwen3-4B, GLM-4-9B
    AbstractGUISE 分开测包装与语域。

    作者测量叙事包装下的拒答失效，并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是：安全对齐模型拒绝直说的有害请求，却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。

    Paper analysisRead analysis
  3. Evaluation and benchmarksarXiv 2610.09033

    研究发布 ASRD 数据集，评测五款开源模型在非规范输入下的安全表现

    arXiv
    2610.09033
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    Gemma 2 9B, Gemma 3 4B, Llama 3.1 8B and others6
    Abstract五模型、七族表面形式的四态评测里，低有害遵从不等于读懂后的安全处理。

    ASRD 用四态标签检查五个开源模型如何处理非规范表面上的有害请求。

    Paper analysisRead analysis
  4. Evaluation and benchmarksarXiv 2610.07753

    SafeActBench 发布：工具型 Agent 在证据到行动链上的失败模式

    构建 SAFEACTBENCH 评测工具型 Agent 的证据到行动失败

    arXiv
    2610.07753
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Claude Opus 5, GPT-5.6 Sol, DeepSeek-V4-Flash and others5
    Abstract作者称失败常起于调查不足或过早行动，证据齐后的单步则少失败。

    SAFEACTBENCH 评测工具智能体的 consequential actions 是否由行动前已建立的证据支持，而不是只看终态对不对。

    Paper analysisRead analysis
  6. Evaluation and benchmarksarXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性

    arXiv
    2610.07359
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    AgentTrust runtime (174 rules), GPT-5.5 (gpt55), claude-haiku-4-5-20251001 and others7
    Abstract论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    Paper analysisRead analysis
  9. Evaluation and benchmarksarXiv 2610.07089

    研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

    提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视

    arXiv
    2610.07089
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Gemma 4 26B-A4B, Qwen3.6 27B, Qwen3.5 27B and others12

    Abstract统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。

    Paper analysisRead analysis
  12. Evaluation and benchmarksarXiv 2610.05622

    UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

    提出 UndoBench，解耦工具型 Agent 的任务能力与故障恢复能力

    arXiv
    2610.05622
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct, Gemini 3.8 Flash and others4

    AbstractUndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。

    Paper analysisRead analysis
  13. Evaluation and benchmarksarXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测 Agent 何时应先请示用户再行动

    arXiv
    2610.05532
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.6 Sol, GPT-5.6 Terra, GPT-5.6 Luna and others10
    Abstract论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    Paper analysisRead analysis
  14. Evaluation and benchmarksarXiv 2610.03938

    Paper finds multimodal models' refusal failure rate rises by up to 68.7% after tool use is enabled

    评测 ReAct 工具调用对多模态模型拒答有害请求的削弱

    arXiv
    2610.03938
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Gemini-2.5-Pro, Gemini-3.1-Pro-Preview, Claude Opus 4.6 and others13
    Abstract论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    Paper analysisRead analysis
  16. Evaluation and benchmarksarXiv 2610.03434

    Persona Guardrail：面向智能体系统的生产级防御框架

    提出 Persona Guardrail，强制客服智能体守住功能边界

    arXiv
    2610.03434
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    Qwen3-30B-A3B, Qwen3-VL-30B, Qwen3-8B and others5
    AbstractPersona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。

    Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。

    Paper analysisRead analysis
  17. Evaluation and benchmarksarXiv 2610.02664

    论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束

    提出 STAR-Guard 双层防御，抑制长程 Agent 遗忘跨轮安全约束

    arXiv
    2610.02664
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.5, DeepSeek-V4-Pro, GLM-5.2 and others7

    Abstract揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。

    Paper analysisRead analysis
  18. Evaluation and benchmarksarXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    构建 EvoRiskBench 评测工作区 Agent 的运行时安全风险

    arXiv
    2610.03153
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5

    Abstract论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    Paper analysisRead analysis
  19. Evaluation and benchmarksarXiv 2610.02827

    MLCommons 发布 Jailbreak Benchmark v1.0

    构建 MLCommons 越狱基准以测量模型的单轮越狱韧性

    arXiv
    2610.02827
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    Gemma 3N E4B Instruct, LFM2-24B-A2B, Qwen 2.5 7B Instruct Turbo and others8

    Abstract论文建立了单轮越狱评测的标准化端到端方法学体系，揭示了开源大模型在对抗提示词下的安全性能降级与大模型负差距现象。

    Paper analysisRead analysis
  20. Evaluation and benchmarksarXiv 2609.36849

    研究评估 GradSafe 在多轮对话中的越狱检测脆弱性

    评测多轮对话中 GradSafe 越狱检测的可分性与脆弱性

    arXiv
    2609.36849
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    Llama 3.1 8B Instruct, Qwen2.5-7B-Instruct
    AbstractCWS 显示不安全梯度在真实多轮流量中变弱，且随攻击族和模型而变。

    作者评估梯度越狱检测从单条提示词迁到多轮对话后还剩多少可分性，方法是用 Context Window Scanner 把 GradSafe 原封不动地套到用户轮窗口上。

    Paper analysisRead analysis
Load more