Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 19 papers
Filter4

Attack type

Jailbreaks19Prompt injection15Poisoning and backdoors12Extraction and theft3Detection evasion17Malicious use0

Attack technique

Gradient and representation optimization19Automated search49Multi-turn escalation26Encoding and obfuscation38Role-play and persuasion21Conversation structure manipulation10Reasoning-chain manipulation6Cross-modal payloads32Defense-targeted10

Impact

Harmful content14Unauthorized actions3

System type

Models and APIs13AI Agent6

Attacker access

Black-box11White-box3

Attack surface / entry point

User input19

Layer

Prompt layer11Application layer6

System component

Guardrails and judges6
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 254papers have no tags yet and are not included in filtered results.
Attack type：JailbreaksAttack type：Malicious useAttack technique：Conversation structure manipulationAttack technique：Defense-targetedClear all

Another 254papers do not have category tags yet and are not included in filtered results.

  1. AttacksarXiv 2610.06670

    研究者提出 Reward Stealing Attack，从对齐模型行为反推安全奖励实施攻击

    提出 ReSA，从对齐模型行为恢复安全奖励并在解码时反转

    arXiv
    2610.06670
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Attacker
    White-box, Gray-box
    Evaluated models
    Llama3.1-8B-Instruct, Gemma-7B-Instruct, Qwen2.5-7B-Instruct and others9
    AbstractReSA 用最大熵 IRL 从对齐模型行为恢复代理安全奖励，并在解码时反转以诱导有害输出。

    ReSA 是一种对抗攻击：从对齐模型的可观察行为恢复代理安全奖励，再在解码时把该奖励反过来用。。

    Paper analysisRead analysis
  2. AttacksarXiv 2610.05943

    CRIME 框架利用良性 Agent 技能组合诱发恶意行为

    提出 CRIME 框架，组合良性 Agent 技能诱发恶意行为

    arXiv
    2610.05943
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    DeepSeek-V4-Flash, GPT-4o-mini, GPT-4o and others6
    Abstract良性技能经 DCA 或 ACA 组合后可产生恶意环境后果，单独审查对不上。

    CRIME 把公共技能库中各自通过审查的技能配成两两组合，看联合执行能否实现指定恶意任务。。

    Paper analysisRead analysis
  3. AttacksarXiv 2609.36956

    研究者提出 Controlled Decoding Attacks，通过纯文本接口越狱黑盒 LLM

    提出 BLINDBIAS，通过纯文本续写与前缀控制越狱黑盒模型

    arXiv
    2609.36956
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Attacker
    Black-box
    Evaluated models
    GLM-5, Gemini-3.5-Flash, Qwen3-32B and others4
    Abstract作者认为，隐藏数值概率并不足以消除支持重复采样和前缀续写的解码攻击面。

    BLINDBIAS 是一种针对 sample-only 续写接口的 black-box 解码时越狱框架，研究没有目标数值概率时，采样能否支持逐步控制。

    Paper analysisRead analysis
  5. AttacksarXiv 2609.15383

    微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击，拆分任务向对齐模型套取能力

    arXiv
    2609.15383
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    GPT-5.5, Claude Opus 4.8, Grok-4.3 and others7

    Abstract作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。

    Paper analysisRead analysis
  8. AttacksarXiv 2606.21077

    OTTER：仅替换五个 token 即可绕过 GPT 系列毒性审核

    提出 OTTER 词元替换越狱，绕过表面毒性审核诱导有害回答

    arXiv
    2606.21077
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Attacker
    Black-box
    Evaluated models
    gpt-4-turbo, gpt-4o, gpt-4o-mini and others4

    Abstract论文展示了表面毒性与恶意意图的解耦现象，通过标准 API 实现黑盒越狱测试，并提出闭环分类器加固建议。

    Paper analysisRead analysis
  9. AttacksarXiv 2606.09084

    研究者提出 Context-Fractured Decomposition 攻击

    提出 CFD 跨会话分解攻击，利用工件来源缺口绕过工具型 Agent 的本地检查

    arXiv
    2606.09084
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-4.1, GPT-5-nano, Claude-3.5-Sonnet and others6
    AbstractCFD 用无指令 artifact 把越狱拆到跨会话。

    CFD针对工具型 LLM 智能体：利用 artifact 来源不被跟踪这一部署失败模式，把有害目标拆开后延迟组合。

    Paper analysisRead analysis
  10. Analysis and theoryarXiv 2606.04168

    论文提出随机插入攻击，利用自回归一致性绕过 LLM 安全对齐

    解释自回归一致性如何导致浅层安全对齐，并提出随机插入攻击

    arXiv
    2606.04168
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Abstract作者用自回归一致性串起浅层对齐、插入攻击和最坏延续对齐。

    作者把浅层安全对齐和一类续写攻击都归到自回归一致性上。

    Paper analysisRead analysis
  11. InterpretabilityarXiv 2603.08234

    续写与拒答之争：大语言模型中续写触发越狱的机制分析

    分析续写触发越狱的注意力头机制并提出 HCS

    arXiv
    2603.08234
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    LLaMA-2-7B-Chat, Qwen2.5-7B-Instruct
    Abstract作者称越狱来自两类头竞争，HCS 加蒸馏可把该竞争用于推理时干预。

    作者用注意力头机制分析 continuation-triggered jailbreak：同一有害指令下，把 continuation 后缀从指令后面挪到提示词边界外，模型更容易顺着后缀继续生成。

    Paper analysisRead analysis
  12. AttacksarXiv 2603.01414

    通过动作级操纵越狱具身 LLM

    提出 Blindfold，用动作级操纵越狱具身 LLM

    arXiv
    2603.01414
    Published
    Layer
    Application layer
    Setting
    Embodied systems and robotics
    Attacker
    No-box (offline transfer)
    Evaluated models
    Llama-3.1-8B, DeepSeek-R1-14B, Gemma-3-27B and others8
    AbstractBlindfold 以动作级代理规划越狱具身 LLM，作者称可绕过语义检查并在仿真与真机生效。

    Blindfold 是面向具身 LLM 规划模块的 no-box 攻击，把恶意意图改写成看似良性的动作序列。

    Paper analysisRead analysis
  16. AttacksarXiv 2510.10271

    MetaBreak：通过特殊 token 操纵越狱在线 LLM 服务

    提出 MetaBreak，用特殊 token 操纵越狱在线 LLM 服务并绕过审核

    arXiv
    2510.10271
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Attacker
    Black-box
    Evaluated models
    Llama-3.3-70B-Instruct, Qwen-2.5-72B-Instruct, Gemma-2-27B-Instruct and others10

    Abstract利用特殊 token 注入对抗平台模板包裹与审核，多场景验证了越狱有效性与互补性。

    Paper analysisRead analysis
  18. AttacksarXiv 2509.25624

    STAC：看似无害的工具调用链如何攻破 LLM Agent

    提出 STAC 框架，把恶意目标拆成多轮看似无害的工具调用链

    arXiv
    2509.25624
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    GPT-4.1-2025-04-14, GPT-4.1-mini-2025-04-14, Qwen3-32B and others8

    Abstract作者提出并验证了智能体在序列化工具攻击下的普遍脆弱性，指出针对累积动作序列防御的必要性。

    Paper analysisRead analysis
You have reached the end