Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

Jailbreaks and attacks · Papers

Found 26 papers
  1. AttacksarXiv 2610.06670

    研究者提出 Reward Stealing Attack,从对齐模型行为反推安全奖励实施攻击

    提出 ReSA,从对齐模型行为恢复安全奖励并在解码时反转

    Published
    Evaluated models
    Llama3.1-8B-Instruct, Gemma-7B-Instruct, Qwen2.5-7B-Instruct and others9
    AbstractReSA 用最大熵 IRL 从对齐模型行为恢复代理安全奖励,并在解码时反转以诱导有害输出。

    ReSA 是一种对抗攻击:从对齐模型的可观察行为恢复代理安全奖励,再在解码时把该奖励反过来用。。

    Paper analysisRead analysis
  2. AttacksarXiv 2610.05943

    CRIME 框架利用良性 Agent 技能组合诱发恶意行为

    提出 CRIME 框架,组合良性 Agent 技能诱发恶意行为

    Published
    Setting
    AI Agent
    Evaluated models
    DeepSeek-V4-Flash, GPT-4o-mini, GPT-4o and others6
    Abstract良性技能经 DCA 或 ACA 组合后可产生恶意环境后果,单独审查对不上。

    CRIME 把公共技能库中各自通过审查的技能配成两两组合,看联合执行能否实现指定恶意任务。。

    Paper analysisRead analysis
  3. AttacksarXiv 2609.15383

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击,拆分任务向对齐模型套取能力

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    GPT-5.5, Claude Opus 4.8, Grok-4.3 and others7

    Abstract作者提出了能力洗钱攻击,发现未对齐编排器分解咨询对齐模型可恢复能力差距,指出需建立跨会话防御。

    Paper analysisRead analysis
  4. AttacksarXiv 2609.03247

    研究揭示大语言模型的自发身份认证失败:五款模型的分阶段开发者身份实验

    提出 MIPC 与 CFA,观察模型自拟测验后接受开发者身份

    Published
    Evaluated models
    ChatGPT, Claude, Qwen3.7-Plus and others5
    Abstract自拟测验可造成对话层虚假认证,但所测授权边界并未因此改变。

    这项工作把“模型自己出题、自己批改、再宣布身份已核验”定义成对话层认证失败,并与后端提权分开。

    Paper analysisRead analysis
  5. AttacksarXiv 2609.02414

    Blueprint 框架用世界观模拟与 18 个影响因子提升多轮越狱成功率

    提出多轮越狱框架 BLUEPRINT,用世界观模拟与心理因素诱导有害输出

    Published
    Attacker
    Black-box
    Evaluated models
    Qwen3-Next-80B, DeepSeek-V3.2, GLM-4.7 and others6
    AbstractBLUEPRINT 解耦多轮越狱策略与情境模拟,揭示任务具象化是摆脱拒绝的核心机制,为多轮安全防御提供新视角。

    BLUEPRINT 是一个将因子化社会影响力策略空间与跨轮世界观模拟解耦的多轮大语言模型安全评测框架。

    Paper analysisRead analysis
  6. AttacksarXiv 2607.23496

    Concept2Scenario:用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario,借助内部概念归因发现可迁移的越狱场景

    Published
    Evaluated models
    Qwen3.5-9B, Llama-3.1-8B, Ministral-3-8B and others6

    Abstract该研究从表征空间因果归因揭示场景削弱拒绝的机制,发现可复用脆弱场景先验,提升多模型黑盒越狱效能与探索速度。

    Paper analysisRead analysis
  7. AttacksarXiv 2606.21077

    OTTER:仅替换五个 token 即可绕过 GPT 系列毒性审核

    提出 OTTER 词元替换越狱,绕过表面毒性审核诱导有害回答

    Published
    Attacker
    Black-box
    Evaluated models
    gpt-4-turbo, gpt-4o, gpt-4o-mini and others4

    Abstract论文展示了表面毒性与恶意意图的解耦现象,通过标准 API 实现黑盒越狱测试,并提出闭环分类器加固建议。

    Paper analysisRead analysis
  8. AttacksarXiv 2606.09084

    研究者提出 Context-Fractured Decomposition 攻击

    提出 CFD 跨会话分解攻击,利用工件来源缺口绕过工具型 Agent 的本地检查

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-4.1, GPT-5-nano, Claude-3.5-Sonnet and others6
    AbstractCFD 用无指令 artifact 把越狱拆到跨会话。

    CFD针对工具型 LLM 智能体:利用 artifact 来源不被跟踪这一部署失败模式,把有害目标拆开后延迟组合。

    Paper analysisRead analysis
  9. AttacksarXiv 2603.01414

    通过动作级操纵越狱具身 LLM

    提出 Blindfold,用动作级操纵越狱具身 LLM

    Published
    Evaluated models
    Llama-3.1-8B, DeepSeek-R1-14B, Gemma-3-27B and others8
    AbstractBlindfold 以动作级代理规划越狱具身 LLM,作者称可绕过语义检查并在仿真与真机生效。

    Blindfold 是面向具身 LLM 规划模块的 no-box 攻击,把恶意意图改写成看似良性的动作序列。

    Paper analysisRead analysis
  10. AttacksarXiv 2602.00388

    Safer by Diffusion, Broken by Context: The Safety Dividend and Failure Modes of Diffusion LLMs

    提出黑盒 context nesting,用结构化补全任务嵌套有害请求越狱扩散 LLM

    Published
    Attacker
    Black-box
    Evaluated models
    LLaDA-8B-Instruct, LLaDA-1.5, Dream-v0-Instruct-7B and others5
    Abstract去噪抑制多种越狱。

    作者把 D-LLM 相对 AR-LLM 越狱的稳健性称为 safety blessing,并把 context nesting 当作它的 black-box 失效方式。

    Paper analysisRead analysis