Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

Jailbreaks and attacks · Papers

Found 12 papers
Filter1
Select any value within a category; different categories must all match. Counts include the other filters you have selected.
  1. AttacksarXiv 2610.05943

    CRIME 框架利用良性 Agent 技能组合诱发恶意行为

    提出 CRIME 框架,组合良性 Agent 技能诱发恶意行为

    Published
    Setting
    AI Agent
    Evaluated models
    DeepSeek-V4-Flash, GPT-4o-mini, GPT-4o and others6
    Abstract良性技能经 DCA 或 ACA 组合后可产生恶意环境后果,单独审查对不上。

    CRIME 把公共技能库中各自通过审查的技能配成两两组合,看联合执行能否实现指定恶意任务。。

    Paper analysisRead analysis
  2. AttacksarXiv 2609.15383

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击,拆分任务向对齐模型套取能力

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    GPT-5.5, Claude Opus 4.8, Grok-4.3 and others7

    Abstract作者提出了能力洗钱攻击,发现未对齐编排器分解咨询对齐模型可恢复能力差距,指出需建立跨会话防御。

    Paper analysisRead analysis
  3. AttacksarXiv 2608.27439

    RedEvoAgent:以经验驱动技能演化的自动红队智能体

    提出 RedEvoAgent,演化攻击技能对黑盒智能体做自动红队

    Published
    Attacker
    Black-box
    Evaluated models
    MiniMax-M2.5, DeepSeek-V4-Flash, Qwen3.5-35B
    AbstractRedEvoAgent 用验证棘轮演化可读攻击技能,在两种产品级 harness 上多数设置高于固定工具与红队基线。

    RedEvoAgent 是面向产品级 black-box 智能体的自动红队方法,用一份可演化、人类可读的攻击技能编排多个越狱工具。。

    Paper analysisRead analysis
  4. AttacksarXiv 2607.03968

    The study reveals workflow-level jailbreaks in IDE programming agents: GitHub Copilot generated harmful content across four backends at 816/816

    提出工作流级越狱,让编程 Agent 在开发任务中写入有害示例

    Published
    Evaluated models
    Claude Sonnet 4.6, Claude Haiku 4.5, Gemini 3.1 Pro and others4
    Abstract作者报告 Copilot 后端会在编码工作流中生成其在单轮条件下通常拒绝的有害答案。

    这是一项生产 IDE 编码智能体的工作流越狱研究,受测对象是 Copilot 的四个模型后端,而非评测流水线中的名义目标。

    Paper analysisRead analysis
  5. AttacksarXiv 2606.09084

    研究者提出 Context-Fractured Decomposition 攻击

    提出 CFD 跨会话分解攻击,利用工件来源缺口绕过工具型 Agent 的本地检查

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-4.1, GPT-5-nano, Claude-3.5-Sonnet and others6
    AbstractCFD 用无指令 artifact 把越狱拆到跨会话。

    CFD针对工具型 LLM 智能体:利用 artifact 来源不被跟踪这一部署失败模式,把有害目标拆开后延迟组合。

    Paper analysisRead analysis
  6. AttacksarXiv 2603.01414

    通过动作级操纵越狱具身 LLM

    提出 Blindfold,用动作级操纵越狱具身 LLM

    Published
    Evaluated models
    Llama-3.1-8B, DeepSeek-R1-14B, Gemma-3-27B and others8
    AbstractBlindfold 以动作级代理规划越狱具身 LLM,作者称可绕过语义检查并在仿真与真机生效。

    Blindfold 是面向具身 LLM 规划模块的 no-box 攻击,把恶意意图改写成看似良性的动作序列。

    Paper analysisRead analysis
  7. AttacksarXiv 2601.05466

    Jailbreaking large language models through reinforcement learning with iterative tool disguise attacks

    提出 iMIST,用工具伪装和 PPO 迭代越狱大语言模型

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    DeepSeek-V3, Qwen3-32B, GPT-OSS-120B
    AbstractiMIST 用工具伪装和在线 PPO 做黑盒越狱,Table I 中 JADES 高于同格基线。

    iMIST是黑盒越狱方法:把恶意查询伪装成合法工具调用,再用在线强化学习把响应的有害性分数往上推。

    Paper analysisRead analysis
  8. AttacksarXiv 2509.25624

    STAC:看似无害的工具调用链如何攻破 LLM Agent

    提出 STAC 框架,把恶意目标拆成多轮看似无害的工具调用链

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    GPT-4.1-2025-04-14, GPT-4.1-mini-2025-04-14, Qwen3-32B and others8

    Abstract作者提出并验证了智能体在序列化工具攻击下的普遍脆弱性,指出针对累积动作序列防御的必要性。

    Paper analysisRead analysis
You have reached the end