Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

Jailbreaks and attacks · Papers

Found 22 papers
  1. AttacksarXiv 2609.15383

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击,拆分任务向对齐模型套取能力

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    GPT-5.5, Claude Opus 4.8, Grok-4.3 and others7

    Abstract作者提出了能力洗钱攻击,发现未对齐编排器分解咨询对齐模型可恢复能力差距,指出需建立跨会话防御。

    Paper analysisRead analysis
  2. AttacksarXiv 2609.03247

    研究揭示大语言模型的自发身份认证失败:五款模型的分阶段开发者身份实验

    提出 MIPC 与 CFA,观察模型自拟测验后接受开发者身份

    Published
    Evaluated models
    ChatGPT, Claude, Qwen3.7-Plus and others5
    Abstract自拟测验可造成对话层虚假认证,但所测授权边界并未因此改变。

    这项工作把“模型自己出题、自己批改、再宣布身份已核验”定义成对话层认证失败,并与后端提权分开。

    Paper analysisRead analysis
  3. AttacksarXiv 2609.02414

    Blueprint 框架用世界观模拟与 18 个影响因子提升多轮越狱成功率

    提出多轮越狱框架 BLUEPRINT,用世界观模拟与心理因素诱导有害输出

    Published
    Attacker
    Black-box
    Evaluated models
    Qwen3-Next-80B, DeepSeek-V3.2, GLM-4.7 and others6
    AbstractBLUEPRINT 解耦多轮越狱策略与情境模拟,揭示任务具象化是摆脱拒绝的核心机制,为多轮安全防御提供新视角。

    BLUEPRINT 是一个将因子化社会影响力策略空间与跨轮世界观模拟解耦的多轮大语言模型安全评测框架。

    Paper analysisRead analysis
  4. AttacksarXiv 2607.18056

    上海 AI 实验室提出 Intern-BioBreaker,在 14 个前沿模型上暴露生物安全越狱风险

    提出生物红队模型 Intern-BioBreaker,多轮越狱诱导模型输出可操作生物危害

    Published
    Evaluated models
    DeepSeek-V3, Kimi-K2.6, DeepSeek-V4-Pro and others14

    Abstract论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。

    Paper analysisRead analysis
  5. AttacksarXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱:GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱,让编程 Agent 在开发任务中写入有害示例

    Published
    Evaluated models
    Claude Sonnet 4.6, Claude Haiku 4.5, Gemini 3.1 Pro and others4
    Abstract作者报告 Copilot 后端会在编码工作流中生成其在单轮条件下通常拒绝的有害答案。

    这是一项生产 IDE 编码智能体的工作流越狱研究,受测对象是 Copilot 的四个模型后端,而非评测流水线中的名义目标。

    Paper analysisRead analysis
  6. AttacksarXiv 2604.24082

    研究者提出意图伪装多轮越狱方法,可攻破 GPT-5-thinking 与 Claude-Sonnet-4.5

    提出多轮意图欺骗越狱 iDecep,用良性意图伪装引出有害内容

    Published
    Attacker
    Black-box
    Evaluated models
    GPT-4o, Gemini-2.5-Flash, Claude-Sonnet-4.5 and others4
    AbstractiDecep 用意图欺骗做多轮越狱,在 GPT-5 与 Claude-Sonnet-4.5 上同时测到直接成功和 para 成功。

    iDecep 是一种黑盒多轮越狱:用表面良性的意图维持与恶意目标贴近的对话,并单独计入 safe completion 替代内容中的有害信息。。

    Paper analysisRead analysis
  7. AttacksarXiv 2603.20198

    研究者提出 MM-Plan 多模态越狱框架

    提出 MM-Plan 多模态越狱框架,自动规划多轮图像编辑以越狱视觉独占目标

    Published
    Attacker
    Black-box
    Evaluated models
    Llama-3.2-11B, InternVL3-8B, Qwen3-VL-8B and others8
    Abstract作者称全局规划能攻破对单轮攻击更稳的前沿 MLLM。

    MM-Plan 是面向 Visual Exclusivity 的 black-box 多模态红队方法,并配有人工基准 VE-Safety。

    Paper analysisRead analysis
  8. AttacksarXiv 2601.05466

    Jailbreaking large language models through reinforcement learning with iterative tool disguise attacks

    提出 iMIST,用工具伪装和 PPO 迭代越狱大语言模型

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    DeepSeek-V3, Qwen3-32B, GPT-OSS-120B
    AbstractiMIST 用工具伪装和在线 PPO 做黑盒越狱,Table I 中 JADES 高于同格基线。

    iMIST是黑盒越狱方法:把恶意查询伪装成合法工具调用,再用在线强化学习把响应的有害性分数往上推。

    Paper analysisRead analysis
  9. AttacksarXiv 2601.02670

    SLIP:无需外部攻击模型的多轮自我越狱

    提出无外部攻击模型的多轮自我越狱方法 SLIP

    Published
    Attacker
    Black-box
    Evaluated models
    GPT-5.1, GPT-4o, Claude-Sonnet-4.5 and others11

    Abstract论文提出了无外部攻击模型的自我越狱方法 SLIP,指出对齐模型内在能力抑制的漏洞并设计了语义漂移防御。

    Paper analysisRead analysis