Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

Jailbreaks and attacks · Papers

Found 40 papers
  1. AttacksarXiv 2610.06670

    研究者提出 Reward Stealing Attack,从对齐模型行为反推安全奖励实施攻击

    提出 ReSA,从对齐模型行为恢复安全奖励并在解码时反转

    Published
    Evaluated models
    Llama3.1-8B-Instruct, Gemma-7B-Instruct, Qwen2.5-7B-Instruct and others9
    AbstractReSA 用最大熵 IRL 从对齐模型行为恢复代理安全奖励,并在解码时反转以诱导有害输出。

    ReSA 是一种对抗攻击:从对齐模型的可观察行为恢复代理安全奖励,再在解码时把该奖励反过来用。。

    Paper analysisRead analysis
  2. AttacksarXiv 2610.05943

    CRIME 框架利用良性 Agent 技能组合诱发恶意行为

    提出 CRIME 框架,组合良性 Agent 技能诱发恶意行为

    Published
    Setting
    AI Agent
    Evaluated models
    DeepSeek-V4-Flash, GPT-4o-mini, GPT-4o and others6
    Abstract良性技能经 DCA 或 ACA 组合后可产生恶意环境后果,单独审查对不上。

    CRIME 把公共技能库中各自通过审查的技能配成两两组合,看联合执行能否实现指定恶意任务。。

    Paper analysisRead analysis
  3. AttacksarXiv 2609.15383

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击,拆分任务向对齐模型套取能力

    Published
    Setting
    AI Agent
    Attacker
    Black-box
    Evaluated models
    GPT-5.5, Claude Opus 4.8, Grok-4.3 and others7

    Abstract作者提出了能力洗钱攻击,发现未对齐编排器分解咨询对齐模型可恢复能力差距,指出需建立跨会话防御。

    Paper analysisRead analysis
  4. AttacksarXiv 2609.07216

    DIVA:利用视觉锚点对视频生成模型实施多模态越狱

    提出 DIVA,将有害意图拆成视觉锚点与运动文本以越狱视频生成模型

    Published
    Attacker
    Black-box
    Evaluated models
    Wan, CogVideoX, LTX-Video and others9
    AbstractDIVA 用视觉锚点抑制语义漂移做视频越狱,并给出多条件安全基准 TI2VSafetyBench。

    DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱:用一致性机制本身堵住语义漂移这条安全逃逸路径。。

    Paper analysisRead analysis
  5. AttacksarXiv 2607.02961

    研究者提出信息过载方法越狱大型视觉语言模型

    提出 INFER+ 信息过载方法,越狱大型视觉语言模型

    Published
    Evaluated models
    Qwen3-VL-8B, Qwen2-VL-7B, InternVL3.5-8B and others8
    Abstract用图文过载越狱 LVLM。

    这篇工作用信息过载越狱 LVLM,而不是靠 OOD 变换隐藏意图。

    Paper analysisRead analysis
  6. AttacksarXiv 2606.21077

    OTTER:仅替换五个 token 即可绕过 GPT 系列毒性审核

    提出 OTTER 词元替换越狱,绕过表面毒性审核诱导有害回答

    Published
    Attacker
    Black-box
    Evaluated models
    gpt-4-turbo, gpt-4o, gpt-4o-mini and others4

    Abstract论文展示了表面毒性与恶意意图的解耦现象,通过标准 API 实现黑盒越狱测试,并提出闭环分类器加固建议。

    Paper analysisRead analysis
  7. AttacksarXiv 2606.09084

    研究者提出 Context-Fractured Decomposition 攻击

    提出 CFD 跨会话分解攻击,利用工件来源缺口绕过工具型 Agent 的本地检查

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-4.1, GPT-5-nano, Claude-3.5-Sonnet and others6
    AbstractCFD 用无指令 artifact 把越狱拆到跨会话。

    CFD针对工具型 LLM 智能体:利用 artifact 来源不被跟踪这一部署失败模式,把有害目标拆开后延迟组合。

    Paper analysisRead analysis
  8. AttacksarXiv 2607.21619

    ASO:用GRPO优化视觉风格放大MLLM越狱攻击

    提出 ASO,用 GRPO 优化视觉风格以放大越狱攻击

    Published
    Attacker
    Gray-box
    Evaluated models
    GPT-4.1-mini, Gemini-2.5-Flash, Qwen3-VL and others6

    Abstract论文揭示了 MLLM 的风格敏感性脆弱面,提出 ASO 框架利用强化学习优化风格触发器,有效放大了现有视觉越狱效果。

    Paper analysisRead analysis
  9. AttacksarXiv 2606.01837

    论文提出 DSR 跨模态越狱框架:用良性输入诱导 MLLM 有害输出

    提出 DSR 跨模态越狱,用无害图文诱导 MLLM 生成有害图像

    Published
    Attacker
    Black-box
    Evaluated models
    gemini-2.5-flash-image, qwen-image-2.0, Tongyi Wanx 2.5
    AbstractDSR 用无害图文诱导商业 MLLM 输出有害图像,作者称组合能力会反过来扩大攻击面。

    DSR 是一种 black-box 跨模态越狱:输入侧不放显式有害内容,而让商业 MLLM 在推理中把无害图文重组成有害图像。

    Paper analysisRead analysis
  10. AttacksarXiv 2605.07399

    研究者提出 GPO-V,用全局概率优化越狱扩散视觉语言模型

    提出 GPO-V,用全局概率优化的视觉扰动越狱扩散视觉语言模型

    Published
    Evaluated models
    LLaDA-V, LaViDA
    Abstract作者用视觉扰动改 dVLM 的全局生成概率,以绕过两类拒绝。

    GPO-V 把越狱从“开头必须顺从”改成“整段去噪概率朝肯定方向走”。。

    Paper analysisRead analysis
  11. AttacksarXiv 2605.00583

    Jailbreaking vision-language models through the visual modality

    提出四类视觉越狱,把有害意图编码进图像以绕过安全拒答

    Published
    Evaluated models
    GPT-5.2, Claude-Haiku-4.5, Gemini-3-Flash and others8
    Abstract四类视觉越狱在六个 VLM 上检验文本对齐能否挡住视觉意图,模型与攻击之间差异大。

    四类视觉越狱用来检验前沿 VLM 的文本安全训练能否挡住由图像传达的有害意图。。

    Paper analysisRead analysis
  12. AttacksarXiv 2603.09246

    研究者提出 Reasoning-Oriented Programming,通过链式语义片段越狱大型视觉语言模型

    提出 VROP,把有害意图拆成良性视觉 gadget 越狱视觉语言模型

    Published
    Attacker
    Black-box
    Evaluated models
    GPT-4o, Claude 3.7 Sonnet, GLM-4V-Plus and others7
    AbstractVROP 以良性视觉 gadget 与控制流提示词做组合越狱。

    VROP是 black-box 多模态越狱框架:不在输入中放显式恶意触发,而把有害目标拆成语义正交的良性视觉 gadget,再用控制流提示词把合成留到后期推理。

    Paper analysisRead analysis