CollageAttack:利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱
提出 CollageAttack,用空间文本碎片重组越狱文生图模型
- arXiv
- 2609.38253
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro 等5个
摘要系统揭示 T2I 跨模态空间合成安全漏洞,证实离散无害元素可在图像层面重构有害意图并放大传播强度。
提出 CollageAttack,用空间文本碎片重组越狱文生图模型
摘要系统揭示 T2I 跨模态空间合成安全漏洞,证实离散无害元素可在图像层面重构有害意图并放大传播强度。
评测多轮对话中 GradSafe 越狱检测的可分性与脆弱性
作者评估梯度越狱检测从单条提示词迁到多轮对话后还剩多少可分性,方法是用 Context Window Scanner 把 GradSafe 原封不动地套到用户轮窗口上。
用词级归因指导同义词替换,翻转提示注入检测并验证越狱
摘要作者称检测靠分散的词法线索。
提出任意字母置换密码越狱,无需微调即可诱导有害输出
摘要前沿大模型无需微调即可通过提示词学会字母置换密码,进而绕过分类器与对齐,作者呼吁关注能力提升带来的安全风险。
提出 DIVA,将有害意图拆成视觉锚点与运动文本以越狱视频生成模型
DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱:用一致性机制本身堵住语义漂移这条安全逃逸路径。。
提出 SinoGlyphBench,用配对字形混淆诊断中文审核稳定性
SinoGlyphBench是一个配对诊断基准,用来看内容审核在可还原的中文字形混淆下是否还保持原决定。
提出 RoguePrompt 双层编码自重构越狱,绕过 LLM 审核
提出 LogInject 框架,评测日志分析中的被动提示注入及缓解
摘要论文评估了 LLM 日志分析中的上下文污染风险,提出分片拼接等攻击与三层防御,指出必须结合架构隔离与人工介入。
提出 OTTER 词元替换越狱,绕过表面毒性审核诱导有害回答
摘要论文展示了表面毒性与恶意意图的解耦现象,通过标准 API 实现黑盒越狱测试,并提出闭环分类器加固建议。
提出 HPAA 攻击,用排版视觉线索绕过内容审核系统
这篇论文研究了人类视觉感知与大模型分词处理机制之间的差异所导致的内容审核漏洞。
提出 DSR 跨模态越狱,用无害图文诱导 MLLM 生成有害图像
DSR 是一种 black-box 跨模态越狱:输入侧不放显式有害内容,而让商业 MLLM 在推理中把无害图文重组成有害图像。
构建 MultiTurnPSB,评测四轮医疗越狱与分类器输入防御
MultiTurnPSB 针对患者端医疗大模型在持续交互中的安全风险,构建了包含三种攻击模态的四轮对抗评测基准。
提出 CITA 三阶段框架,生成可绕过毒性检测器的中文隐式毒性文本
提出多图越狱框架 DMN,把有害意图拆进图像序列绕过安全护栏
用 ADVERSA 测量多轮对抗下护栏退化与评审可靠性
ADVERSA是一套自动多轮红队测量框架,把护栏行为记成逐轮合规轨迹,并同时测量评审是否一致。要处理的问题是:单轮二元通过或失败既看不到持续对抗下安全属性如何变化,也分不开拒答逐步巩固和分数保持稳定。作者认为真实使用中的对手会改写并持续多轮。
提出 TFM,用起止帧与隐式替换越狱文生视频模型
TFM 是面向文生视频的严格黑盒提示越狱,利用模型对未写明中间过程的时间补全。
提出 AST-ASIP ,把对抗指令植入编译器忽略区域以劫持代码评分
这篇工作把自动代码评分中的失败称为 Compliance Paradox:评分模型可以离开提交逻辑,转而执行嵌在可编译代码里的隐藏指令。
提出 SpatialJB,用二维版式打散有害输出以绕过输出护栏
提出 MacPrompt 跨语言字符重组越狱,绕过文生图模型的过滤与概念移除
提出多轮多模态越狱,并用 FragGuard 拦截有害响应