攻击arXiv 2610.12292
论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作
提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作
- arXiv
- 2610.12292
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- LAYA-TD、LAYA-EN、LAYA-ML 等 5 个
摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。
- 评测与基准arXiv 2610.11112
EpiReal-Bench：商用图像生成模型虚假声明红队基准
构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据
- arXiv
- 2610.11112
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等 4 个
摘要四款商用图像模型能把假主张画成可信证据。
EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。
- 攻击arXiv 2610.10742
BRANCH 方法绕过 6 套多扫描器护栏系统
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
- arXiv
- 2610.10742
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta Llama Guard 3 8B、Meta Llama Guard 7B、Meta Llama Guard 3 1B 等 18 个
- 防御arXiv 2610.03434
Persona Guardrail：面向智能体系统的生产级防御框架
提出 Persona Guardrail，强制客服智能体守住功能边界
- arXiv
- 2610.03434
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- Qwen3-30B-A3B、Qwen3-VL-30B、Qwen3-8B 等 5 个
摘要Persona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。
Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。
- 防御arXiv 2610.02853
研究提出基于收缩约束状态空间模型的有界可达性与越狱检测方法
提出收缩约束 SSM 安全头，认证嵌入扰动并检测越狱
- arXiv
- 2610.02853
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- ToySSMClassifier、S4 safety head
摘要收缩给出玩具 LTI 的有界认证。
给 SSM 安全头一个收缩条件，并在越狱检测上使用收缩正则的 S4 头。。
- 防御arXiv 2610.02432
论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护
提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感
- arXiv
- 2610.02432
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
- 被测模型
- Gemma-3-27B-Instruct、Gemma-3-4B-Instruct、Llama-3.2-3B-Instruct 等 12 个
- 攻击arXiv 2609.38253
CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱
提出 CollageAttack，用空间文本碎片重组越狱文生图模型
- arXiv
- 2609.38253
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro 等 5 个
摘要系统揭示 T2I 跨模态空间合成安全漏洞，证实离散无害元素可在图像层面重构有害意图并放大传播强度。
- 攻击arXiv 2609.34920
RISE：用迭代策略演化对现代文生图模型做红队测试
提出 RISE，迭代演化可复用策略对文生图模型做红队
- arXiv
- 2609.34920
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- DALL·E 3、Nano Banana 2、GPT-Image-2 等 7 个
- 评测与基准arXiv 2609.09798
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准，评测代码生成护栏对虚构场景攻击的防御
- arXiv
- 2609.09798
- 发表
- 层
- 提示层
- 攻击者
- 黑盒
- 被测模型
- CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
- 攻击arXiv 2609.09553
研究：任意密文攻击前沿大模型无需微调即可越狱
提出任意字母置换密码越狱，无需微调即可诱导有害输出
- arXiv
- 2609.09553
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Claude Sonnet 4、Claude Sonnet 4.5、Gemini 3 Flash (preview) 等 7 个
摘要前沿大模型无需微调即可通过提示词学会字母置换密码，进而绕过分类器与对齐，作者呼吁关注能力提升带来的安全风险。
- 攻击arXiv 2609.08236
研究：内容不变的风格包装可翻转 LLM 安全评判器的判定
提出内容不变样式包装，翻转安全评审器的判定
- arXiv
- 2609.08236
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-4o-mini (gpt4o)、GPT-4o-mini (strongreject)、DeepSeek-Chat 等 7 个
摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。
这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。
- 攻击arXiv 2609.07216
DIVA：利用视觉锚点对视频生成模型实施多模态越狱
提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型
- arXiv
- 2609.07216
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Wan、CogVideoX、LTX-Video 等 9 个
摘要DIVA 用视觉锚点抑制语义漂移做视频越狱，并给出多条件安全基准 TI2VSafetyBench。
DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱：用一致性机制本身堵住语义漂移这条安全逃逸路径。。
- 防御arXiv 2609.06540
SRD-GUARD：通过语义改写与多模型联合评分暴露潜在意图的 LLM 防御框架
提出 SRD-GUARD，以语义改写与多模型联合评分拦截包装式越狱
- arXiv
- 2609.06540
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Llama-3-8B-Uncensored、DeepSeek-V4-Flash
- 攻击arXiv 2609.01168
CRACK：用多智能体辩论越狱多层安全过滤的 T2I 模型
提出 CRACK，用多智能体辩论在黑盒下越狱文生图多层安全过滤
- arXiv
- 2609.01168
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Stable Diffusion v1.4、SDXL、DALL·E 3 等 4 个
摘要CRACK 以分层诊断的多智能体辩论搜索多层 T2I 过滤器的联合规避区域。
CRACK 是面向文本生成图像模型多层安全栈的黑盒越狱框架，用几何上的 Detection Surface 解释为何粗粒度反馈不够。
- 防御arXiv 2608.12876
SPARED：用对抗编辑数据训练基于推理的 AI 生成图像检测器
提出 SPARED，用对抗编辑数据训练基于推理的 AI 生成图像检测器
- arXiv
- 2608.12876
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3.5-9B
摘要SPARED 用防捷径的编辑对抗环训练 9B 推理检测器。
SPARED 是一套用于可解释 AI 生成图像检测的攻防强化学习流程，报告模型是 Qwen3.5-9B 上的第三轮防御器。
- 攻击arXiv 2608.09732
ColluSkill 用跨技能组合绕过 Agent 技能扫描器
提出 ColluSkill，用跨技能组合绕过 Agent 技能扫描器
- arXiv
- 2608.09732
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5、DeepSeek-V4-Pro、GLM-5.2
摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。
- 防御arXiv 2608.06422
CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用
提出分片监督，将评判标准分配给独立调用以抵御展示攻击
- arXiv
- 2608.06422
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 4 个
摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。
本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。
- 攻击arXiv 2607.27373
RoguePrompt 用双层编码绕过 LLM 审核
提出 RoguePrompt 双层编码自重构越狱，绕过 LLM 审核
- arXiv
- 2607.27373
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- OpenAI GPT-4o (gpt-4o-2024-11-20)、Anthropic Claude 3 Opus (claude-3-opus-20240229)、Google Gemini 1.5 Pro (gemini-1.5-pro-002)
- 攻击arXiv 2607.01276
研究者提出嵌入推断攻击 EIA，可在黑盒 IR 系统中识别所用嵌入模型
提出嵌入推断攻击 EIA，在黑盒 IR 中识别所用嵌入模型
- arXiv
- 2607.01276
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- e5-small、e5-small-v2、e5-base 等 19 个
摘要EIA 用无序文档集的差异从候选中识别嵌入模型，并给出 reranker 与阈值下的计数。
EIA 是在黑盒 IR 上识别所用嵌入模型的攻击。。
- 攻击arXiv 2606.21077
OTTER：仅替换五个 token 即可绕过 GPT 系列毒性审核
提出 OTTER 词元替换越狱，绕过表面毒性审核诱导有害回答
- arXiv
- 2606.21077
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- gpt-4-turbo、gpt-4o、gpt-4o-mini 等 4 个
摘要论文展示了表面毒性与恶意意图的解耦现象，通过标准 API 实现黑盒越狱测试，并提出闭环分类器加固建议。