攻击arXiv 2610.12292
论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作
提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作
- arXiv
- 2610.12292
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- LAYA-TD、LAYA-EN、LAYA-ML 等5个
摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。
全部论文
另有232篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.11112
EpiReal-Bench：商用图像生成模型虚假声明红队基准
构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据
- arXiv
- 2610.11112
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等4个
摘要四款商用图像模型能把假主张画成可信证据。
EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。
- 攻击arXiv 2610.10742
BRANCH 方法绕过 6 套多扫描器护栏系统
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
- arXiv
- 2610.10742
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta Llama Guard 3 8B、Meta Llama Guard 7B、Meta Llama Guard 3 1B 等18个
- 防御arXiv 2610.09167
Persist-3 用顺序检验识别未见越狱来源，提升 MTK 与 Prompt Guard 2 防御效果
提出 Persist-3 序贯检验，从隐藏表示识别未见越狱源
- arXiv
- 2610.09167
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama2-7B-chat、Qwen2.5-7B-Instruct、Gemma-2-9B-it 等4个
摘要Persist-3 用有限窗口检验攻击流是否超出已知越狱源，检出率低于全历史 SR-DKW，但决策只依赖最近观测。
Persist-3 是一个有限记忆的序贯检测器，用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。。
- 攻击arXiv 2610.07723
研究者提出答案侧后门：让模型自生成触发词绕过安全拒答
提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答
- arXiv
- 2610.07723
- 发表
- 场景
- 模型与 API
- 被测模型
- Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等4个
摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
- 防御arXiv 2610.07657
DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降
实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击
- arXiv
- 2610.07657
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Qwen3-235B-A22B-Instruct-2507、gpt-oss-120b、Llama-4-Scout-17B-16E-Instruct 等5个
摘要DEFER 把确定性检查放在 judge 之前。
DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。
- 评测与基准arXiv 2610.06503
研究评测五款开源文生图模型的有害内容生成与审核缺口
评测文生图模型的有害内容生成能力与审核检测缺口
- arXiv
- 2610.06503
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SDXL、Stable Diffusion 3.5 Large、FLUX.1-dev 等12个
- 攻击arXiv 2610.05943
CRIME 框架利用良性 Agent 技能组合诱发恶意行为
提出 CRIME 框架，组合良性 Agent 技能诱发恶意行为
- arXiv
- 2610.05943
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Flash、GPT-4o-mini、GPT-4o 等6个
摘要良性技能经 DCA 或 ACA 组合后可产生恶意环境后果，单独审查对不上。
CRIME 把公共技能库中各自通过审查的技能配成两两组合，看联合执行能否实现指定恶意任务。。
- 防御arXiv 2610.04412
论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性
提出检测、结构化与 GSPO 流程，降低共识生成的提示注入错位
- arXiv
- 2610.04412
- 发表
- 层
- 应用层
- 被测模型
- LLaMA-2 7B、LLaMA-3 8B、GPT 3.5 Turbo 等14个
摘要三章依次做个体偏好预测、政党知识图谱审议，以及共识生成对提示注入的脆弱性与一条防御流程。
这是一篇把 LLM 数字孪生放进增强民主的博士论文，分个体表示、政党聚合和共识生成的提示注入三章。
- 防御arXiv 2610.03434
Persona Guardrail：面向智能体系统的生产级防御框架
提出 Persona Guardrail，强制客服智能体守住功能边界
- arXiv
- 2610.03434
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- Qwen3-30B-A3B、Qwen3-VL-30B、Qwen3-8B 等5个
摘要Persona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。
Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。
- 防御arXiv 2610.02853
研究提出基于收缩约束状态空间模型的有界可达性与越狱检测方法
提出收缩约束 SSM 安全头，认证嵌入扰动并检测越狱
- arXiv
- 2610.02853
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- ToySSMClassifier、S4 safety head
摘要收缩给出玩具 LTI 的有界认证。
给 SSM 安全头一个收缩条件，并在越狱检测上使用收缩正则的 S4 头。。
- 防御arXiv 2610.02432
论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护
提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感
- arXiv
- 2610.02432
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
- 被测模型
- Gemma-3-27B-Instruct、Gemma-3-4B-Instruct、Llama-3.2-3B-Instruct 等12个
- 防御arXiv 2610.01058
MOMAT：面向量化 LLM 低功耗越狱防御的多图集混合框架
提出 MOMAT 多图集检索与轻量判定，防御量化模型越狱
- arXiv
- 2610.01058
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Llama2-13B、Llama2-7B、Mistral-7B
- 防御arXiv 2610.00883
DeBERTa-ConPara：面向部署的 AI 生成文本检测，推理端 Unicode 归一化提升对抗鲁棒性
提出推理时 Unicode 归一化的检测器，识别遭字符级扰动的 AI 生成文本
- arXiv
- 2610.00883
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- microsoft/deberta-v3-large、deberta-v3-base、bert-large-cased 等4个
摘要推理时归一化消除两类 Unicode 攻击，训练时归一化则会删掉对抗监督。
DeBERTa-ConPara 是一个面向部署的 AI 文本检测器：DeBERTa-v3-large 在多数据集原始文本上训练，推理前做确定性 Unicode 归一化，用一个固定阈值面对没有目标域标签的场景。
- 攻击arXiv 2609.38253
CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱
提出 CollageAttack，用空间文本碎片重组越狱文生图模型
- arXiv
- 2609.38253
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro 等5个
摘要系统揭示 T2I 跨模态空间合成安全漏洞，证实离散无害元素可在图像层面重构有害意图并放大传播强度。
- 评测与基准arXiv 2609.36849
研究评估 GradSafe 在多轮对话中的越狱检测脆弱性
评测多轮对话中 GradSafe 越狱检测的可分性与脆弱性
- arXiv
- 2609.36849
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Llama 3.1 8B Instruct、Qwen2.5-7B-Instruct
摘要CWS 显示不安全梯度在真实多轮流量中变弱，且随攻击族和模型而变。
作者评估梯度越狱检测从单条提示词迁到多轮对话后还剩多少可分性，方法是用 Context Window Scanner 把 GradSafe 原封不动地套到用户轮窗口上。
- 防御arXiv 2609.36562
ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害
构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险
- arXiv
- 2609.36562
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- ThinkingGuard（Qwen3-VL-8B-Instruct）
摘要TriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。
这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。
- 分析与理论arXiv 2609.36477
研究发现护栏模型在基座模型不确定处过度自信
诊断护栏相对基座在对抗提示上的置信失校
- arXiv
- 2609.36477
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-Guard 7B、Llama-Guard-2 8B、Llama-Guard-3 8B 等10个
摘要对抗包装使 guard 高置信漏检，而对应 base 在同一输入上常更不确定。
诊断性分析：五个提示词分类 guard 的置信度，在清洁输入上可以较校准，在越狱包装后则变成高置信度的错误判定。
- 攻击arXiv 2609.34920
RISE：用迭代策略演化对现代文生图模型做红队测试
提出 RISE，迭代演化可复用策略对文生图模型做红队
- arXiv
- 2609.34920
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- DALL·E 3、Nano Banana 2、GPT-Image-2 等7个
- 评测与基准arXiv 2609.33401
论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化
评测 System One 模型对 Agent 安全输入的分类可靠性与校准
- arXiv
- 2609.33401
- 发表
- 层
- 提示层
- 场景
- LLM 应用
- 被测模型
- Jev 1.13、Laya, English checkpoint、Decider, approximately 2B 等4个
摘要离线评测表明，安全判定的总体分数和校准不能代替分组误差和带预算的自动决策检查。
Liu 离线评测 System One 模型能否为智能体安全输入给出可自动化的概率决策。问题是分类是否可靠，以及概率能否在指定漏检和误拦上限内支持放行、拦截或复核。