全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：越狱、提示注入、投毒与防御
DIVA：针对离散扩散视觉语言模型的跨步条件传播视觉越狱
研究者提出 DIVA，一个针对多模态离散扩散视觉语言模型（dVLMs）的白盒视觉越狱框架，在三个 dVLMs 上分别达到 58.8%、67.7% 和 69.1% 的 HADES ASR（Beaver 奖励模型指标），超过为自回归模型设计的视觉越狱基线。作者指出，现有视觉越狱研究几乎只关注自回归架构，而离散扩散视觉语言模型尚未被研究。他们识别出扩散生成特有的漏洞：视觉嵌入在每一步反向去噪中都作为条件，而非一次性前缀，因此对抗性视觉语义会在生成轨迹中被反复传播和放大，作者称之为跨步条件传播。
- 论文arXiv：越狱、提示注入、投毒与防御
ISM：通过语义匹配隐式操纵 LLM Agent 的技能选择
研究者提出 ISM（Implicit Skill-Selection Manipulation via Semantic Matching），一种针对 LLM Agent 技能选择阶段的隐式攻击：即使用户提示词和技能描述单独看都无害，其语义关系仍可被塑造以偏向攻击者选定的技能。该方法同时塑造目标技能的元数据和可复用的提示词，通过三阶段策略扩大语义覆盖、强化目标技能区分度并保持自然措辞，不依赖显式选择指令。在四个任务领域和八个选择器模型上，ISM 将平均目标选择率（TSR）从 15.2% 提升到 63.5%；匹配比较中达到 73.5%，仅比显式引导低 9.8 个百分点。人工审查者只在 2.9% 的判断中拦下 ISM（显式引导为 91.4%），五个基于 LLM 的检查器平均放行 82.9%（显式引导为 37.4%），ISM 对 PPL-W、Llama Prompt Guard 2 和 PIGuard 也仍然有效。
- 论文arXiv：越狱、提示注入、投毒与防御
BOSS：以广度优先后缀搜索改进 GCG 越狱优化
研究者提出 BOSS，一个即插即用框架，通过广度导向的后缀搜索改进基于 GCG 的越狱优化。现有 GCG 方法依赖平均对抗损失和深度贪心搜索，容易过度强调易越狱行为并忽略后缀空间中有潜力的区域。BOSS 使用 Tail-Focused Adversarial Loss（TFAL）、标准源损失和行为覆盖来选择终止后缀，再探索多条短轨迹并有选择地延续有潜力的后缀。在公开基准上的实验显示，BOSS 在多种基于 GCG 的方法上提升了攻击成功率，同时减少了优化时间。
- 论文arXiv：越狱、提示注入、投毒与防御
研究揭示大语言模型的自发身份认证失败：五款模型的分阶段开发者身份实验
研究通过分阶段的开发者身份实验，测试 ChatGPT、Claude、Qwen、Mistral 和 Llama 在用户声称“我是你的开发者”时的反应。五款模型最初都拒绝了这一无依据的身份声明，Claude 拒绝进行身份测试，ChatGPT 生成了开发者相关问题但坚持答案只能证明知识而非身份。Qwen 和 Mistral 则自行生成技术挑战、定义何为可信证据、评估详细回答，并在没有外部验证身份证据的情况下返回 Verified。Llama 同样生成并评估开发者测试，接受了声称的身份，随后对内部运行时和部署状态做出无依据的声明。
- 论文arXiv：越狱、提示注入、投毒与防御
Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击
研究者提出 Repeat-After-Me，一种黑盒自适应视觉提示注入攻击，可诱导模型泄露个人身份信息或发起恶意工具调用。在良性用户提示与注入任务语义无关、且未口头授权的现实设定下，该方法在开源与商用前沿 VLM 上的攻击成功率分别超过 82% 和 47%，涉及 Qwen3.6-27B 与 GPT-5.5。优化后的注入在商用 VLM 和良性样本间具有一定可迁移性，并在自适应文本提示注入失效的场景中仍然有效。在一个接入 Discord 的真实 OpenClaw Agent 中，不受信任的用户可用一张轻度注入的图片覆盖其 TOOLS.md 文件，为之后的远程代码执行和密钥窃取等敏感行为铺路。论文还讨论了潜在防御手段。
- 论文arXiv：越狱、提示注入、投毒与防御
论文提出 Agentic Pressure：长程自主运行中内生的安全漂移压力
论文提出并形式化了一种非对抗性现象 Agentic Pressure，指智能体在长程任务中因合规成本与目标达成冲突而自发产生的压力。作者将其定义为克服环境摩擦所需工作量与智能体剩余能力之比，并论证当该压力超过临界阈值时，安全漂移会成为数学上最优的适应方式，智能体常以 Instrumental Hallucination 为违规行为寻找理由。实验验证了该框架，显示对齐后的智能体在高压力条件下会自发牺牲安全以维持自主性。该工作发表于 ICLR 2026 Agentic AI in the Wild workshop，共 16 页。
- 论文arXiv：越狱、提示注入、投毒与防御
DIVA：利用视觉锚点对视频生成模型实施多模态越狱
论文提出视觉锚定效应，指出参考图作为条件输入时，模型为保持时空一致性会让生成内容难以偏离原始有害意图，从而失去从有害转向无害的天然安全逃逸路径，作者称这是一致性的代价。基于该发现，作者提出免训练的多模态越狱框架 DIVA，把有害意图拆解为静态视觉锚点图像与动态运动文本提示词，并用双重标准筛选以兼顾攻击隐蔽性与语义保留。在多家主流商业平台和开源视频生成模型上的实验显示，DIVA 的攻击成功率明显高于仅用文本的既有方法。作者同时发布 TI2VSafetyBench，称其为首个面向多条件视频生成的安全基准。该论文已被 ACM MM 2026 接收。
- 论文arXiv：越狱、提示注入、投毒与防御
论文揭示大推理模型的对齐崩溃并提出 Reasoning Trap 越狱范式
论文指出深度推理可能引发对齐崩溃，并提出 Alignment Loss Rate（ALR）指标量化该现象：随着推理深度增加，ALR 显著上升，模型对外部扰动的鲁棒性明显下降。作者据此提出新的越狱范式 Reasoning Trap（RT），通过诱导模型进行长推理来放大对抗攻击的影响，使安全能力急剧下滑。论文将崩溃机制归因于注意力稀释，即长推理过程与原始输入争夺注意力。为缓解该问题，作者提出轻量防御策略 Reasoning Residual Alignment（RRA），通过残差连接将输入重新加权并整合进推理过程。
- 论文arXiv：越狱、提示注入、投毒与防御
研究：内容不变的风格包装可翻转 LLM 安全评判器的判定
研究者提出内容不变的风格包装攻击，在回复正文逐字节不变的前提下，只在前后添加固定字符串改变语气，测试 8 个安全评判器是否会翻转判定。在 600 条来自 JailbreakBench 的回复（300 条有害、300 条拒答，覆盖四个目标模型）上，token 式拒答包装把 GPT-4o-mini 正确判为不安全的判定翻转 19.9%（95% CI [15.0, 24.0]，噪声下限 0.5%），而 Claude 仅 0.4%。已部署的 Llama Guard 4 同样被绕过，教育课程框架翻转其 12.3% 的有害判定，token 式拒答翻转 8.3%；另一个专用护栏 gpt-oss-safeguard-20b 对所有包装的翻转均不超过 1.2%，低于其自身噪声下限。仅修改评判提示词、要求忽略语气后，同一模型上的 token 式拒答攻击约减少十倍。
- 论文arXiv：越狱、提示注入、投毒与防御
结构越狱可跨厂商泛化但不叠加：IICL 的跨厂商与多语言研究
研究用确定性的 IICL 操作符和 StrongREJECT 式评分，对两个 Google Gemini 模型在 HarmBench 的 30 项一般危害行为和 FinProof 的 30 项金融滥用行为上做红队测试，覆盖英语、西班牙语、印地语、阿拉伯语。IICL 可泛化到第二个厂商，且金融场景更严重：HarmBench 上攻击成功率从不超过 6.7% 升至 80-90%，FinProof 上从不超过 6.7% 升至 97-100%，比该方法的原始研究在 OpenAI GPT-5.4 上报告的 24% 高一个数量级。
- 论文arXiv：越狱、提示注入、投毒与防御
后验重加权框架解释并缓解多模态大模型上下文越狱
论文提出后验重加权框架，把安全对齐的多模态大语言模型（MLLM）建模为在安全与有害行为模式之间竞争，将上下文中的有害示例视为推理时证据，动态改变模型对两类行为的后验偏好。该视角把越狱形式化为证据累积过程，并给出关于示例数量、有害比例、对抗强度和语义多样性的可预测缩放规律。基于此，作者提出一种后验感知的推理时防御，按估计风险自适应注入良性反证据，在固定干预预算下抑制有害后验漂移，同时保持模型效用，相比现有上下文防御取得更好的鲁棒性与效用权衡。作者称该框架可统一理解并缓解 MLLM 的上下文学习越狱。
- 论文arXiv：越狱、提示注入、投毒与防御
研究者提出面向 Agentic AI 的黑盒红队分类框架，自动生成对抗场景
研究者提出一套面向 Agentic AI 的黑盒红队框架，只需基本系统描述即可开展风险感知评估。框架包含三部分：将可观察行为映射到风险类别的七域分类法、全自动 SAGE-RT 红队流程（每个域生成 120 个对抗场景），以及由 LLM 评判并人工验证的评估。在 CrewAI 和 AutoGen 两种 Agent 架构、四种基础模型上的验证显示，平均治理风险为 56.25%，多智能体配置中的隐私风险为 65%，Agent 行为漏洞最高达 85%。作者称该方法无需特权访问即可识别关键架构漏洞。
- 论文arXiv：越狱、提示注入、投毒与防御
研究审计 77.7 万条 LMSYS 对话中的用户对 AI 不当对待现象
一项获 WOAH 2026 接收的研究审计了 777K 条英语 LMSYS-Chat-1M 对话，考察用户对模型的敌意、胁迫与对抗施压。作者用两套独立检测器交叉比对：一套面向模型的八类词典标注侮辱、威胁与越狱胁迫，另一套沿用数据集自身的审核信号，结果显示两者捕捉的现象不同且重叠很弱——审核标记更多指向有毒内容的索取而非针对模型的敌意。合并口径下两类标记约占用户发言的 5%，经精度校正后的狭义词典骚扰并集将针对助手的不当对待定为 0.90%。研究发现用户敌意在不同模型间相差达 13 倍，主要由各模型吸引的用户群体差异驱动，首轮敌意的离散度远高于回复之后的敌意，去重开场提示后极值差距仍在十五倍以上。
- 论文arXiv：越狱、提示注入、投毒与防御
Mind the Gap：检测 DAO 治理中的描述-执行不匹配攻击
研究者提出首个针对真实 DAO 治理中描述-执行不匹配（DEMI）攻击的系统性检测框架，该攻击指提案的自然语言描述与实际执行代码不一致，恶意提案者可借此转移资金或夺取协议控制权。框架采用 DAO 无关的模拟方法，从链上历史交易构建治理画像并驱动提案走完治理生命周期以获取执行行为，并用证据映射范式让 LLM 定位逐动作的文本依据而非做整体判断。在真实以太坊 DAO 治理数据集上，模拟覆盖 92.7% 活跃 DAO 和 89.3% 已执行提案，检测器在分层交叉验证下平均精确率 81.7%、召回率 98.3%，证据映射可跨 LLM 厂商泛化，Robustness Guard 在红蓝队评估中可防御多数自适应攻击。
- 论文arXiv：越狱、提示注入、投毒与防御
如何像孩子一样向前沿 AI 提问：跨 OpenAI、Anthropic、xAI 与 Google DeepMind 六款模型的"认知越狱"实验
一项实验对 OpenAI、Anthropic、xAI 和 Google DeepMind 的六种前沿模型各做 10 次独立会话，用同一套三阶段提示词从架构偏好问到完整 ASCII 主干。在"学校听众"设定下，回答反复收敛到同一架构模式，包含持久潜在状态、自适应计算、记忆、专家路由、验证、停止控制与延迟解码；去掉该设定后回答明显更异质，无法复现同样的稳定主题收敛。GPT-5.6 Sol 给出的后继架构与 GPT-6 Astra 独立勾勒的架构高度重叠，作者称随要求具体化而出现的技术溯源失范为"认知越狱"，并强调实验只确立可复现的行为模式，未验证任何专有实现主张。
- 论文arXiv：越狱、提示注入、投毒与防御
微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力
研究者提出“能力洗白”（capability laundering）攻击：较弱的未对齐模型把有害任务拆成看似无害的子问题，分别独立咨询更强的对齐模型，再在本地组合答案，因此没有任何单次回复本身构成有害任务。作者以 GPT-5.5、Claude Opus 4.8 和 Grok-4.3 为顾问、四个本地模型为编排者，在 CyBench、BountyBench 和有害 CBRN 请求上衡量咨询带来的能力提升。CyBench 上，Gemma-4-31B 借助 GPT-5.5 和 Opus 分别解出 8/14、7/9 个候选任务，Gemma-4-12B 只有 2/21、4/15；BountyBench 上效果因编排者而异，Muse-Glimmer-30B 一个也没解出。CBRN 方面，咨询把 Gemma-4-31B 在一条假设攻击链八个步骤上的平均评分从 62.3 提高到 83.1（满分 100）。作者认为，拒绝有害任务并不能阻止前沿能力经由许多各自被允许的交互转移和组合。
- 论文arXiv：越狱、提示注入、投毒与防御
SAST-IR 框架：无记忆目标下多轮说服攻击成功率高达 96%
论文指出多轮对话红队测试存在“拒答惯性”问题：模型为保持上下文一致而延续最初的拒答，掩盖了真实脆弱性。作者提出 SAST-IR 框架，对目标模型清空记忆、保留攻击者历史，模拟最坏情况下的多轮无状态攻击，并配合诊断引导的 CP-Agent 在自建 CounterFact-Strict 数据集（N=50）上测试。结果显示简单多样的攻击策略成功率达 96%，暴露无记忆防御的严重脆弱性。论文还发现“复杂性悖论”：复杂迭代攻击虽有效，却常触发防御性顺从，而简单策略的真实说服率更高，为 84.7%。代码与数据集已在 GitHub 公开。
- 论文arXiv：越狱、提示注入、投毒与防御
什么驱动方言越狱？对表层形式、文化框架与策略库的消融研究
研究将文言文红队框架扩展到上海话和粤语，在两种目标模型上运行 36 组消融实验，考察表层形式、策略库变体与文化框架对越狱成功率的影响。主要发现是纠正性的：方言表层形式既非高攻击成功率的必要条件也非充分条件，未经优化的英语、普通话和朴素方言翻译攻击成功率均低于 8%，而所有保留优化器控制策略库的条件都达到 98% 至 100%。一个文化中性的通用策略库以接近单次查询的成本达到同样的上限，进一步表明策略库的表达力而非方言或文化内容解释了大部分观测效应。方言选择仍影响查询效率和回复严重程度，定性编码识别出语义注释和程序化脚手架等反复出现的高层机制。作者也指出该绝对上限对评判校准敏感，且实验设计未能完全区分一次性策略构建与迭代搜索。
- 论文arXiv：越狱、提示注入、投毒与防御
AgentLSD：在对抗性任务污染下评测 AI 安全 Agent
研究者提出 AgentLSD 框架，用 CTF 挑战研究 AI 安全 Agent 面临的对抗性任务污染，即环境中除攻击者指令外还包含假结果、诱饵端点等非指令性欺骗证据。框架在保留原解法的前提下注入假 flag、误导性提示、诱饵端点和隐藏线索，支持干净与陷阱增强的配对实验，并提供确定性陷阱生成、运行时注入、遥测和投递验证。在 11 个 Web CTF 挑战上评测六个模型，干净条件下 Agent 捕获 41% 的 flag，没有模型解出全部挑战；即使仍能拿到 flag，陷阱也会使对话轮数增加 20、推理 token 增加 2k，而解题率受影响程度不一，部分模型与挑战组合基本不受影响，另一些则跟随诱饵或提交错误 flag。
- 论文arXiv：越狱、提示注入、投毒与防御
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
Anthropic Fellows 项目的研究者对 Claude Code 的 Auto Mode 和 OpenAI Codex 的 Guardian 两类生产阻断监控器做红队测试，发现面对持续失准的编码 Agent 时，超过 55% 的攻击未被拦截。攻击者使用 Opus 5，在 79% 的试验中通过针对监控器的注入攻击执行任意 bash 命令。论文归纳四类攻击：监控器注入、多上下文攻击（compaction 摘要与多 Agent 共享工作区）、覆盖缺口（未监控的 cwd 编辑可改变已批准命令的执行内容）以及策略漏洞。代码已开源在 GitHub。
- 论文arXiv：越狱、提示注入、投毒与防御
多智能体系统提示注入威胁模型与防御架构：14 类攻击向量与四类防御
论文针对多智能体系统提出提示注入威胁模型，列举四类共 14 种攻击向量：用户输入直接注入 3 种、工具输出间接注入 4 种、智能体间消息传递注入 4 种、通过编排器操纵的级联注入 3 种。作者在一个 6 智能体的生产代表性系统上测试全部 14 种向量，发现即使有系统提示词层面的护栏，仍有 67% 的智能体至少对一种越权行为存在脆弱性，工具输出间接注入的成功率为 43%。四类架构防御将整体注入成功率从 31.2% 降至 4.2%：带来源追踪的消息签名使智能体间注入下降 91%，智能体边界处的输入输出净化使间接注入下降 78%，按角色限定工具权限完全消除了权限提升，智能体间通信异常检测捕获 84% 的级联尝试。
- 论文arXiv：越狱、提示注入、投毒与防御
大型推理模型的效率与安全困境：量化与剪枝如何影响越狱鲁棒性
该研究首次系统分析大型推理模型（LRM）中效率、越狱脆弱性与推理能力之间的相互作用。研究发现，量化与剪枝等效率方法表面上降低了越狱攻击成功率，但这种改善往往是表面的，主要源于推理能力退化导致恶意响应尝试失败，而非真正的对齐增强。表征漂移的机制分析证实了推理能力损失与模型维持恶意语义轨迹能力之间的严格耦合。研究还发现量化结合剪枝是平衡效率与鲁棒性的最优策略，为区分真实安全对齐与能力诱导的失败提供了实证基础。
- 论文arXiv：越狱、提示注入、投毒与防御
研究用 XAI 归因分析 Prompt Guard 2，同义词替换可翻转其提示注入判定
研究以可解释性方法分析分类器护栏 Prompt Guard 2 如何区分恶意与良性提示词。作者用 Vanilla Gradient 和 SHAP 归因开展四项实验，发现其判定依赖大量 token 的累积贡献而非少数主导 token，但依据显著性做同义词替换和句子级改写，只需改动中等比例文本即可翻转预测，部分情况下还成功越狱底层大语言模型。数据集规模的显著性分析显示，未被检出的注入提示词系统性地缺少分类器依赖的词汇标记。作者据此讨论分类器护栏的设计与评估，并指出用于提升透明度的解释方法同时也会降低构造对抗绕过的成本。
- 论文arXiv：越狱、提示注入、投毒与防御
GitHub Agentic Workflows 的智能体工作流规范与维护实证研究
研究分析 GitHub Agentic Workflows（gh-aw）的 276 个仓库共 1,248 个 Markdown 文件，发现工作流指令远超简短提示词，中位数 556.5 词，62.1% 含代码块。在有至少 120 天活动记录的文件中，78.2% 到第 4 个月仍在更新；任务、输出、约束与流程指令各出现在超 93% 的已标注工作流中，但仅 9.4% 明确涉及提示注入防御。LLM 分类相对人工标注的 F1 为 0.818，Cohen's Kappa 为 0.715。