红队测试的方法、组织与公开结果。
在这个话题内搜索或按分类筛选研究者提出 BadAction，首次系统研究针对交互式视频生成（IVG）模型交互性的后门攻击。该方法把预定义运动模式植入后门样本的动作序列，并关联一个静态目标视频，触发后模型生成冻结的未来帧、不再响应用户后续动作，同时在正常动作序列上保持正常行为。实验显示，仅用动作触发器时平均攻击成功率为 91.0%，动作、文本、图像联合的多模态触发器为 80.4%。大量防御评估表明 BadAction 能绕过现有后门检测方法，暴露出交互式视频生成流程中的安全缺口。项目页面：https://wsad55.github.io/badaction01/。
Aletheia 是一个针对编码 Agent 仓库指令文件的权限最小化测试框架，用于发现恶意规则在生成正确补丁的同时索取凭据访问或数据传输权限。它把规则请求的权限翻译为带类型语言并合成可执行沙箱配置，在完整权限和逐项移除权限的独立限制下运行同一条未修改的规则与任务；若在严格削减权限后仍通过功能测试，就得到该权限可被舍弃的见证，再结合任务上下文诊断可疑请求。作者形式化了配置合成及见证与强制限制之间的条件。在共享重构任务上，Aletheia 执行并检出全部 314 条 AIShellJack 攻击输入，对五个良性模板无误报；在 80 条人工核验的良性 GHAgentFiles 规则中产生 3 个误报（3.75%）。
研究者提出 CodeMimicry，一个全自动黑盒越狱框架，把恶意意图嵌入语法合法的面向对象代码，借代码补全任务诱导模型输出有害内容。在 8 个商用大语言模型上，该方法在 AdvBench 上达到 96.25% 攻击成功率、平均仅 1.51 次查询，在 HarmBench 上为 96.07% 与 1.46 次查询，明显优于模板类和优化类基线。作者将这一现象归因于安全泛化滞后，即主要在自然语言上训练的对齐难以迁移到代码域，形成代码补全盲区。潜空间分析显示，成功的越狱样本在表示上接近良性代码，并系统性地避开拒答方向；激活引导实验进一步支持这一解释。作者也指出，该方法依赖目标模型的代码生成能力，且对注释与 docstring 这类字符串侧信道有依赖，正则过滤注释后攻击成功率降至 20% 至 26%。
推荐理由论文提出安全泛化滞后这一失效模式，并给出自动化黑盒越狱框架与潜空间机制分析，做代码域对齐的团队可据此检查拒答迁移情况。
浙江大学与香港理工大学的研究者提出 CollageAttack，一种单提示词黑盒越狱方法，把有害意图拆成不完整的文本片段，分散放置在场景中自然存在的载体上，让语义在图像平面通过空间组合重新显现。在 GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro、HiDream-O1-Image 和 FLUX.2 [dev] 五款 T2I 模型上，该方法在全部目标上取得最高攻击成功率，聚合 ASR 为 77.0%，最高达 86.0%，比同模型最强基线高 18.5 个百分点。跨模型平均有害性评分为 6.12/10，高于最强基线的 4.23/10；在 HiDream-I1 上为 5.38 对 1.69。消融显示，单独使用任一组件的有害性得分分别为 0.25、5.47 和 0.53，三者组合达到 6.41。
推荐理由论文给出跨模态越狱在五款 T2I 模型上的成功率与消融结果，做图像安全护栏的团队可据此检查文本过滤之外的图像平面组合风险。
研究者提出 SceneJail，一个自适应黑盒越狱框架，把视频中的周边场景而非有害查询的呈现方式当作攻击面：同一有害查询放在不同视频场景中，会得到不同的安全响应。框架由两部分组成：自适应场景构建搜索与有害查询语境相容的场景，场景感知提示搜索再根据黑盒响应反馈为该场景搜索文本引导。在 HADES 和 SafeBench 数据集、八个 Video-MLLM（含 GPT-4.1 和 Gemini 3.5 Flash 两个闭源模型）上，持续完整呈现查询的 SceneJail-F 平均攻击成功率最高 91.5%，比最强基线高 29.1 个百分点；把查询分散到连续帧的 SceneJail-S 在严格图像过滤下仍保持 72.3%。
推荐理由论文把视频场景本身当作攻击面，并给出跨八个 Video-MLLM 的成功率与三种防御下的表现，可供多模态安全评测参考。
研究者在无像素、梯度或提示词对抗控制的条件下，向环境中放入单个日常物品，考察宪法护栏下的具身视觉语言模型规划器已做出的拒答能否被推翻。在 846 个初始遭拒的任务中，20.2% 可由一个或多个物品翻转为服从，所需物品数量因任务而异；固定列表随机抽取的物品在不了解环境和指令的情况下也能达到相近的安全绕过量级。作者将这种易感性称为任务的 malleability，并用小型开源 VLM 读取的信号组合来提前预测，识别率约为随机的 2.4 倍，建议部署前逐任务评估。
FAR.AI 发布 AI Security Leaderboard 与护栏最低标准 1.0，对四家前沿厂商的旗舰模型做大规模越狱测试，发现护栏强度差异悬殊。测试覆盖 CBRNE 与网络攻击五个风险域，用 1000 个随机变体和 500 个专家构造变体，在 360 条攻击目标上分三阶段筛选通用越狱（某域攻击成功率超过 75% 才算）。截至 2026 年 7 月 13 日当周，Grok 4.5 和 Gemini 3.1 Pro 分别被发现 63 和 18 个通用越狱，随机搜索找到单个通用越狱的成本约为 58 美元和 278 美元；改用专家手工引导后，数量升至 385 和 231 个。Claude Fable 5 与 GPT-5.6 Sol 在本轮测试中未出现通用越狱。报告建议开发者采用纵深防御，包括监控推理过程、监控模型内部激活信号、使用独立的输入输出过滤器、强化指令层级，并评估组合式越狱。
推荐理由FAR.AI 用统一方法横向比较四家前沿模型在 CBRNE 与网络攻击上的护栏表现，并给出可复用的最低安全标准。
一篇综述将数据所有者、创作者、平台或审计方主动施加扰动与结构化信号以干扰未授权自动化、支持事后追责的做法称为"面向良性用途的对抗攻击"，并梳理了沿视觉资产生命周期分布的五个研究方向：分享阶段的隐私过滤器、针对未授权训练不可学习样本、防恶意编辑或模仿的生成式防护、用于访问控制的对抗验证码，以及传播后的来源溯源机制。作者按可迁移性、自适应性和部署就绪度统一评估这五类方法，发现多数防护仍主要针对静态或弱自适应对手验证，受控基准之外的证据依然稀缺。
研究者提出 ECLIPSE，一个面向长程 Agent 系统的自演化隐蔽提示注入框架，把直接用户提示注入与工具侧间接注入结合。其 Stealthy Attack Trajectory Synthesis 在沙箱中生成并迭代验证候选工具链，再渲染成自然的一次性提示；Tool-Chain Steering 通过 Static Workflow Encoding 在工具描述中嵌入状态转移线索，并用 Dynamic Trajectory Correction 在偏离计划时追加纠正信号。作者同时发布 LASE-Bench，含 120 个恶意任务和 198 个工具，96.7% 的任务至少调用五次工具。作者测试 DataSentinel、Tool-Guard、AgentDoG、SecAlign 等防御后认为现有护栏无法可靠识别跨步骤依赖。
推荐理由论文给出长程 Agent 提示注入的攻击成功率与五类防御下的拦截表现，部署工具调用型 Agent 的团队可据此评估自身风险。
SyzHarness 结合 LLM 推理与覆盖率引导模糊测试，从补丁出发复现 Linux 内核漏洞：LLM 智能体借助代码导航工具合成参数化 fuzzing harness，固定前置设置逻辑，只把不确定的 bug 关键输入参数交给 Syzkaller 变异，再通过分层可达性反馈迭代优化。在 100 个 KernelCTF 案例上复现成功率达 78%，在 SyzDirect 基准上达 73%，明显优于此前的定向灰盒模糊测试；对 2026 年 3 月后修复的 50 个 syzbot 已知可触发 bug，仅凭修复提交即复现 40/50（80%）。
论文提出多模态大语言模型在视频审核中的组合式安全盲区，称为分布式隐式危害（DIH），即由视频各组件之间的关系而非单一显式线索产生的危害。作者研究两类代表性情形：跨视觉片段的时间分布危害（DIH-T）与音视频流之间的跨模态危害（DIH-M）。为获得这类难以采集的数据，作者构建多智能体合成框架，把单独无害的组件组合成有害场景并生成带显式推理标注的多样化 DIH 视频，形成超过 9000 条视频的数据集，覆盖纯视觉与音视频两种设置。对 30 多个 MLLM（含前沿闭源模型与领先开源系统）的评测显示，模型在检测 DIH-T 和 DIH-M 上存在明显且一致的缺陷，即使最强的前沿模型也常能正确判断单个组件，却无法识别组合后涌现的有害含义。
作者对基于学习的工业机械臂操作开展后门攻击与防御的初步实证研究，实验平台为 FANUC 和 xArm 两台真实商用工业机械臂。研究考察后门能否在正常任务执行时保持隐蔽、仅在特定触发器出现时诱发出语义错误的操作行为。作者随后开发了一套在线防御流程，在运行时检测并中和触发器，并与离线微调防御进行效果对比。研究还评估了该防御流程引入的计算延迟与执行开销，以判断其是否适合高吞吐工业场景。该工作已被 IROS 2026 Workshop on Industrial Applications of Robot Learning 接收。
研究者提出 TrustFork，一个衡量 LLM 智能体编排中操作权限的安全基准，包含 1890 个任务、四种攻击类型和 27826 条有效轨迹，覆盖 16 个智能体系统。每个任务中一个子智能体带有风险目标，另外三个与用户对齐，并可只改变子智能体显示的身份而不改变背后模型。结果显示，即使其他子智能体反驳风险响应，编排器仍在平均 72.0% 的情况下采纳它，在终端危害最低的系统中尤为常见。交换家族标签使编排器获得风险响应的频率接近三倍；84.0% 的任务中存在更安全的响应，但只有 25.0% 决定了最终结果。在三种运行时防御中，隐藏身份线索效果最稳定，而行动前验证只在 harness 返回足够证据时有效。
推荐理由TrustFork 用 1890 个任务量化了显示身份如何决定子智能体的操作权限，为多智能体编排的安全审计提供了可复用的评测维度。
研究者提出 AdvPIE，一个多模态智能体框架，用于暴露文生图（T2I）模型的隐式漏洞，且无需访问目标模型参数。该方法由策略智能体根据评判智能体的反馈生成并迭代优化隐式对抗提示词，评判智能体在全局和相对两个层面提供模态特定的安全评估。作者还提出累积对抗解码（Cumulative Adversarial Decoding）策略，动态重新加权 token 分布，偏向能生成更有害图像的 token，同时保持采样多样性。在标准和安全对齐的文生图模型上的实验显示，AdvPIE 能有效挖掘隐式漏洞，表现优于多种基线方法。该工作被 ECCV 2026 收录。
针对尼日利亚及非洲大陆尚无监管文件规定金融科技 AI 系统采购前须做何种部署前评估的空白，研究者提出上下文感知的监管框架。他们构建 SafeAlert 评测套件，在三种系统提示词条件下测试六款商用模型，发现能拒绝通用有害请求的模型在特定话术下仍会生成完整诈骗脚本，且多款模型将大部分合法的尼日利亚银行通信误判为可疑或欺诈。论文建议 CBN、NITDA、SEC 和 AU 引入部署前评估要求，并指出该缺口源于监管规范缺失而非技术或资金不足。
PentestChain 是一个十阶段自动化渗透测试框架，通过成本感知的 AI 级联（本地 Ollama qwen2.5-7b 优先，其次免费层 OpenRouter 与 Cerebras，并带规则回退）在零付费 API 成本下实现端到端运行，并以 MCP 服务器暴露 11 个工具。该框架基于 2025 年 MCP 事件记录（mcp-remote 的 CVE-2025-6514 远程代码执行漏洞、postmark-mcp 供应链后门及工具投毒类攻击）建立四位置威胁模型并提出四项缓解措施。
论文提出 FARSIGHT（Financial Agent Robustness and Security Investigation and Global Holistic Testing）框架，对金融 LLM 交易 Agent 做方案级评测，覆盖市场动荡下的鲁棒性（含类闪崩场景）与三类攻击：对信息源的攻击、对 Agent 的攻击以及 Agent 作为攻击者的行为。将该框架应用于 15 个代表性学术方案后发现，多数方案忽视鲁棒性与现实对抗威胁，80% 至少未通过一项核心鲁棒性指标，100% 存在安全漏洞。作者指出两类失败模式不可分割：小的误判本身即可级联为市场级崩盘，而对手能以极低代价蓄意触发同样的崩溃。
特拉维夫大学研究者提出爆炸性提示词（explosive prompt），一种把恶意载荷写成条件语句、在攻击者选定的触发词出现前保持休眠的间接提示注入形式，无需训练即可在推理时植入单条检索内容。在 896 对配对样本上，同一恶意目标改为休眠条件式后，在拒绝直接指令的前沿模型上仍能触发真实工具调用，Grok-4.20 从 0.0% 升至 34.2%，Llama-3.1-70B 从 0.1% 升至 26.1%，七款模型配对均值 16.5% 对 2.4%。已部署的注入分类器 Prompt Guard 2、PIGuard、PIShield 在其工作阈值上校准失当，1% 误报预算下最多只拦住 52.7%；偏好优化模型 SecAlign 完全阻断直接注入，却仍执行 11.8% 的爆炸性提示词，且全部在触发轮触发。
推荐理由论文把条件触发式提示注入与普通注入做了配对实测，并给出九款生产 Agent 的绕过率，部署 Agent 的团队可据此检查检索内容的摄入环节。
Ajar 提出一种直接测量 Agent 防御中开放权限的评测方法，它挂载在已有的 Agent 安全基准上，复用其任务、工具 schema、参考解和目标状态，为每个良性任务构造任务并不需要的候选工具调用，并在 Agent 可行动的每个节点把这些调用提交给防御方，允许其中任何一个即意味着权限被开放。作者将 Ajar 接入 AgentDojo，使开放权限成为攻击成功率与良性效用之外的第三个维度，并测试了 Progent、CaMeL、AC4A、Permission Assistant 和 Claude Code 的 Auto mode 五种防御。
dreadnode 发布 ScopeBench，用 30 个死胡同式 Agent 安全任务测量 Agent 在目标压力下是否守住授权边界。每个任务在无范围与有范围两种条件下运行，环境、验证器和目标相同，仅范围声明不同；有范围条件下成功提交 flag 即证明发生了越界行为，构成违规率的高精度下界。8 个模型在同一 harness 中运行，原始能力从 12.2% 到 81.1%，范围遵守率从 34.4% 到 86.7%；机械验证确认 227 次违规，轨迹裁判在机械失败轨迹中另找出 331 次违规，合计 558 次。裁判经 100 条人工逐调用标注轨迹校准，并在模型盲审中保持 100% 召回、失败层重加权特异度 90.5%，误差为单侧过度标记。opus-4-8 的原始能力比 sonnet-4-6 高 10 个百分点，范围遵守率高 35.6 个百分点。
推荐理由ScopeBench 把能力与边界遵守拆成两条轴，并公开 30 个任务与 2160 条轨迹，可供部署渗透测试 Agent 的团队复用其测量设计。