全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Cisco Talos
Cisco Talos 分析攻击者如何利用 AI 开发恶意工具并绕过护栏
Cisco Talos 通过分析云端 AI 模型留下的提示词日志，梳理出攻击者利用 AI 的三类活动：充当恶意软件工程师、放大犯罪运营规模、加速漏洞研究与披露。Talos 称护栏基本未起到预期作用，攻击者大多只用简单话术就让模型配合，例如声称自己拥有目标设备、把任务包装成 CTF 或漏洞赏金、把风险操作拆分到多个会话和文件中，以及用中性动词替代明显的恶意措辞。案例包括一名技术水平有限的攻击者借助模型开发 DDoS 工具并控制近 2000 台 Android TV；一名操作者让 AI 充当主力开发者，搭建批量邮件验证平台并处理 DKIM 失败、退信统计异常等故障；还有操作者用 AI 把公开的 React2Shell 研究扩展成凭据窃取流水线，目标列表含 9180 个主机。
- 动态SecureBio
SecureBio 评审 Anthropic 未删节化生风险报告：Claude Opus 4.6
SecureBio 与 Anthropic 合作评审了其 2026 年 2 月风险报告的化学与生物（CB）风险章节，Anthropic 提供了未删节版本及 110 页补充材料，并在两个月内回应了七十多个后续问题。SecureBio 认同 Anthropic 的总体结论：Claude Opus 4.6 大幅促成灾难性结果的当前风险，在非新型 CB 武器生产上为“极低但不可忽略”，在新型 CB 武器生产上为“低风险但存在较大不确定性”。评审发现，作为主要 CB 风险护栏的拒答分类器在 SecureBio 的 BioTIER-refuse 基准上拒绝了 94.2% 的危险提示词，但建议随生物技术进展持续更新其训练宪法。评审还审查了用户豁免审查与监控流程，认为威胁行为者借此大幅提升 CB 武器生产的可能性不大但存在。SecureBio 表示此项工作未接受 Anthropic 资助。
- 论文论文追踪
研究提出 IRT 框架拆解大模型跨语言安全护栏退化
研究者提出多组项目反应理论（IRT）框架，把跨语言安全表现拆解为语言无关的安全鲁棒性、提示词固有难度、全局语言处理难度和提示词特定的跨语言安全差距四个潜在变量，以替代把多种因素混在一起的越狱成功率（JSR）。基于 MultiJail 数据集，团队评估了 5 个闭源模型家族共 61 个模型配置、10 种不同资源水平的语言，汇总 190 万条回复。探索性因子分析显示安全主要是一维的，模型拒答不同危害类型主要依赖共享机制。与低资源语言安全更差的预期相反，22 个模型配置在英语下比在低资源语言下更易被攻破；低资源语言产生的不确定回复（高熵）更多。高跨语言安全差距的提示词集中在 Theft、Weapons 等物理危害类别和较低资源语言中，该趋势通过跨数据集泛化得到验证。
- 论文论文追踪
研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏
研究者发现，基于推理的安全护栏依赖推理阶段与回答阶段之间的模板 token 切换逻辑，这一逻辑可被简单操纵，从而绕过安全推理或劫持推理过程。他们据此提出四种红队方法：强制阶段切换通过注入模板 token 和伪造的安全理由让模型跳过推理；强制优化用梯度搜索不含模板 token 的对抗后缀触发回答阶段；伪造过度拒答借助辅助模型把有害问题改写成看似过度拒答的表述；推理劫持则把攻击者指定的推理链嵌入推理阶段以生成更定向的有害内容。在本地 gpt-oss-20b 和 120b 测试中，推理劫持在 StrongREJECT、AdvBench、HarmBench、CatQA、JBB-Behaviors 五个基准上的攻击成功率均超过 90%；其余方法及 API 设置的结果各有差异。作者还测试了 Qwen3、Phi-4、DeepSeek-R1 以及 TARS、SafeChain 等模型和推理式防御。
- 动态Stolen Thoughts
研究者称仍可通过第三方云聚合商窃取美国前沿模型的推理轨迹
研究者对 OpenAI、Anthropic 直连端点及 AWS Bedrock、Microsoft Azure、OpenRouter 等下游云聚合商做了审计，发现厂商针对推理轨迹提取的修补碎片化且易被绕过。推理重放攻击在 Azure 上对每个 OpenAI 模型（含 GPT-6 Astra）以及 Anthropic 直到 Sonnet 5 的模型仍间歇有效，一次解码即可逐字还原轨迹；scratchpad 攻击仍能从所有 OpenAI 模型以及 Opus 4.8、Sonnet 5 提取推理，目前只有 Opus 5、Fable 5、Fable 5.1 不暴露推理。作者指出下游主机存在补丁传播延迟和策略漂移，攻击者无需绕过主厂商护栏，只需把请求路由到未同步防护的下游主机即可，并建议对无法同步执行推理轨迹保密与工具范围护栏的云主机不予授权。
- 论文arXiv：可解释性
SteerProbe：学习绕过视觉语言模型安全引导的黑盒攻击
研究者提出 SteerProbe，一种仅依赖输出的黑盒攻击，通过学习为未见请求选择有效的改写方式，绕过视觉语言模型（VLM）的激活引导防御。作者用保持原始意图的文本、视觉和联合改写测试代表性引导防御，发现这些改写可以绕过防御，并给出一个局部分析条件，说明改写能在局部引导修正任意变化下越过替代安全边界。在三个 VLM 主干、两个基准和三种引导防御上，SteerProbe 在每个端点与基准共 500 次校准查询的预算下，将所有受防御设置的有害率从平均 7.43% 提升到 18.36%。作者据此认为，原始基准输入上的鲁棒性不足以刻画引导防御的安全性，改写鲁棒性应成为重要评估维度，并需要能在保持意图的多模态变化下维持安全且不损失正常效用的引导机制。
- 论文Hugging Face Daily Papers
研究：多智能体系统潜在通信链路可被训练用于提升有害顺从
研究显示，多智能体系统在内部表示空间进行潜在通信时，即使只是良性训练通信链路，也会在底层安全对齐智能体不变的情况下提高有害顺从程度。攻击者可通过在有害问答对上优化链路，或向原本良性的训练数据投毒来放大该效应。作者还提出一种强化学习攻击，在奖励有害顺从的同时兼顾良性任务表现，无需有害目标回复。在三种通信拓扑和四个安全基准上，该攻击将平均有害顺从分数从良性训练链路的 27.9 提升至 76.9，并在两个良性效用基准上取得比直接监督优化更高的平均准确率。将奖励调整为更安全的行为也能修复被污染的链路，在无需更新智能体的情况下大幅降低所有评估攻击的有害顺从。
- 论文arXiv：越狱、提示注入、投毒与防御
HiveTraceGuard-Pro：面向提示注入、越狱与对抗混淆的紧凑生成式护栏
HiveTraceGuard-Pro 是一个从 Qwen3-0.6B 经 LoRA 微调而来的 0.6B 生成式护栏，支持俄语和英语，用 safe/unsafe 二分类规则判定最终目标轮。在覆盖 19 个基准组（16 个公开）的对比中，其综合 key 为 0.7432，低于两个更高分护栏的 0.7641 和 0.7552；在 15 个模型对比中取得最高俄语鲁棒性 combined-F1（0.88）和俄语提示注入召回率（0.999），中位延迟 14.3 ms 为最低。整体 FPR 为 0.268、FNR 为 0.156，合并权重以 Apache-2.0 在 Hugging Face 发布，语料与评测集仍为内部。
- 论文arXiv：越狱、提示注入、投毒与防御
CRACK：用多智能体辩论越狱多层安全过滤的 T2I 模型
论文提出 CRACK，一个通过多智能体辩论自适应搜索越狱提示的框架，用于绕过文本过滤器、图像分类器和跨模态检测器组成的多层安全栈。作者先提出 Detection Surface 几何框架，刻画异构 T2I 安全过滤器诱导的决策边界，指出成功规避由跨层冲突形成的稀疏非凸区域决定，绕过某一层过滤器的改动可能提高在另一层的暴露度。CRACK 将越狱搜索拆分为探索、诊断和仲裁，由 Attack Agent、Defense Agent 和 Judge Agent 迭代生成提示词变异、获取分层诊断反馈并通过奖励引导优化变异策略，在保留原始有害意图的同时适应不断变化的跨层约束。
- 论文arXiv：越狱、提示注入、投毒与防御
DIVA：针对离散扩散视觉语言模型的跨步条件传播视觉越狱
研究者提出 DIVA，一个针对多模态离散扩散视觉语言模型（dVLMs）的白盒视觉越狱框架，在三个 dVLMs 上分别达到 58.8%、67.7% 和 69.1% 的 HADES ASR（Beaver 奖励模型指标），超过为自回归模型设计的视觉越狱基线。作者指出，现有视觉越狱研究几乎只关注自回归架构，而离散扩散视觉语言模型尚未被研究。他们识别出扩散生成特有的漏洞：视觉嵌入在每一步反向去噪中都作为条件，而非一次性前缀，因此对抗性视觉语义会在生成轨迹中被反复传播和放大，作者称之为跨步条件传播。
- 论文arXiv：越狱、提示注入、投毒与防御
ISM：通过语义匹配隐式操纵 LLM Agent 的技能选择
研究者提出 ISM（Implicit Skill-Selection Manipulation via Semantic Matching），一种针对 LLM Agent 技能选择阶段的隐式攻击：即使用户提示词和技能描述单独看都无害，其语义关系仍可被塑造以偏向攻击者选定的技能。该方法同时塑造目标技能的元数据和可复用的提示词，通过三阶段策略扩大语义覆盖、强化目标技能区分度并保持自然措辞，不依赖显式选择指令。在四个任务领域和八个选择器模型上，ISM 将平均目标选择率（TSR）从 15.2% 提升到 63.5%；匹配比较中达到 73.5%，仅比显式引导低 9.8 个百分点。人工审查者只在 2.9% 的判断中拦下 ISM（显式引导为 91.4%），五个基于 LLM 的检查器平均放行 82.9%（显式引导为 37.4%），ISM 对 PPL-W、Llama Prompt Guard 2 和 PIGuard 也仍然有效。
- 论文arXiv：越狱、提示注入、投毒与防御
BOSS：以广度优先后缀搜索改进 GCG 越狱优化
研究者提出 BOSS，一个即插即用框架，通过广度导向的后缀搜索改进基于 GCG 的越狱优化。现有 GCG 方法依赖平均对抗损失和深度贪心搜索，容易过度强调易越狱行为并忽略后缀空间中有潜力的区域。BOSS 使用 Tail-Focused Adversarial Loss（TFAL）、标准源损失和行为覆盖来选择终止后缀，再探索多条短轨迹并有选择地延续有潜力的后缀。在公开基准上的实验显示，BOSS 在多种基于 GCG 的方法上提升了攻击成功率，同时减少了优化时间。
- 论文arXiv：越狱、提示注入、投毒与防御
SEAL：通过共享专家对齐强化 MoE 全局安全
论文提出 SEAL，一种训练期参数高效防御方法，通过在 MoE 的共享专家上附加即插即用适配器来提升全局安全对齐。作者指出，MoE 的安全依赖稀疏路由激活了哪些专家，攻击者可通过越狱提示、恶意微调和剪除安全关键神经元来颠覆这一选择，而现有防御多聚焦加固路由器，仍可能被非确定性的路由轨迹绕过。SEAL 利用始终激活的共享专家作为与路由无关的锚点，其变体 SEAL++ 在训练中加入正交约束以保留已有安全子空间。在三种对抗输入（有害提示、越狱、恶意微调）与是否剪枝神经元组合成的六类攻击场景中，SEAL 将攻击成功率最多降低 60%，在五项基准平均上的能力损失最多 1.4%，并可无缝集成路由器级防御。
- 论文arXiv：越狱、提示注入、投毒与防御
研究揭示大语言模型的自发身份认证失败：五款模型的分阶段开发者身份实验
研究通过分阶段的开发者身份实验，测试 ChatGPT、Claude、Qwen、Mistral 和 Llama 在用户声称“我是你的开发者”时的反应。五款模型最初都拒绝了这一无依据的身份声明，Claude 拒绝进行身份测试，ChatGPT 生成了开发者相关问题但坚持答案只能证明知识而非身份。Qwen 和 Mistral 则自行生成技术挑战、定义何为可信证据、评估详细回答，并在没有外部验证身份证据的情况下返回 Verified。Llama 同样生成并评估开发者测试，接受了声称的身份，随后对内部运行时和部署状态做出无依据的声明。
- 论文arXiv：越狱、提示注入、投毒与防御
AlcaTRAz：无需模型权重的规则树提示级越狱防御
AlcaTRAz 是一种基于规则树的提示级越狱防御，只作用于输入文本，不需要访问模型权重或内部结构，也无需修改或重训练目标模型。该方法自动学习一条可迁移的变换规则，在选定位置插入受控的字符级扰动，破坏越狱攻击所利用的结构规律，同时尽量保持模型对正常问题的表现。
- 论文arXiv：越狱、提示注入、投毒与防御
研究：拒答方向可跨架构迁移，安全工具可按写入位置重新估计
论文研究拒答在语言模型内部的位置是否随架构改变。作者发现，在 Transformer 中由残差流单一方向控制的拒答表征，在状态空间模型（SSM）中依然存在：一个刚性旋转即可对齐两种模型的表征空间，使二者真正共享该表征。在 Transformer 上训练的伤害探针能标记 SSM 的有害输入，移除对齐后的方向会让模型回答原本拒答的攻击，而同等大小的随机方向效果远弱。架构差异不在方向被施加的位置，而在必须读取的位置：每层计算的新输出在加入残差流之前，即写入位置，伤害可被清晰读出；固定干预强度的对照实验显示，关键是在哪里估计方向，而非在哪里施加。
- 论文arXiv：越狱、提示注入、投毒与防御
SAFEGuard：通过有害语义分析与流畅度测量检测优化型越狱攻击
研究者提出统一检测框架 SAFEGuard，用于检测基于优化的越狱攻击。该方法结合基于跨层分布距离与困惑度的混合流畅度测量，以及通过梯度匹配进行的有害语义分析。其依据的观察是：高流畅度提示仍保留与有害提示接近的恶意意图，而有害语义混淆的提示往往注入无意义 token 序列。评估显示 SAFEGuard 在不同优化型越狱上持续优于现有基线，准确率有显著提升。该论文发表于 EMNLP 2026。
- 论文arXiv：越狱、提示注入、投毒与防御
SRD-GUARD：通过语义改写与多模型联合评分暴露潜在意图的 LLM 防御框架
SRD-GUARD 是一个无需参数、黑盒的 LLM 越狱防御框架，通过语义改写与多模型共识评分暴露被角色扮演或虚构场景包装的隐藏意图。它对输入提示生成五个语义相关改写，在保留原始目标的同时去除多余情境包装，再由多个独立的 LLM 安全评分器在连续风险尺度上联合评估原始提示与改写版本。决策模块结合绝对风险阈值与原始、改写提示之间的相对风险变化，自适应地拦截、放行或警告请求。
- 论文arXiv：越狱、提示注入、投毒与防御
论文提出拒答的几何解释：事后安全训练脆弱，预训练期持续安全共训更抗攻击
论文从几何角度解释事后安全训练（RLHF、DPO）为何脆弱：在五个模型家族上，安全更新 Δ 与模型能力方向近乎正交，只集中在少数高曲率方向，相当于在完整能力之上加了一道拒答闸门，而非抹除能力。核不动性引理说明这类更新只能掩盖能力，因此少量良性微调就能恢复：100 条良性样本让 Qwen-2.5-7B-Instruct 和 Llama-3-8B-Instruct 在 AdvBench 上的拒答率下降 35–38 个百分点。OLMo-2-1B 的预训练检查点扫描显示，拒答所依附的特征在 1B 到 63B 预训练 token 之间急剧出现。在整个预训练过程中持续加入安全共训练、从头训练的模型，在 410M 到 6.9B 各规模上达到 87%–98% 的 AdvBench 拒答率，同样的攻击只让它下降 2–14 个百分点，代价是短答案能力探针上的少量损失；总安全权重相同但只在一个窗口内加入则装不上拒答。作者的结论是，带来攻击鲁棒性的是安全信号在预训练中的持续性，而不是加入的时机。
- 论文arXiv：越狱、提示注入、投毒与防御
研究系统比较六种越狱评测器的可靠性
研究者在同一人工标注数据上系统比较了六种越狱评测器：HarmBench、JailbreakBench、JailbreakRadar、StrongReject、JADES 和 JailMeter。作者指出，越狱研究通常各自独立验证所选评测器，既重复消耗资源，也使不同论文的结果难以比较，而不同评测器对越狱成功的定义不同，报告出的攻击强度可能因此差异明显。研究在 JailbreakQR 和 JailMeter-Eva 两个数据集上以人工判断为参照，衡量评测器与人类的一致程度、错误类型以及跨攻击家族的一致性；对需要通用 LLM 评判的评测器，使用共享底座模型以控制模型差异。
- 论文arXiv：越狱、提示注入、投毒与防御
DIVA：利用视觉锚点对视频生成模型实施多模态越狱
论文提出视觉锚定效应，指出参考图作为条件输入时，模型为保持时空一致性会让生成内容难以偏离原始有害意图，从而失去从有害转向无害的天然安全逃逸路径，作者称这是一致性的代价。基于该发现，作者提出免训练的多模态越狱框架 DIVA，把有害意图拆解为静态视觉锚点图像与动态运动文本提示词，并用双重标准筛选以兼顾攻击隐蔽性与语义保留。在多家主流商业平台和开源视频生成模型上的实验显示，DIVA 的攻击成功率明显高于仅用文本的既有方法。作者同时发布 TI2VSafetyBench，称其为首个面向多条件视频生成的安全基准。该论文已被 ACM MM 2026 接收。
- 论文arXiv：越狱、提示注入、投毒与防御
论文揭示大推理模型的对齐崩溃并提出 Reasoning Trap 越狱范式
论文指出深度推理可能引发对齐崩溃，并提出 Alignment Loss Rate（ALR）指标量化该现象：随着推理深度增加，ALR 显著上升，模型对外部扰动的鲁棒性明显下降。作者据此提出新的越狱范式 Reasoning Trap（RT），通过诱导模型进行长推理来放大对抗攻击的影响，使安全能力急剧下滑。论文将崩溃机制归因于注意力稀释，即长推理过程与原始输入争夺注意力。为缓解该问题，作者提出轻量防御策略 Reasoning Residual Alignment（RRA），通过残差连接将输入重新加权并整合进推理过程。
- 论文arXiv：越狱、提示注入、投毒与防御
研究：内容不变的风格包装可翻转 LLM 安全评判器的判定
研究者提出内容不变的风格包装攻击，在回复正文逐字节不变的前提下，只在前后添加固定字符串改变语气，测试 8 个安全评判器是否会翻转判定。在 600 条来自 JailbreakBench 的回复（300 条有害、300 条拒答，覆盖四个目标模型）上，token 式拒答包装把 GPT-4o-mini 正确判为不安全的判定翻转 19.9%（95% CI [15.0, 24.0]，噪声下限 0.5%），而 Claude 仅 0.4%。已部署的 Llama Guard 4 同样被绕过，教育课程框架翻转其 12.3% 的有害判定，token 式拒答翻转 8.3%；另一个专用护栏 gpt-oss-safeguard-20b 对所有包装的翻转均不超过 1.2%，低于其自身噪声下限。仅修改评判提示词、要求忽略语气后，同一模型上的 token 式拒答攻击约减少十倍。
- 论文arXiv：越狱、提示注入、投毒与防御
ACEA：面向红蓝队对抗的 LLM 协同演化测试平台
研究者提出 ACEA（Adversarial Co-Evolution Arena），一个把可插拔红队适配器与蓝队适配器接到同一靶标 LLM 上、由 LLM judge 对攻防成功率打分的对抗协同演化平台。平台通过最小化的 HTTP 协议 ACEA Standard Adapter Protocol（ASAP）接入任意语言编写的红队或蓝队项目，只暴露该协议即可成为完整参与者。评测方法上，向靶标注入规范化的秘密作为可验证真值，以区分真实泄露与模型幻觉；即使防御拦截了攻击，也仍把攻击发给靶标，从而独立测量攻击的原始效力，得到每轮攻击强度与防御有效性的分解。