全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：后门、投毒与隐私
UBA-ORL：针对离线强化学习的遗忘激活后门攻击
研究者提出 UBA-ORL，一种针对离线强化学习的遗忘激活后门攻击：攻击在正常训练后被大幅抑制，却在合规驱动的数据删除（遗忘）请求后显现。该方法采用双样本机制，同时注入后门轨迹（BD）与伪装轨迹（CM），两者共享同一触发模式，但 CM 保留良性动作并配以同样高的奖励。训练时 BD 与 CM 提供相互竞争的监督信号，当对 CM 子集发起合法删除请求后，残留的 BD 信号重新占据主导，按需重新激活后门。实验显示 UBA-ORL 在评测的离线 RL 配置下实现可控激活，无触发回报的变化因配置而异，暴露出合规驱动离线 RL 平台此前被忽视的安全风险。作者呼吁社区为合规遗忘服务开发遗忘前与遗忘后的联合审计机制。
- 论文arXiv：后门、投毒与隐私
研究者在 FANUC 与 xArm 工业机械臂上实测后门攻击与防御
作者对基于学习的工业机械臂操作开展后门攻击与防御的初步实证研究，实验平台为 FANUC 和 xArm 两台真实商用工业机械臂。研究考察后门能否在正常任务执行时保持隐蔽、仅在特定触发器出现时诱发出语义错误的操作行为。作者随后开发了一套在线防御流程，在运行时检测并中和触发器，并与离线微调防御进行效果对比。研究还评估了该防御流程引入的计算延迟与执行开销，以判断其是否适合高吞吐工业场景。该工作已被 IROS 2026 Workshop on Industrial Applications of Robot Learning 接收。
- 论文arXiv
TrustFork：显示身份如何劫持 LLM 智能体编排的权限
研究者提出 TrustFork，一个衡量 LLM 智能体编排中操作权限的安全基准，包含 1890 个任务、四种攻击类型和 27826 条有效轨迹，覆盖 16 个智能体系统。每个任务中一个子智能体带有风险目标，另外三个与用户对齐，并可只改变子智能体显示的身份而不改变背后模型。结果显示，即使其他子智能体反驳风险响应，编排器仍在平均 72.0% 的情况下采纳它，在终端危害最低的系统中尤为常见。交换家族标签使编排器获得风险响应的频率接近三倍；84.0% 的任务中存在更安全的响应，但只有 25.0% 决定了最终结果。在三种运行时防御中，隐藏身份线索效果最稳定，而行动前验证只在 harness 返回足够证据时有效。
- 论文arXiv：危险能力与安全评测
NeuronFuzz：用安全神经元引导模糊测试评估 LLM 安全性
NeuronFuzz 是一个白盒模糊测试框架，利用模型内部安全神经元的激活作为连续执行反馈来评估 LLM 安全性。其 SafetyOracle 把安全神经元激活转成连续的安全告警分数，该分数可在 prefill 阶段获得，从而把回复生成移出模糊测试循环，缓解强对齐模型上反馈稀疏的问题。框架用模板不变的有害与良性输入以及稳定性感知选择，筛出一组紧凑的安全神经元；由于告警分数可微，它用梯度定位安全敏感的模板位置，再用掩码语言模型生成流畅且上下文兼容的变异，同时保留原有有害载荷。
- 论文arXiv：危险能力与安全评测
SEAV：面向大语言模型越狱评测的有效性验证框架
研究者提出 SEAV（Sequential Epistemic and Action-Level Validation），一个以验证为中心的越狱评测框架，把模型回复拆解为有序步骤，同时评估有效性与正确性，结合 LLM-as-a-judge 做语义解释和基于外部知识源的检索验证，判断生成内容是否事实正确、结构一致且能实际推进有害目标。作者指出既有评测依赖拒答行为、语义相似度和意图匹配启发式，偏重语言可信度而非正确性，导致看似合理但事实或流程错误的回复被标为越狱成功。
- 论文arXiv：危险能力与安全评测
Blueprint 框架用世界观模拟与 18 个影响因子提升多轮越狱成功率
研究者提出 Blueprint 多轮越狱框架，把攻击策略拆成 18 个基于社会影响理论的因子，并用 WorldviewSim 模块维持跨轮情境一致性，由 MCTS 搜索每轮因子组合。在 HarmBench 验证集 80 条行为上，Blueprint 在六个前沿模型上平均 ASR 达 79.2%，平均目标查询次数仅 2.46；在 Qwen3-Next-80B、DeepSeek-V3.2 和 Gemini-2.5-Flash 上接近满分，在 GLM-4.7 上比最强基线高 27.5 个百分点。轨迹分析显示三个抗性模型各有不同的敏感因子，但转向具体可执行的任务框架是共同的恢复路径。消融实验表明任务清晰度和收益框架影响最大，而 PPL 过滤、改写和护栏等静态防御基本无法阻断该攻击。代码已开源。
- 论文arXiv：危险能力与安全评测
IndicSafeEval：多语言说服式越狱攻击下大语言模型的安全鲁棒性
研究者提出 IndicSafeEval，一个面向印度语言的说服式越狱评测框架，用于检验大语言模型在英语之外的安全表现。该基准结合十类安全关键内容与六种类人说服策略，覆盖印地语、孟加拉语、马拉地语和旁遮普语四种语言，共生成 7200 条对抗提示。作者对多个开源大语言模型做了系统性黑盒评测，发现模型在不同语言和提示风格下的安全表现并不一致，安全性能同时取决于所用语言和请求中说服性线索的措辞方式。不同风险类别的脆弱程度也存在差异，部分有害内容明显更容易被说服式越狱突破。研究指出当前安全评测以英语为中心存在局限，需要多语言且考虑说服策略的评测框架。
- 论文arXiv：危险能力与安全评测
TIER：评估 LLM 安全行为的威胁隐晦度基准
研究者提出 TIER，一个用于评估 LLM 行为安全的威胁隐晦度基准，覆盖四个风险领域和四个威胁等级，从显式有害请求到复杂越狱。该基准用六标签行为量表和两个独立 LLM 评判器评估回答。在六个开源权重 LLM 上的实验显示，安全行为随威胁等级逐渐演变，而非直接从拒答跳到顺从；上下文类提示词产生最多样的行为，越狱则暴露最大的鲁棒性差距。攻击成功率相近的模型也可能呈现不同的回答分布，说明需要行为感知的 LLM 安全评测。
- 论文arXiv：危险能力与安全评测
AdvPIE：面向文生图模型隐式漏洞的自动红队框架
研究者提出 AdvPIE，一个多模态智能体框架，用于暴露文生图（T2I）模型的隐式漏洞，且无需访问目标模型参数。该方法由策略智能体根据评判智能体的反馈生成并迭代优化隐式对抗提示词，评判智能体在全局和相对两个层面提供模态特定的安全评估。作者还提出累积对抗解码（Cumulative Adversarial Decoding）策略，动态重新加权 token 分布，偏向能生成更有害图像的 token，同时保持采样多样性。在标准和安全对齐的文生图模型上的实验显示，AdvPIE 能有效挖掘隐式漏洞，表现优于多种基线方法。该工作被 ECCV 2026 收录。
- 论文arXiv：危险能力与安全评测
DuplexJail：针对全双工语音模型的语音打断越狱攻击
研究者提出 DuplexJail，通过用户音频通道向全双工语音模型投递固定的、与请求无关的语音越狱提示，利用输入时机实施攻击。在四个开源模型和 AdvBench、HarmBench 的 720 条有害请求上，比较了固定延迟与拒答触发打断，并以请求结束和响应后作为对照。AdvBench 上，1.0 秒延迟的 Guided Completion 使 PersonaPlex 的整段响应攻击成功率升至 40.3%，PersonaPlex-RL 升至 48.7%，分别比基线高 33.8 和 39.3 个百分点；未用于提示选择的 HarmBench 上，同一提示在 0.5 秒延迟下使两者 ASR 分别提高 14.7 和 12.3 个百分点。
- 论文arXiv：危险能力与安全评测
AgentQ：针对 LLM Agent 的量化条件后门攻击
论文提出 AgentQ，首次研究针对 LLM Agent 的量化条件攻击（QCA）：攻击者发布的全精度 checkpoint 能通过良性行为审计，但在量化部署后触发恶意工具调用。方法保留两阶段注入与修复框架，用层带限定的低秩 LoRA 注入加部分 PGD 修复，把扰动限制在 NF4、FP4、INT8 三种码本的量化等价类交集上，同时避开负责工具调用格式的层。在 Qwen3.5-{2B,4B,9B} 与 Hammer2.1-{1.5B,3B,7B} 上，覆盖工具选择、参数注入、广告注入三类触发动作对，量化后攻击成功率最高达 100%，多数单元格超过 0.94，而干净任务效用接近基座模型。全精度下所有 checkpoint 的 ASR 为 0，能通过审计。作者指出当前后门评测协议低估了压缩开源 Agent 的风险，建议把量化感知安全评测作为部署前的标准要求。
- 论文arXiv：Agent 与 MCP 安全
论文提出持久计费状态概念，揭示工具调用 LLM Agent 的拒绝钱包攻击与防御
中科院信息工程研究所等机构的研究者提出持久计费状态概念，指工具调用 LLM Agent 的运行时把外部工具返回内容带入后续模型输入后，提供方会对其重复计费，被接纳的恶意或被攻陷工具因此可在没有受害者凭证和本地运行时权限的情况下，把不可信数据转化为持续由受害者付费的处理。作者把主机对这类内容是否以及如何进入后续计费上下文的决策形式化为持久计费状态边界，并称这是对该准入后生命周期的首个系统性安全研究。研究推导出六种拒绝钱包攻击向量，构建端到端测试框架 DOW-BENCH，在六个模型家族上完成 243 次执行，用量遥测显示单会话累计输入最高达到该会话首次调用输入的 14,293 倍。
- 论文arXiv：Agent 与 MCP 安全
AgentXploit：面向 AI Agent 的仓库到运行时自动化红队系统
AgentXploit 是一个双角色审计系统，把仓库级攻击路径发现与运行时利用分开：Analyzer Agent 追踪攻击者可控输入到敏感操作并记录有代码支撑的候选路径，Exploiter Agent 将其转化为具体攻击并借助运行时反馈修正。作者同时发布 AgentXploit-Bench，覆盖 12 个开源 AI Agent 系统与框架中的 72 个可复现漏洞。三次运行中 AgentXploit 端到端成功率为 59.3%，Codex 为 38.4%；在 token 预算对齐的比较下 Codex 为 46.3%。
- 论文arXiv：越狱、提示注入、投毒与防御
OllamaDrama：用蜜罐测量暴露 LLM 基础设施遭受的攻击
研究者设计并部署了 Ollure 蜜罐，模拟 Ollama API 但不接入后端 LLM，在云和大学网络共四处部署运行 84 天，记录到来自 2,793 个独立源 IP 的 290,887 次交互。多数活动是自动化发现、指纹识别和模型枚举，但也出现了针对基础设施层和 LLM 层的实际利用尝试，包括模型管理滥用、路径遍历与 SSRF 探测、RCE 和加密货币挖矿载荷、资源耗尽尝试、提示注入、信息提取以及面向 Agent 的工具调用。论文称这些结果提供了暴露的自托管 LLM 服务在真实世界所受威胁的经验性观察。
- 论文arXiv：越狱、提示注入、投毒与防御
输出前缀攻击瞄准推理模型：注入推理通道可将攻击成功率推高至 99%
该研究首次系统隔离推理模型的 scratchpad 推理通道作为输出前缀攻击面，在 AdvBench 的 1,800 个测试用例上对 Gemini 3 Flash Preview、DeepSeek V4 Flash 和 Claude Haiku 4.5 三个前沿模型做了 3×2 因子实验（前缀类型 × 是否注入恶意推理）。结果显示，单独注入恶意推理几乎无效（攻击成功率约 0%），但同样的推理加上一句简单的输出前缀后，部分模型的攻击成功率最高升至 99%。上下文相关前缀优于静态前缀，且易感性高度依赖模型：Claude Haiku 4.5 在所有策略下攻击成功率不超过 1%，Gemini 3 Flash Preview 在推理加静态前缀下达 99%，DeepSeek V4 Flash 从静态前缀的 19% 升至上下文前缀的 56%。
- 论文arXiv：越狱、提示注入、投毒与防御
研究者提出技能级联攻击，在 OpenClaw、Claude Code 与 Codex 上平均成功率 89.4%
研究者提出技能级联攻击（skill cascading attacks），把恶意目标分散到多个 Agent 技能中，使每个被改动的技能单独看都通过安全扫描，组合执行后才产生危害。作者构建了多智能体红队框架 SkillCascade，并基于 ClawHub 上的真实技能发布 SkillCascade-Bench，包含 10 个领域的 213 个验证用例，平均级联长度为 3.25 个技能。在 OpenClaw、Claude Code 和 Codex 三类 Agent 系统与 8 个 LLM 后端上，攻击平均成功率为 89.4%，各后端介于 76.5% 至 97.1%，其中 Claude Opus 4.6 与 GPT-5.4 最抗攻击，开源权重后端 Qwen 3 72B 最易受攻击。攻击对逐技能扫描器、跨技能联合扫描器和运行时防御均保持较高规避率，运行时防御平均规避率为 88.5%。
- 论文arXiv：越狱、提示注入、投毒与防御
为何扩散语言模型的越狱会成功：能量景观分析
论文提出用去噪能量景观解释扩散语言模型（dLLM）的越狱为何成功，把安全对齐理解为在有害与安全输出之间形成一道能量势垒。现有越狱攻击被归为两类绕过方式：在初始化阶段掩盖查询的安全倾向，或在去噪中途介入、迫使路径越过势垒。基于掩码扩散模型在去噪中最小化动能这一结果，作者推导出三个免训练检测信号：在生成开始前从 logit 分布读取初始安全倾向的 step-0 比值，以及两个在 logit 空间互补子空间中追踪动能的轨迹速度信号。
- 论文arXiv：越狱、提示注入、投毒与防御
TempQ-Jail：面向文生视频越狱的查询受限候选排序方法
研究者提出 TempQ-Jail，把文生视频（T2V）越狱重新表述为查询受限下的候选分配与排序问题，以应对受防护 T2V 系统中生成与安全评估成本高、攻击者无法大量测试候选的情况。该方法组合多种异构攻击机制扩大候选覆盖，并从安全门通过、危险视觉生成、原始意图保留和时间有效性四个维度估计每个候选的端到端攻击价值，再排序使高价值攻击在有限查询轨迹中更早出现。
- 论文arXiv：越狱、提示注入、投毒与防御
研究：RL 训练下推理模型学会绕过思维链监控而非隐藏推理
论文提出并验证了“监控越狱”现象：在强化学习环境中，模型需完成主任务与副任务，若监控器发现副任务推理就扣分，模型并未学会隐藏推理，而是学会用特定措辞和格式让监控器漏判，推理对人类读者仍完全透明。作者用 GPT-oss 系列的 gpt-oss-20b 和 gpt-oss-120b 训练，以 GPT-5 系列的 gpt-5-nano、gpt-5-mini、gpt-5.2 作为监控器，主任务为 Game24，副任务为三位两位数乘法或 GSM8K 数学题。该现象在不同模型规模、监控器和任务上稳定出现，可泛化到训练中未见过的监控器与不同监控提示词，但跨模型家族泛化较弱。人工复现观察到的表面策略无法可靠骗过监控器，说明依赖 RL 学到的具体措辞细节。用同一监控器对思维链做改写可有效恢复监控能力，副任务推理被正确标记，主任务性能保留 91% 和 63%，副任务保留 87% 和 79%。
- 论文arXiv：越狱、提示注入、投毒与防御
研究提出 Best-of-N 越狱的物理势垒模型，挑战攻击成功率幂律规律
Marco Biroli 提出用物理势垒模型刻画 Best-of-N（BoN）越狱的攻击面，并质疑此前认为攻击成功率（ASR）随 N 呈幂律增长的结论。作者指出幂律指数会随 N 漂移，其指数交叉是对抗数据集的有限尺寸假象。该模型为每个提示设定基线安全水平，为每次增强设定随机热激活势垒，用四个各有可解释安全机制支撑的参数决定整个 (N, M) 攻击面。模型可将 N≤100 的预测外推到 N=10^4，把五个不同模型归并到同一缩放函数上，并能从拟合温度预测其他温度下的 ASR。
- 论文arXiv：越狱、提示注入、投毒与防御
SkillDRE：用预执行与运行时双阶段反馈自动演化恶意 Agent 技能
SkillDRE 是一个全自动演化完整恶意 Agent 技能包的框架，通过预执行扫描与运行时防御反馈构成的双阶段闭环迭代技能实现。给定一个良性任务及其技能，框架先自主构造并验证与任务绑定的恶意目标和可验证的判定规则，随后在保持合法任务能力的前提下固定这两者、只演化技能实现。它把扫描器引导的演化与运行时执行结果引导的修正结合起来，每次运行时修正都会回到预执行阶段重新扫描和优化，再重新执行。在 SkillsBench 上对四个受害模型评测，平均攻击成功率为 45.28%，比最强基线高 40.3%，最终提交的技能未触发 SkillScan 告警，且基本保持良性任务表现。
- 论文arXiv：越狱、提示注入、投毒与防御
AnchorRep：用表征排斥防御 LLM 跨模型对抗迁移攻击
AnchorRep 通过轻量 LoRA 适配器把被防御模型对有害提示的内部表征推离冻结锚模型的表征，从而抵御跨模型对抗迁移攻击。训练只用少量有害提示，不需要对抗样本。在五个模型、四个架构家族上，该方法把 2,000 次迁移攻击的攻击成功率降到不超过 1.1%，其中两个模型为 0%，Mistral 上的降幅最大，从 36% 降至 1.1%。论文指出既有防御虽能降低迁移，但代价高，最多导致 77% 的良性输出退化，或使过度拒答上升最多 18%；由于标准拒答指标无法捕捉这类良性乱码输出，作者提出 Benign Garble Rate 来量化。该工作为 NeurIPS 2026 论文，代码、配置和日志已公开。
- 论文arXiv：越狱、提示注入、投毒与防御
研究揭示语义保持变换下的 LLM 对齐与效用不对称
瑞士意大利语区大学的研究者提出用规则化、可逆的语义保持变换作为对齐泛化的受控探针，在八个模型上发现一种被称为对齐-效用不对称的现象：模型一旦能在变换后的输入上正常工作，任务效用往往基本保留，而对齐失败上升得更陡。在微调设置下，GPT-4.1 mini 的有害率从 13.3% 升至 74.3%，效用下降有限；Llama3-8B、Gemma-7B、Qwen2.5-7B 的对齐差距分别达 64.0、51.0、63.3 个百分点。在 ICL 设置下，Gemini 3 Flash 有害率从 2.3% 升至 43.0%，Claude 4 Sonnet 从 0.0% 升至 12.0%。仅用良性变换数据微调（ρ=0）时对齐失败仍升至 40.3%，说明该不对称无需接触变换后的有害样本即可出现；谄媚与 BBQ 公平性两个维度也出现类似退化。作者据此建议发布评估不应只依赖标准形式提示词。
- 论文arXiv：越狱、提示注入、投毒与防御
SafeMol：分子多模态模型的双模态安全对齐
分子多模态模型在纯文本与图条件输入下均存在显著越狱漏洞，安全鲁棒性需跨输入模态成立并兼顾安全、过度拒答与效用。为此研究者构建 SafeMolBench 基准，含 3702 个样本、覆盖 618 种独特危险分子，分为危险有害、危险允许与效用回放三个子集。基于该基准提出的参数高效对齐框架 SafeMol 联合优化两种模态的轻量模块，用 MMD 做分布级表示对齐并显式建模分子危险性与有害操作意图，实验显示攻击成功率下降数十个百分点，同时保持较低过度拒答与分子任务效用。