全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降
DEFER1 研究多智能体防御，并报告受控测试中的攻击成功率降低。这些受控测试结果不等于该方法对任意模型或运行环境均有效。
- 论文论文追踪
两阶段智能体轨迹审计框架：用门控规则加 LLM 审计降低监控成本
研究者提出两阶段智能体轨迹审计框架，第一阶段用单事件与轨迹序列规则筛选待检动作，第二阶段由 LLM 审计智能体结合前序轨迹在执行前审查每个被选动作，并用训练数据联合优化门控规则与审计指令。在公开基准 OpenAgentSafety 上，该框架将每次运行的 LLM 审计次数从 8.15 降至 2.33、token 用量从 47.8k 降至 14.6k，检测率为 72.8%，而全量审计为 81.5%。在两个模拟多智能体案例中，框架标记出全部恶意轨迹，同时将审计 token 用量减少超过 80%。
- 论文arXiv
ASCENT：通过一阶最优校准实现安全与效用协同的微调框架
研究者提出 ASCENT，一个通过一阶最优安全感知周期性校准与任务优化实现安全与效用协同提升的下游微调框架。该方法把安全建模为大语言模型参数的函数 S(θ)，用其一阶近似刻画参数更新带来的安全变化；在固定秩与 Frobenius 范数预算下，证明由安全函数梯度前 r 个奇异分量构造的更新能最大化估计的安全变化，并将其用于周期性校准。研究还推导出一个唯一的安全保持任务更新，在贴近原始任务更新的同时惩罚对估计安全变化的负面影响，ASCENT 交替执行这两类更新。在多个大语言模型家族和下游任务上，ASCENT 将下游效用最多提升 20.3%，攻击成功率最多降低 35.5%。代码已开源于 https://github.com/ZJU-LLM-Safety/ASCENT。
- 论文arXiv：越狱、提示注入、投毒与防御
LADE：用暗知识中的模型无关潜在安全信号防御 LLM 越狱
LADE 通过对比有害与良性查询，从首个 token 输出概率分布的暗知识中提取潜在安全信号，构建跨模型通用的安全方向。该方法由潜在安全信号提取、Tokenizer Mapping 和 kNN 判别三部分组成，可适配不同分词器的 LLM。在多种模型和基准上，LADE 对多种越狱攻击保持稳健，降低攻击成功率并维持安全与效用的平衡。
- 论文arXiv：越狱、提示注入、投毒与防御
SSRFT：以安全角色内化替代拒答模式的 LLM 安全对齐框架
研究者提出 SSRFT（Supervised Safe-Role Fine-Tuning），将安全对齐重构为对预设安全角色的内化，而非训练显式拒答模式。该方法基于心理测量题、少量越狱提示词和安全角色描述构建 SRQA 数据集，合成并验证角色一致的回答后扩展至多样场景。在多个 Base 与 Instruct 模型上，SSRFT 比标准 SFT 对预填充攻击更鲁棒、对未见越狱领域泛化更好，同时减少对良性查询的过度拒答并保持通用能力。
- 论文arXiv：越狱、提示注入、投毒与防御
APEX：在 LLM Agent 执行边界主动防御间接提示注入
研究者提出 APEX，把间接提示注入的防御从识别攻击模式转向在执行边界检查每个待执行动作，即 Agent 将内部状态转为外部动作或输出释放的位置。APEX 在不受信任内容到达前把用户任务编译成授权契约，用两个机制读取它：WRAP 依据契约与运行时证据只放行可被证明授权的动作和参数，PLANT 在契约背书的依赖通道上放置探针，使未被任务背书的信息在使用时暴露。该方法只需对每个能力单元做一次与任务无关的注册，同一套中介逻辑统一适用于 Tool、MCP 和 Skill 调用，包括嵌套调用。在覆盖三类能力单元的六个基准上对比 13 个基线，APEX 在其中五个基准上攻击成功率为 0%，第六个为 0.56%，并在针对三类能力单元的自适应攻击下保持 0% 攻击成功率。代码已公开。
- 论文arXiv：可解释性
针对 LLM 谄媚的纵深防御：记忆门控对激活诱导与记忆诱导谄媚的评估
研究提出一个 2×2 纵深防御框架，将内部激活引导与外部记忆处理分离，在 MemSyco-Bench 上评估四种开放权重模型，涉及 10 个引导系数和五种记忆防御配置。其中三种配置为新设计：重写全部记忆、对每条记忆保留/重写/丢弃的 Router Gate，以及丢弃全部记忆。在 Llama 3.1 8B 上，Router Gate 配合轻度反向引导（α = -1.5）将评委平均谄媚率从 35.80% 降至 31.32%，平均准确率从 43.99% 变为 43.31%，但该下降在 149 个样本上不具统计显著性（配对 p = 0.08 至 0.63）。
- 论文arXiv：可解释性
研究揭示 Transformer 拒答机制中的组件与维度稀疏性
研究将拒答激活引导分解为组件级干预，在四个开源权重模型上识别出足以复现完整行为效果的稀疏注意力与 MLP 组件子集。这些拒答方向集中在占上游组件 28% 至 48% 的稀疏机制中，仍保留 88% 至 101% 的引导效果；在这些机制内部，有效引导进一步集中在约 50% 的残差流维度上，保留组件机制基线的 85% 至 98%，与存在特权基结构的判断一致。作者据此认为拒答并非弥散编码于整个 Transformer，而是由结构化、可识别的机制组装而成，并将代码与原始实验结果开源在 https://github.com/wang-research-lab/Refusal_Mechanisms。
- 论文arXiv：危险能力与安全评测
研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器
研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。作者发现路由 logits 对多模态输入是否安全具有很高的预测性。在 Qwen3-VL 和 Kimi-VL 上，该检测器显著降低了 HoliSafe 基准上的安全错误，并泛化到安全模式不同的分布外基准 MISHard 和 MM-SafetyBench。作者认为，相比通过提示、监督微调或路由专家引导来干预模型行为与内部状态，直接读取自然涌现的信号并接入外部安全机制，可作为现有安全干预的简单、有效且非侵入式的补充。
- 论文论文追踪
AdvSim2Real 用任务与注入对手共同演化训练网页智能体
AdvSim2Real 提出在冻结的网页世界模型中让任务课程、注入对手与智能体共同演化，以提升网页智能体对页面植入指令的鲁棒性。课程只奖励智能体约一半时间能解决的任务，对手只奖励能把判定成功翻转为失败的注入。训练后 4B 智能体的任务完成率在有攻击和无攻击下均上升，并能抵御训练中未见过的前沿模型对手，能力提升也迁移到真实浏览器。在 150 个网页任务上，面对这一未见对手，AdvSim2Real 相对基础智能体把完成率提升 33.6%。
- 论文论文追踪
研究者提出答案侧后门：让模型自生成触发词绕过安全拒答
研究提出答案侧后门：模型生成的回答可能在后续对话中诱发拒答失效，因此仅检查用户输入的防御可能遗漏风险。作者在多个开源模型的受控评测中报告较高攻击成功率，同时保留部分常规能力表现。结果限于论文的投毒与评测设置，不能直接外推为未经过相关处理的公开模型同样存在该后门。
- 论文论文追踪
SIGMA：让模型依据 Model Spec 自我改进安全对齐
研究者提出 SIGMA，一条让模型自我改进安全对齐的数据生成与训练流程，仅需一份描述期望行为的 Model Spec。SIGMA 先做规格引导的任务合成，把候选模型当作任务设计智能体，生成多样化的对齐困境场景并转成训练任务；再用监督微调和基于评分标准的强化学习进行自我评判式对齐训练，由模型自身充当奖励模型。尽管只用单轮对话数据训练，SIGMA 在多轮智能体环境中改善了安全对齐，AgentHarm 有害性从 22.6 降至 14.8，Agentic Misalignment 从 79.1 降至 3.8，并优于 Deliberative Alignment 与 Constitutional AI 基线，同时保留通用能力。分析显示，兼顾无害与有用的 Model Spec、测试时安全审慎推理以及任务设计智能体产出的高质量评分标准，是有效自我改进的关键。
- 论文论文追踪
研究者提出 Staged Decoding 与 SFT 数据集，减少大推理模型推理轨迹中的隐私泄露
研究者针对大推理模型（LRM）推理轨迹常含敏感信息、且可能被提示注入暴露的问题，提出把隐私指令当作可控性任务来处理。他们构建了一个 SFT 数据集，让模型在整个推理过程中遵循通用指令，并提出 Staged Decoding 解码策略，用独立的 LoRA 适配器分别生成推理轨迹和答案，以最大化各部分的指令遵循能力。在来自两个模型族的六个模型（1.7B 至 14B 参数）上，跨两个指令遵循基准和两个隐私基准评测，该方法在指令遵循上最高提升 20.9 分，在隐私基准上最高提升 51.9 个百分点，但可能因推理性能与指令遵循之间的权衡而损失任务效用。代码已公开，论文被 EMNLP 2026 主会接收。
- 论文论文追踪
CoVer：用干预检验为 Agent 构造可判定规则边界
论文提出 CoVer（corroborate-then-verify）方法，用于判断 Agent 执行的规则中哪些可由固定检查处理、哪些需要裁判。研究者在六个语料库（包括 EU AI Act、FINRA 指引和一个已部署的信贷 Agent）上，从三个实验室的四个模型收集约 2.2 万条标注，发现模型在答案明显时几乎完全一致，但在监管文本上分歧严重，且错误方向相反，无法把任一模型当作保守选择；在已部署 Agent 的规则集上，模型还会共同错误地声称固定检查足够，而这一方向永远不会被升级审核。CoVer 把模型一致视为提名，只有当为该谓词合成的检查能通过干预、读取 Agent 无法写入的字段并在确定性改写下保持成立时才接纳该谓词，从而拒绝大部分仅靠一致同意被错误接纳的谓词，代价是覆盖率的下降。
- 论文论文追踪
论文提出长程智能体自生子目标的运行时授权机制
论文针对长程工具调用智能体在自生子目标、重规划和委派中可能超出主体授权任务的问题，提出一种运行时授权机制。每个目标图变更需携带版本绑定的见证，证明其延续轨迹、资源、义务、不变量和收束条件细化了当前根契约，受保护效果在原子提交边界重新校验，自由形式的目标文本不提供任何授权。作者在显式中介、抽象、新鲜性和原子性假设下证明了轨迹策略与建模禁止状态保持、条件性根成功保持、无记忆允许列表的分离结果、有限域可判定性以及可靠抽象细化下的通用安全单调性。可执行模型探索了 340 个状态和 419 次转移；在覆盖 25 种结构模式的 96 个匹配案例中，完整机制在 48 个漂移案例中零禁止状态提交，并完成全部 48 个良性对照。两条公开上游运行时路径在 32 个案例中执行 258 次原生调度，每个案例级决策与凭据链均匹配。
- 论文论文追踪
论文提出可审计的文本水印合规方案以落实欧盟 AI 法案第 50 条
针对欧盟 AI 法案第 50 条第 2 款要求生成式系统输出可机器读取和检测，论文提出一套可审计的替代方案。作者先定义描述长度鲁棒性剖面，用有限样本界说明可检测偏差会衰减、所需样本量随衰减率的平方反比增长，并以碰撞熵替代难以确定的 Shannon 熵常数。随后构建标签条件共形预测集，分别设定误归因与误排除水平，输出水印支持、不支持或不确定三种结论，覆盖率以有限样本结果给出并在可交换性下具备类条件性质。一个可复现的锦标赛水印小规模模拟验证了上述两点，并显示存活 token 规则把可容忍编辑率大约高估了一倍。论文据此提出上市前证书、签名检测报告和上市后重校准协议，用于落实欧盟委员会 2026 年行为准则，同时不主张水印具备普遍鲁棒性。
- 论文论文追踪
研究者提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露
研究者提出一种失败即关闭的临时可见性协议，用于控制持续摄入场景下 RAG 向量库的投毒暴露：新内容在截止期限内以临时状态准入，验证未及时完成的内容被隐藏，并支持按血缘范围隔离。在五组编码自然语言文档负载上，使用精确后端与 Milvus 评测，验证器积压时该截止机制把投毒检索的中位数从 34（29–34）降到 7（6–7），被挤出的干净结果数量同步下降。先验证后可见可避免临时暴露，但干净内容首次可见延迟到 6.3 秒，而临时准入可在 3 毫秒内可见，代价是过期干净条目可能出现临时可用性缺口。用特定检测器回放决策显示，误放行会让投毒内容保持可见，误拒答则会把干净内容排除在检索之外，说明协议保证与检测器质量各自决定哪些结果。该工作已被 IEEE CBDCom 2026 接收。
- 会议论文ACL AnthologyACL 2026
Self-Reflection 提升大型推理模型安全性
研究者提出 Self-Reflection 方法，通过引入一个特殊的 Self-Reflection token，让大型推理模型在生成过程中进行自我反思并从有害输出中恢复，从而把安全对齐从单纯减少有害输出的预防手段扩展到推理过程内部。该方法可无缝接入标准后训练流程，在提升安全性的同时也改善有用性。实验显示，采用 Self-Reflection 训练的模型将 HCR 从 13.8% 降至 4.1%，约为主流方法的三倍改进，并在有用性及安全与有用性的平衡上取得优势。在包括专门设计的自适应攻击在内的多种对抗攻击评测中，该机制在未做针对性对抗训练的情况下仍显著提升模型安全性。
- 论文论文追踪
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
据 Uber 团队自报，Uber 团队提出 ADR（Agentic AI Detection and Response）系统，用于防护通过 MCP 运行的 AI 智能体，由采集提示词、推理步骤与工具调用因果链的 ADR Sensor、预部署红队的 ADR Explorer 和两级在线检测的 ADR Detector 组成。该系统在 Uber 部署超过十个月，覆盖 7200 多台主机、每日处理逾 1 万次 Agent 会话，发现 26 类凭证泄露，并支撑一个精确率 97.2% 的凭证泄露拦截层。ADR-Bench 与 ADR Sensor 及检测框架源码已在 GitHub 公开。 上述部署规模及效果来自团队自身报告，并非独立验证结果。
- 论文arXiv
面向音频深度伪造检测的任务感知联合剪枝与蒸馏框架
针对基于自监督学习（SSL）的音频深度伪造检测器参数量普遍超过 300M、难以部署到资源受限设备的问题，研究者提出任务感知联合剪枝与蒸馏框架，将跨域知识蒸馏与运动引导结构化剪枝结合，在激进压缩下保留伪造判别知识与关键结构。该框架把模型压缩至 31.9M 参数、FLOPs 降低 6.3 倍，在多个数据集上相比未压缩基线平均性能仅下降 1.30%。
- 论文arXiv
AVCE：面向扩散模型可验证概念擦除的审计感知遗忘框架
研究者提出 AVCE（Auditing-Aware Unlearning for Verifiable Concept Erasure in Diffusion Models），一种把概念擦除落到模型潜空间表征的遗忘框架。作者指出，多数擦除方法只在文本接口干预，通过提示词修改或文本条件权重的局部更新实现，并以给定提示词下的输出作为评估依据，而潜空间审计绕过文本条件直接探测去噪网络，显示被擦除概念仍可从内部表征中恢复，这一问题在抗对抗提示词的方法中同样存在，且随擦除概念数量增加而加剧。AVCE 审计每个概念的嵌入向量邻域，将发现的脆弱方向压缩为最弱几何点上的锚点，在该锚点以闭式解编辑交叉注意力和自注意力投影，再用路径级审计损失微调两条路径，并通过正交梯度投影整合多个概念。
- 论文arXiv
Thrive：面向自回归 TTS 的抗重建攻击多比特语音水印框架
针对自回归 TTS 合成语音在分发编辑中经历学习式重建后水印难以可靠恢复的问题，研究者提出多比特生成式语音水印框架 Thrive，覆盖离散 token 与连续表示两种生成范式。其 Rise 模块将水印注入中间表示并与后续生成同步，Care 模块按比特可靠性融合波形与频谱专家。实验显示 Thrive 在保持合成保真度的同时，于重建攻击下取得 87.6% 平均恢复准确率，并支持最多 10,000 个候选身份的来源归属。
- 论文arXiv：越狱、提示注入、投毒与防御
研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL
牛津大学等机构的研究者发现，为每个智能体单独部署 CaMeL 防护不足以保证多智能体系统安全：不可信数据跨越智能体边界后被下游智能体当作可信输入，从而劫持其控制流，作者将这一失效模式称为 boundary laundering，并构造了具体攻击。为此他们提出 multi-CaMeL，在智能体间通信中把可信自然语言指令与不可信数据分离到不同通道，并在运行时保留数据来源信息。在扩展 AgentDojo 得到的 MultiAgentDojo 基准上，multi-CaMeL 将攻击成功率从无防护的 12.9%、单智能体 CaMeL 的 0.2% 降至 0.0%；在 AssetOpsBench 上相对单智能体 CaMeL 平均仅增加 3.2 个百分点的效用损失，且模型能力越强损失越小。作者同时开源了 MultiAgentDojo 及 multi-CaMeL 实现。
- 论文arXiv：越狱、提示注入、投毒与防御
SENTINEL：通过意图感知的输入-输出匹配防御 LLM 越狱
研究者提出生成时越狱防御方法 SENTINEL，将防御重构为意图提取问题，利用指令微调 LLM 的输入-输出语义一致性，匹配语义对齐区域以提取暴露意图的子序列，并用拒答方向投影打分、必要时中止生成。在 HarmBench 上对多个 LLM 的实验中，SENTINEL 将越狱成功率降至接近 5%，同时保持较低的过度拒答，并对自适应攻击表现出鲁棒性。