跳到正文

防御与护栏

今天新收录 19 条(含旧文)

第 6 页更新的内容回到最新

10月1日周四
  1. arXiv · 收录 · 原文 论文43

    研究者提出梯度封堵实现 LLM 发布前的预防性遗忘

    研究者提出梯度封堵(gradient sealing)方法,用于在开放权重 LLM 发布前阻止下游微调重新习得被禁能力。作者先验证现有回顾式遗忘方法在发布前防护上不足:即使当前输出已抑制被禁能力,被禁领域数据仍能通过内部通路产生梯度,使能力在后续微调中被重新获得。梯度封堵的原理是把相关预激活推入负区间,使 ReLU 族激活的导数变为零或接近零,从而阻断这些通路。在多个 LLM 系列上的实验显示,该方法对下游能力习得的抵抗强于回顾式基线。

  2. arXiv:后门、投毒与隐私 · 收录 · 原文 论文15

    Unmerge:用任务算术实现高效机器遗忘

    Unmerge 将机器遗忘重构为任务算术的逆运算:微调得到的合并任务向量减去低秩遗忘分量即可恢复保留任务向量,因为遗忘激活在每层都集中在少数主方向构成的子空间内。在 CIFAR-100 和 Tiny ImageNet 上对 ResNet-50 做类别级遗忘时,其 Tug-of-War 指标比同等运行时间的基线最高提升约 24%,比运行慢约 5 倍的更强基线最高提升约 18%,成员推断暴露维持在重训练水平。该方法同样适用于 ViT-S/16,并可扩展到 Llama-3.2-3B,其逐层基几何还可作为判断遗忘何时何地结构性困难的诊断工具。

  3. arXiv:后门、投毒与隐私 · 收录 · 原文 论文40

    NDDL:用正常扩散动力学为文生图模型做后门防御

    研究者提出 Normal Diffusion Dynamics Learning(NDDL),一种仅用正常样本训练的文生图扩散模型后门防御框架。该方法观察到正常扩散轨迹在 cross-attention、潜空间和噪声空间中呈现结构化且随 timestep 变化的转移模式,而后门攻击会使其偏离这种正常演化。NDDL 构建紧凑的多空间轨迹表示,训练一个以 timestep 为条件的动力学模型来预测扩散演化,推理时用观测转移与预测转移之间的偏差量化动力学不一致性以检测后门。该框架还能在无需任何后门先验知识的情况下,通过低语义词替换实现触发器定位。多种后门攻击上的实验显示其有效性与泛化性。

  4. arXiv:Agent 与 MCP 安全 · 收录 · 原文 52

    可验证操作卡 VAC:为自主 Agent 提供可信人在回路控制

    论文提出可验证操作卡(VAC),一种从真实待执行的浏览器操作和可信意图来源重建审批信息、在可信浏览器界面中带外渲染、并把审批绑定到派发时重新验证的同一操作的架构级防护。VAC 结合来源隔离、真实操作描述符、默认拒绝确认、来源感知风险门控和执行绑定,并在一个完整的智能体浏览器中实现。在覆盖混淆代理攻击、Lies-in-the-Loop 对话伪造、间接提示注入、自适应操作替换、来源规避和正常任务的 24 场景基准上,无 VAC 时各评测 LLM 的攻击成功率为 68% 至 100%,VAC 将每个模型的攻击成功率降至 0%,正常任务完成率 78%,误拦截率 0%。

  5. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 43

    ACTR:对齐推理链与回答以提升推理大模型的多语言安全

    研究者提出 ACTR 框架,通过强化推理大模型已有的安全推理来提升多语言安全对齐。该框架先用 think gap score(TGS)比较不同语言下推理链对注意力输出的归一化贡献,并用推理链替换衡量跨语言安全差距;再借助越狱查询语料,通过神经元掩码引起的回答表征变化评估神经元重要性,对比开启与关闭推理时的高重要性神经元集合,识别支撑安全推理使用的 safety think neurons;最后提出 neuron-selective consistency optimization(NSCO),用冻结的 judge 模型奖励推理链与回答在安全类别上的一致,只更新选定神经元的参数,无需人工标注回答或偏好数据。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文40

    推理层安全:防御对抗性推理与基础设施滥用

    论文研究 LLM 服务在推理层面临的对抗性交互,包括越狱、拒绝服务与知识蒸馏攻击,并以假设的前沿实验室 Five Elements Inc. 为例展开。由于缺少公开的对抗性 LLM 使用标注数据集,作者提出结构因果模型(SCM)生成带标签的用户会话数据集,包含协同多账号活动、平台反馈和三个层级的标签可观测性。在该数据集上训练的梯度提升检测器对 oracle 标签的二元分类 AUPRC 达 0.993,但面对真实 Trust & Safety 团队持有的运营标签时 AUPRC 仅 0.313,说明检测器比用于评估它的标签更准确。攻击类型归因方面,朴素 argmax 受 98% 良性先验主导,macro-F1 仅 0.295,改用简单阈值决策引擎后提升到 0.489 且不损失准确率。数据集已公开。

  7. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    ContractWarden:用人类授权契约在内核层为 AI Agent 划定损害边界

    ContractWarden 是一个 Linux 参考监视器,通过人类授权的契约在内核层为 AI Agent 划定损害边界,不信任 Agent 本身或其策略建议。模型可以提出 allow、deny 或 no_egress 三态资产契约,但由人类做最终选择;执行门在不可信代码运行前把契约绑定到具体任务,再由基于 eBPF 的 LSM 数据平面执行文件与网络决策,并将 no_egress 沿进程、普通文件、管道、FIFO 和受支持的 Unix-domain socket 单调传播。在 19 项安全测试的 570 次运行中,全部满足预设的返回值与副作用标准。在三项同机文件 I/O 负载上,Linux 6.15 虚拟机中的中位开销为 11.96%–12.89%,物理平台为 35.79%–61.54%,低于所评估的冻结版 ActPlane 基线。

  8. arXiv · 收录 · 原文 论文37

    S³:用多阶段防御提升 LLM 智能体安全

    论文提出 Stage-Specific Safety Skills 抽象,把异构安全设计表示为带明确阶段语义的可复用、可组合组件,并给出自动化转换流程和社区驱动的安全技能库。在此基础上提出 S³ 多阶段防御框架,由 guard agent 编排各阶段安全技能,在智能体工作流的记忆、规划、工具执行等环节做风险检测与缓解。作者同时构建 Multi-Stage Risk Benchmark(MSRB)评估各阶段代表性风险,实验显示 S³ 在安全有效性和效用保持上均优于代表性 SOTA 基线。论文认为阶段特定安全技能可作为构建韧性智能体系统的可扩展、可组合基础。

  9. arXiv · 收录 · 原文 论文33

    互补 LLM 水印如何追踪来源并检测篡改

    针对现有 LLM 水印在保留来源归属的同时可被"搭便车欺骗"篡改关键内容的问题,研究者提出一种同时提供来源证明与篡改证据的水印,在每个生成 token 中共同嵌入一个鲁棒信号和一个脆弱信号。两个信号机制相同但使用独立密钥和不同种子窗口,脆弱信号对读者可见的改动敏感;检测时两个分数构成二维空间,支持 Intact、Tampered、No-Watermark 三种判定。在两个大语言模型和两个提示数据集上,该方法在评测方法中取得最高篡改检测率,同时保持有竞争力的归属鲁棒性和困惑度。

  10. arXiv · 收录 · 原文 论文50

    Tripwire:通过统计认证的安全神经元触发对齐拒答

    Tripwire 是一种免训练防御方法,通过逐神经元假设检验并在错误发现率控制下识别安全特异性神经元,再用效用特异性过滤器排除对模型效用重要的神经元。识别后采用触发式钳制,将选定神经元固定在有害条件下的平均激活值上,注入内部有害输入信号以触发对齐阶段学到的拒答行为。该钳制有两种可证明等价的部署方式,即检测器门控的推理时干预和离线 bias-patch 权重编辑。在四个安全对齐 LLM 和四类代表性攻击上的实验显示,Tripwire 将平均攻击成功率降至最高 2.0%,在 MT-Bench 上的效用损失仅为 0.5% 至 5.3%,为所有防御方法中最小。代码已公开。

  11. arXiv · 收录 · 原文 论文43

    RACER:面向多模态大模型后门的区域感知一致性修复框架

    论文提出 RACER,一个模型级的多模态大模型后门修复框架,通过抑制内部表征的层级不一致异常来从源头移除后门。作者观察到后门会在内部表征中引发层级间演化异常,即层级不一致异常,且该异常与模态相关,主要集中在编码触发特征的 token 区域。RACER 据此把融合表征拆分为视觉与文本 token 区域,分别归一化其层级不一致性,再在深层窗口内以模态感知权重重组,形成区域感知的不一致目标,并通过 min-max 优化合成最坏情况扰动、对扰动做对抗微调来修复模型。该方法只需 100 条干净样本,不需要知道触发器、攻击目标,甚至不需要知道输入模型是否含后门。

  12. arXiv · 收录 · 原文 论文43

    AdaGuard:支持用户自定义策略的自适应护栏模型

    作者提出 AdaGuard,一组 0.6B、4B 和 8B 的护栏模型,可在推理时按用户提供的策略评估 Agent 轨迹是否违规。为支持这一能力,作者构建 AdaptiveSafety 数据集,包含 10,939 条训练样本和 1,000 条测试样本,覆盖 1 至 100 条规则的策略,并结合策略与行为反事实,为每条样本配解释和完整违规规则集合。训练方法 SafePO 是一种强化学习算法,用结构化奖励评估预测正确性,在响应层面保留组相对优势,并用单独训练的价值模型调节解释与判定区域的 token 权重。4B 模型在 AdaptiveSafety 上二分类准确率为 89.30%,在 DynaBench 上为 71.82%。

  13. arXiv · 收录 · 原文 论文22

    DenMark:面向扩散语言模型的鲁棒语义水印

    DenMark 是面向扩散语言模型(DLM)的语义水印框架,将密钥相关信号直接注入去噪过程。它把输出划分为固定 token 区域,用临时 rollout 作为语义前瞻,估计未完成区域的最终语义,从而优先选择语义水印得分更高的局部更新,并在检测时通过校准扫描候选单元尺寸应对语义攻击带来的边界偏移。在 4 个 DLM、3 个数据集和 4 种语义攻击共 48 种组合中,DenMark 在所有检测指标上均取得最佳结果。

  14. arXiv:后门、投毒与隐私 · 收录 · 原文 论文15

    DP-BR-FedAvg:面向银行与医疗的差分隐私拜占庭鲁棒联邦学习框架

    针对联邦学习中参数更新泄露隐私与恶意客户端投毒两大问题,研究者提出 DP-BR-FedAvg 框架,将高斯机制差分隐私层与逐坐标截断均值拜占庭鲁棒聚合规则结合,在模拟跨机构欺诈与临床风险评分任务上评估。在 20 个客户端、其中四分之一为拜占庭节点、共 60 轮通信的设置下,FedAvg 在少数类上崩溃(F1 仅 0.030),该框架恢复至 F1 0.119,同时限制单个客户端贡献的隐私损失。无隐私层的拜占庭鲁棒聚合器原始准确率最高,量化了隐私对鲁棒性的代价,表明两类机制是相互作用而非简单叠加。

  15. arXiv:后门、投毒与隐私 · 收录 · 原文 论文37

    TRIM:面向多种后门触发器的黑盒检测与净化方法

    研究者提出 TRIM(Trigger Removal by Identifying Manipulated Regions),一种面向部署的黑盒后门防御方法,可在推理时检测并选择性移除后门触发器,无需模型内部信息、训练数据或干净样本。TRIM 通过基于区域的分割与深度特征表示、结合 inpainting 和扩散模型重建的自适应触发器发现,以及选择性区域净化三个组件,在不假设触发器类型、形状或位置的前提下定位导致误分类的区域并只净化这些区域。为便于部署,TRIM 还缓存已识别触发器的特征嵌入,避免重复检测与净化。

  16. arXiv:后门、投毒与隐私 · 收录 · 原文 论文39

    FedMAST:用多轴结构痕迹检测并遏制联邦学习后门

    作者提出 FedMAST,一种面向联邦学习的多轴结构痕迹后门检测与遏制防御,对客户端提交的更新从结构、谱和历史三类互补证据打分,再做分层过滤与轮级遏制。方法引入 squeeze-pair 一致性评分以暴露耦合特征畸变,并用带符号的谱漂移跟踪捕捉持续的方向性变化。在六种后门攻击、九组对比中,FedMAST 的攻击成功率均低于基线,完整 200 轮运行平均 ASR 为 1.51%、主任务准确率 94.84%。

  17. arXiv · 收录 · 原文 论文42

    RAPID:面向文生图服务的实时防未授权蒸馏防御

    RAPID 是一种针对文生图服务的实时防御方法,用于阻止攻击者通过黑盒查询收集提示词-图像对来训练未授权的替代模型。现有基于扰动的方法需要逐样本优化,带来大量计算和延迟,影响在线服务可用性;作者尝试把防御扰动集成进 VAE 解码器,但发现逐样本目标难以迁移到共享解码器场景,因为共享解码器造成的潜空间偏移明显更小。RAPID 采用自参考的潜空间最大化框架,去除外部依赖,让同一次模型更新在不同训练样本上产生一致的破坏效果,并用重建引导的颜色正则化阻断潜空间捷径。在四个文生图模型和四个数据集上,与五个代表性基线对比,RAPID 在保持服务视觉保真度的同时持续降低替代模型的生成质量。

  18. arXiv · 收录 · 原文 论文20

    VisER:面向 LVLM 物体幻觉检测的视觉证据与视觉依赖双面指标

    VisER 是一种免训练的双面指标,用于大视觉语言模型(LVLM)的物体级幻觉检测,通过 Visual Evidence 衡量物体与上下文的兼容性是否有图像 token 的物体专属证据支撑,通过 Visual Reliance 衡量物体更多由图像而非已生成文本前缀支持,两者结合得到更关注来源的 grounding 分数,且无需额外的物体级验证生成。在多个 LVLM 和基准上,VisER 的 AUROC 与 AUPR 均优于一系列基线。该工作已被 EMNLP 2026 主会接收。

  19. arXiv:后门、投毒与隐私 · 收录 · 原文 论文29

    面向后门攻击下持续学习的鲁棒动态扩展:净化与选择性恢复

    针对增量任务中混入少量后门投毒样本的持续学习场景(CLUBA),研究者提出一个融合样本净化、选择性恢复与鲁棒专家路由的动态扩展框架。其中 Bi-Prototype Purification(BPP)利用特征空间语义差异识别可疑样本,Gradient Discrepancy-based Robustness Optimization(GDBRO)通过伪标签纠正与梯度一致性评估选择性恢复含信息量的投毒样本,Robust Feature Consistency-based Expert Selection(RFCBES)构建扰动感知类原型以支持受损输入下的专家路由。该工作旨在同时缓解灾难性遗忘、保持适应能力并阻止模型吸收恶意监督。

  20. arXiv:后门、投毒与隐私 · 收录 · 原文 论文22

    VERITAS:抗投毒的本地差分隐私图学习协议

    针对本地差分隐私(LDP)图学习协议易受数据投毒攻击的问题,研究者提出抗投毒协议 VERITAS,采用"信任但验证"范式。该协议在用户侧引入编码分级信任等级的验证列表,对节点特征与图结构联合私有化,并在服务端利用双向证明不对称性识别和剪除恶意节点,流程包括本地数据扰动、证明驱动的恶意节点剪枝、双重去噪恢复效用和鲁棒隐私图学习四个阶段。在四个真实基准数据集、多种 LDP 机制与 GNN 架构上的实验显示,VERITAS 能有效防御数据投毒攻击,并在严格隐私保证下显著提升下游图学习效用。

  21. arXiv · 收录 · 原文 论文50

    EvoSafeHarness:为 Agent 自动演化模型与领域专属安全护栏

    EvoSafeHarness 是一个面向 LLM Agent 的安全优化框架,可为冻结模型在目标领域合成可部署的安全护栏,同时抵御间接提示注入和直接有害请求。它联合搜索自然语言策略与可执行代码逻辑,依据模型行为、领域规范和全新上下文的对抗审查来剔除只针对特定基准的规则。在 DecodingTrust-Agent 上,平均攻击成功率从 45.6% 降至 10.0%,效用仅损失 3.3 个百分点,15 个单元格中 14 个取得最佳成绩;在 AgentDojo 上以 0.0% ASR 达到 82.8% 效用,同一工作点下效用为 CaMeL 的两倍,并可原样迁移到未见过的 AgentDyn 套件。

  22. arXiv:后门、投毒与隐私 · 收录 · 原文 论文35

    Adaptive Diffusion Freezing:抵御成员推理攻击的隐私保护扩散模型

    针对扩散模型训练中的成员推理攻击(MIA)隐私风险,研究者提出隐私保护框架 Adaptive Diffusion Freezing(ADF)。该方法通过跨时间步自适应冻结训练,用掩码矩阵控制不同数据子集在各扩散时间步的参与,并基于预训练的风险感知冻结策略抑制高 MIA 风险子集-时间步对的贡献,从而减少过度记忆。在多个数据集上,ADF 取得了优于多种基线的隐私-效用-效率权衡表现。

  23. arXiv:后门、投毒与隐私 · 收录 · 原文 论文15

    基于神经形态时序嵌入与混合 SNN-XGBoost 的工业信息物理系统鲁棒分类:面向机器遗忘攻击

    研究提出一种混合 SNN 与 XGBoost 架构,用脉冲神经网络做固定时序特征提取器、仅重训 XGBoost 分类器,以提升电力系统入侵检测对机器遗忘攻击的鲁棒性。在两个真实电力系统数据集上,Synchrophasor 达 99.9% 准确率(F1-macro 0.999),MSU/ORNL 达 95.0% 准确率(F1-macro 0.943)。在选择性标签翻转攻击下,10% 投毒时 F1-macro 仅下降 0.9%,目标类崩溃阈值从 60% 投毒推迟到 70%。

  24. arXiv · 收录 · 原文 论文46

    HazardAuditor:面向计算机使用 Agent 的执行级安全护栏框架

    HazardAuditor 是一个执行级安全框架,用于为计算机使用 Agent 提供护栏监督。现有护栏模型面向静态提示词与回复,难以适配 Agent 执行过程;现有可执行安全平台只产出评测结论,无法提供跨框架训练所需的归一化监督。该框架在受控环境中运行 Claude Code、Codex、Hermes 和 OpenClaw 等异构 Agent,把交互归一化为统一事件表示以支持跨框架监督。作者指出 token 级后训练目标会让较长的理由文本主导梯度更新,并提出 Guard Policy Optimization(GuardPO),将确定性安全结果转为序列级优势并归一化理由与判定区域,使安全决策成为优化单元。

  25. arXiv:后门、投毒与隐私 · 收录 · 原文 论文16

    基于 Hessian 分析的相关性引导快速机器遗忘

    一种面向网络与分布式安全系统的机器遗忘框架通过识别训练集中的相关数据点并应用闭式参数更新规则,相比标准影响函数遗忘实现 82 倍墙钟加速,准确率较 SOTA 基线提升 10^-2。该方法借助 Hessian 阻尼保证数值稳定性,在包括 CIFAR-100 与 ResNet-50 在内的七种数据集-架构组合上评估,成员推理攻击成功率为 0.660,tug-of-war 得分为 0.950。

  26. arXiv:后门、投毒与隐私 · 收录 · 原文 论文38

    QPriv-VL:面向视觉语言模型的问题引导 token 裁剪隐私防御

    作者提出 QPriv-VL,一个面向联邦学习、拆分学习和 U 型拆分学习的问题引导隐私感知 token 裁剪框架,在传输前按任务效用与隐私敏感度裁剪视觉 token。其核心是轻量级 Dynamic Threshold Predictor(DTP),在一次前向中同时估计样本级裁剪比例和 token 级保留掩码,结合视觉 patch 与问题嵌入的跨模态相似度,以及来自冻结 DINOv2 特征的敏感度信号,无需敏感度标签即可抑制潜在敏感区域。

  27. arXiv:后门、投毒与隐私 · 收录 · 原文 论文25

    ODPure:通过集成破坏共识实现目标检测后门净化

    ODPure 是一种面向目标检测的输入阶段黑盒后门防御方法,通过破坏-重建-选择(CRS)范式净化输入,无需丢弃恶意数据或模型即可维持稳定的感知流。该方法利用多种破坏方式中和触发器、生成大量冗余候选框,再借助生成先验恢复细粒度结构线索,最后通过投票对检测结果达成共识。实验表明,ODPure 能抵御多种后门攻击与触发器类型,同时保持基线精度。

  28. arXiv:后门、投毒与隐私 · 收录 · 原文 论文32

    CLIPGuard:针对 CLIP 嵌入空间隐蔽后门的区域级黑盒防御

    CLIPGuard 是一种轻量、完全黑盒的防御方法,通过测量分段嵌入扰动定位恶意区域,并仅对可疑片段做语义修复,以抵御 CLIP 嵌入空间后门攻击。在 STL-10、ImageNet 及 BadCLIP、BadNets、blended、patch-based、typographic 等触发家族上,该方法将攻击成功率降至最低 1.05%,干净准确率最高保持 86.34%,持续优于 CleanCLIP 和 CleanerCLIP 等黑盒防御。

  29. arXiv:危险能力与安全评测 · 收录 · 原文 论文42

    REINS:用 SAE 特征同时抑制有害续写并增强拒答的引导方法

    论文提出 REINS(Refusal-Enhanced INhibitory Steering),在同一个 SAE 特征空间内抑制有害续写特征、增强安全拒答特征,用于推理阶段的行为引导。作者同时构建了 GUISE 数据集,由带复杂包装的有害提示组成,用于系统评估这一失效模式。实验显示,既有单方向 SAE 引导方法在有害提示上无法稳定产生拒答,说明仅增强拒答在有害续写路径仍活跃时可能过弱;而先前方法要么干预力度不足,要么通过模型崩塌获得表面安全。在 GUISE 及其他数据集上,REINS 大幅减少有害回复、明显提升安全拒答,并基本保留通用能力。该工作已被 EMNLP 2026 主会接收。

  30. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    DriftNet:双头轨迹 Transformer 检测并定位 LLM Agent 中的提示注入

    Asif Pinjari 提出 DriftNet,一个双头轨迹 Transformer,读取已记录的工具调用轨迹并在一次前向中回答三个问题:轨迹是否被攻陷、攻击从哪一步进入、哪些步骤被劫持,第二个头为每一步打上 benign、injection point、hijacked 或 failed injection 四类标签。该方法用冻结的句子编码器和四个不含身份信息的世界特征嵌入每一步,主干参数量不到两百万,采用类别加权的双头联合目标训练,无需访问 Agent 自身的模型。

  31. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文43

    ActGuard:面向 LLM Agent 间接提示注入的执行前动作审计框架

    ActGuard 是一个执行前动作审计框架,用于防御 LLM Agent 面临的间接提示注入攻击。它不判断外部内容本身是否可疑,而是评估该内容是否使当前动作偏离局部合理的预期:每一步先预测即将使用的工具并构建局部工具先验,再将候选动作与该先验对比,做工具级对比分析和参数级证据定位,识别工具选择与动作参数上的偏离。随后由验证器检查定位到的证据,只遮蔽被确认恶意的片段,并从净化后的上下文重新生成动作,从而保留合法规划灵活性、减少无差别过滤带来的信息损失。在面向工具使用 Agent 的基准上,ActGuard 将攻击成功率降至与当前最优防御相当的水平,同时任务效用接近无攻击设置。代码已公开。

  32. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文43

    研究者提出面向工具集成 LLM Agent 的通用对抗攻击防御方法

    研究者提出一套统一框架下的通用防御策略,用于应对工具集成 LLM Agent 面临的直接提示注入、间接提示注入、记忆投毒和后门攻击四类对抗攻击。方法包含两类基于工具的防御:Attacker Tool Filtering 用异常检测(如 Isolation Forest)识别并移除可疑工具,Normal Tool Recalling 则在规划前以白盒方式恢复 Agent 的原始工具集;同时引入 Chain-of-Thought 提示与自我反思等基于提示的防御,并通过任务改写缓解攻击。

  33. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文55

    可验证行动卡片 VAC:为智能体浏览器提供可信人在回路确认

    论文提出可验证行动卡片(VAC),一种面向智能体浏览器的架构防御,把审批信息从真实待执行的浏览器动作和可信意图来源重建,并在浏览器 chrome 中带外渲染,将批准绑定到派发时重新校验的同一动作。VAC 由五部分组成:来源围栏(C1)、真实动作描述符(C2)、带外默认拒绝卡片(C3)、来源感知风险门控(C4)和执行绑定(C5)。作者在完整的开源智能体浏览器(Electron/Chromium 外壳加 Python agent,经 Chrome DevTools Protocol 驱动)中实现 VAC,并在 24 个场景的基准上评测,覆盖混淆代理表单、Lies-in-the-Loop 对话框伪造、间接提示注入、自适应动作替换、来源规避和合法任务。

    推荐理由论文给出可复现的浏览器端确认机制与跨模型评测,做 Agent 权限与确认界面设计的团队可参考其架构取舍。

  34. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文43

    Provenance-Aware Transformers:用来源感知架构分离可信边界以防御间接提示注入

    论文提出 Provenance-Aware Transformers,一种让应用提供的来源标签在模型内部生效的防御方法,用于应对大语言模型的间接提示注入问题。作者指出标准 Transformer 缺乏来源权威性的架构概念,检索文档、用户输入与系统指令都经过同一套注意力机制处理,模型只能从措辞推断该服从什么、该把什么当作数据。该方法为每个输入 token 分配编码其来源的 ring ID,并加入 origin embedding、可学习的 origin attention bias 和可学习的 origin scale,以在归一化过程中保留来源信息,从而在生成时对权威与非权威来源施加结构性边界。

  35. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文24

    当智能体信任跨越组织边界:结构外化与信任证据参考模型

    论文提出 Trustworthiness as a Service(TaaS),用于解决智能体跨组织边界调用工具、服务与其他智能体时,依赖方无法仅凭生产域控制与记录评估被委托动作的问题。其分析单元为跨域依赖命题,通过三条件结构外化诊断识别需多域依赖、生产方独立验证且须在撤销、失败、记录冲突或争议后仍可复核的命题,并为此设计不可变工作流清单与仅追加、发行方可归属的信任证据信封。论文还给出拓扑中立的逻辑参考模型,并以三个分析场景和 TaaS-Eval 协议提案定义清单、独立消费者、硬门控、对抗性证据测试与指标。

  36. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    ActGov:用策略约束校验治理 LLM Agent 的工具动作

    ActGov 是一个运行时执行框架,在 LLM 提出的每个工具动作产生外部影响前先做校验。它基于授权、动作、运行时上下文与安全约束的统一语义模型:ActGov-Policy 从工具规格、良性任务和已观测的失败轨迹中迭代构建策略集,每次更新都用基于 SMT 的反例检查验证;ActGov-Runtime 在运行时把每次工具调用抽象为有限策略记录,只有当调用处于任务范围内的授权边界内且满足所有适用策略时才放行。作者在 AgentDojo 和 AgentDyn 两个基准上跨多个模型和攻击配置做了评测,称 ActGov 在保持任务效用的同时持续降低间接提示注入攻击的成功率,明显优于现有防御,且不依赖底层 LLM 正确识别恶意指令。

  37. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文43

    skilder:以角色化技能包为工具型 LLM 智能体做访问控制

    作者提出 skilder 框架,把能力打包成角色,即技能、工具、指令及其边界的组合,智能体从最小角色目录起步,按任务需要学习角色,并通过单一 MCP server 获取该角色的技能、指令和工具。由于工具只在已学到的技能内到达智能体,同一 server 可确定性地执行所学范围。作者在 13 项任务、6 个模型、每个 10 次运行的设置下,将 skilder 与扁平上下文工具选择和多智能体编排对比;结果显示,当模型完成发现流程并发出受治理调用时,skilder 的模拟授权层未执行任何未授权工具调用或参数违规,例如超支。总体任务通过率还反映各模型是否遵循发现协议并通过回答质量检查,这些未通过不属于授权失败。

  38. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文15

    基于区块链的 Agentic AI 框架:面向安全软件供应链的资源优化与能耗感知

    该论文提出一个区块链支撑的 Agentic 安全框架,用于保护完整软件开发生命周期并保障负责监控的 AI 智能体本身。框架协调源码完整性、依赖与 SBOM 分析、CI 配置审计、制品验证和运行时策略评估等专用安全智能体,每个智能体由 LLM 驱动生成结构化安全报告,并通过智能合约将加密签名的证明记录到许可链的智能体注册表、不可篡改证明日志和可执行发布策略模块中。智能体与区块链节点间通信由联盟运营的证书颁发机构保障,用例演示了源码安全智能体如何上链证明并触发可验证的允许/阻止部署决策。

  39. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文46

    AEGIS:用内部信号在中间层拦截大型音频语言模型越狱

    论文提出 AEGIS,一种针对大型音频语言模型(LALM)音频越狱的检测后干预防御方法。逐层探针显示,风险相关信息在中间层表示中仍可解码,但内部风险信号未能在后续层转化为拒答,作者将这一差异称为风险到拒答的缺口。AEGIS 据此在中间层设置风险门控,选择性激活下游安全适配器。在六个 LALM 和三个异构音频越狱基准上,AEGIS 将平均不安全率从 17.9% 降至 0.4%,对良性输入的过度拒答仅有小幅上升。代码已公开,论文投稿至 ICASSP 2027。

  40. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文41

    研究者提出面向邮件 Agent 的攻击链建模提示注入检测框架

    研究者提出一种面向 LLM 邮件助手的提示注入检测框架,把攻击建模为分阶段链条,而非单纯的恶意文本二分类。该框架结合文本检测器、各阶段专用验证器、显式规则风险信号、用户意图与动作一致性分析以及 logistic 决策策略,并从提示注入数据集中推导出攻击链标签。在随机划分、时间阶段迁移、条件阶段迁移、跨数据集迁移和消融实验中,结果显示随机训练测试划分会明显高估分布偏移下的鲁棒性,框架中较晚的工具参数阶段比早期阶段更易预测。在五个二分类基准上,该框架在严格阈值策略下平均 F1 为 0.406,而五个未额外训练的预训练检测器中最强者为 0.216。研究还表明,用与攻击相似的无害邮件训练有助于降低误报,同时保留检测真实攻击的能力。