全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：后门、投毒与隐私
VERITAS：抗投毒的本地差分隐私图学习协议
针对本地差分隐私（LDP）图学习协议易受数据投毒攻击的问题，研究者提出抗投毒协议 VERITAS，采用"信任但验证"范式。该协议在用户侧引入编码分级信任等级的验证列表，对节点特征与图结构联合私有化，并在服务端利用双向证明不对称性识别和剪除恶意节点，流程包括本地数据扰动、证明驱动的恶意节点剪枝、双重去噪恢复效用和鲁棒隐私图学习四个阶段。在四个真实基准数据集、多种 LDP 机制与 GNN 架构上的实验显示，VERITAS 能有效防御数据投毒攻击，并在严格隐私保证下显著提升下游图学习效用。
- 论文arXiv：后门、投毒与隐私
Adaptive Diffusion Freezing：抵御成员推理攻击的隐私保护扩散模型
针对扩散模型训练中的成员推理攻击（MIA）隐私风险，研究者提出隐私保护框架 Adaptive Diffusion Freezing（ADF）。该方法通过跨时间步自适应冻结训练，用掩码矩阵控制不同数据子集在各扩散时间步的参与，并基于预训练的风险感知冻结策略抑制高 MIA 风险子集-时间步对的贡献，从而减少过度记忆。在多个数据集上，ADF 取得了优于多种基线的隐私-效用-效率权衡表现。
- 论文arXiv：后门、投毒与隐私
基于神经形态时序嵌入与混合 SNN-XGBoost 的工业信息物理系统鲁棒分类：面向机器遗忘攻击
研究提出一种混合 SNN 与 XGBoost 架构，用脉冲神经网络做固定时序特征提取器、仅重训 XGBoost 分类器，以提升电力系统入侵检测对机器遗忘攻击的鲁棒性。在两个真实电力系统数据集上，Synchrophasor 达 99.9% 准确率（F1-macro 0.999），MSU/ORNL 达 95.0% 准确率（F1-macro 0.943）。在选择性标签翻转攻击下，10% 投毒时 F1-macro 仅下降 0.9%，目标类崩溃阈值从 60% 投毒推迟到 70%。
- 论文arXiv
HazardAuditor：面向计算机使用 Agent 的执行级安全护栏框架
HazardAuditor 是一个执行级安全框架，用于为计算机使用 Agent 提供护栏监督。现有护栏模型面向静态提示词与回复，难以适配 Agent 执行过程；现有可执行安全平台只产出评测结论，无法提供跨框架训练所需的归一化监督。该框架在受控环境中运行 Claude Code、Codex、Hermes 和 OpenClaw 等异构 Agent，把交互归一化为统一事件表示以支持跨框架监督。作者指出 token 级后训练目标会让较长的理由文本主导梯度更新，并提出 Guard Policy Optimization（GuardPO），将确定性安全结果转为序列级优势并归一化理由与判定区域，使安全决策成为优化单元。
- 论文arXiv：后门、投毒与隐私
基于 Hessian 分析的相关性引导快速机器遗忘
一种面向网络与分布式安全系统的机器遗忘框架通过识别训练集中的相关数据点并应用闭式参数更新规则，相比标准影响函数遗忘实现 82 倍墙钟加速，准确率较 SOTA 基线提升 10^-2。该方法借助 Hessian 阻尼保证数值稳定性，在包括 CIFAR-100 与 ResNet-50 在内的七种数据集-架构组合上评估，成员推理攻击成功率为 0.660，tug-of-war 得分为 0.950。
- 论文arXiv：后门、投毒与隐私
QPriv-VL：面向视觉语言模型的问题引导 token 裁剪隐私防御
作者提出 QPriv-VL，一个面向联邦学习、拆分学习和 U 型拆分学习的问题引导隐私感知 token 裁剪框架，在传输前按任务效用与隐私敏感度裁剪视觉 token。其核心是轻量级 Dynamic Threshold Predictor（DTP），在一次前向中同时估计样本级裁剪比例和 token 级保留掩码，结合视觉 patch 与问题嵌入的跨模态相似度，以及来自冻结 DINOv2 特征的敏感度信号，无需敏感度标签即可抑制潜在敏感区域。
- 论文arXiv：后门、投毒与隐私
ODPure：通过集成破坏共识实现目标检测后门净化
ODPure 是一种面向目标检测的输入阶段黑盒后门防御方法，通过破坏-重建-选择（CRS）范式净化输入，无需丢弃恶意数据或模型即可维持稳定的感知流。该方法利用多种破坏方式中和触发器、生成大量冗余候选框，再借助生成先验恢复细粒度结构线索，最后通过投票对检测结果达成共识。实验表明，ODPure 能抵御多种后门攻击与触发器类型，同时保持基线精度。
- 论文arXiv：后门、投毒与隐私
CLIPGuard：针对 CLIP 嵌入空间隐蔽后门的区域级黑盒防御
CLIPGuard 是一种轻量、完全黑盒的防御方法，通过测量分段嵌入扰动定位恶意区域，并仅对可疑片段做语义修复，以抵御 CLIP 嵌入空间后门攻击。在 STL-10、ImageNet 及 BadCLIP、BadNets、blended、patch-based、typographic 等触发家族上，该方法将攻击成功率降至最低 1.05%，干净准确率最高保持 86.34%，持续优于 CleanCLIP 和 CleanerCLIP 等黑盒防御。
- 论文arXiv：危险能力与安全评测
REINS：用 SAE 特征同时抑制有害续写并增强拒答的引导方法
论文提出 REINS（Refusal-Enhanced INhibitory Steering），在同一个 SAE 特征空间内抑制有害续写特征、增强安全拒答特征，用于推理阶段的行为引导。作者同时构建了 GUISE 数据集，由带复杂包装的有害提示组成，用于系统评估这一失效模式。实验显示，既有单方向 SAE 引导方法在有害提示上无法稳定产生拒答，说明仅增强拒答在有害续写路径仍活跃时可能过弱；而先前方法要么干预力度不足，要么通过模型崩塌获得表面安全。在 GUISE 及其他数据集上，REINS 大幅减少有害回复、明显提升安全拒答，并基本保留通用能力。该工作已被 EMNLP 2026 主会接收。
- 论文arXiv：危险能力与安全评测
SEAV：面向大语言模型越狱评测的有效性验证框架
研究者提出 SEAV（Sequential Epistemic and Action-Level Validation），一个以验证为中心的越狱评测框架，把模型回复拆解为有序步骤，同时评估有效性与正确性，结合 LLM-as-a-judge 做语义解释和基于外部知识源的检索验证，判断生成内容是否事实正确、结构一致且能实际推进有害目标。作者指出既有评测依赖拒答行为、语义相似度和意图匹配启发式，偏重语言可信度而非正确性，导致看似合理但事实或流程错误的回复被标为越狱成功。
- 论文arXiv：危险能力与安全评测
TIER：评估 LLM 安全行为的威胁隐晦度基准
研究者提出 TIER，一个用于评估 LLM 行为安全的威胁隐晦度基准，覆盖四个风险领域和四个威胁等级，从显式有害请求到复杂越狱。该基准用六标签行为量表和两个独立 LLM 评判器评估回答。在六个开源权重 LLM 上的实验显示，安全行为随威胁等级逐渐演变，而非直接从拒答跳到顺从；上下文类提示词产生最多样的行为，越狱则暴露最大的鲁棒性差距。攻击成功率相近的模型也可能呈现不同的回答分布，说明需要行为感知的 LLM 安全评测。
- 论文arXiv：Agent 与 MCP 安全
DriftNet：双头轨迹 Transformer 检测并定位 LLM Agent 中的提示注入
Asif Pinjari 提出 DriftNet，一个双头轨迹 Transformer，读取已记录的工具调用轨迹并在一次前向中回答三个问题：轨迹是否被攻陷、攻击从哪一步进入、哪些步骤被劫持，第二个头为每一步打上 benign、injection point、hijacked 或 failed injection 四类标签。该方法用冻结的句子编码器和四个不含身份信息的世界特征嵌入每一步，主干参数量不到两百万，采用类别加权的双头联合目标训练，无需访问 Agent 自身的模型。
- 论文arXiv：Agent 与 MCP 安全
ActGuard：面向 LLM Agent 间接提示注入的执行前动作审计框架
ActGuard 是一个执行前动作审计框架，用于防御 LLM Agent 面临的间接提示注入攻击。它不判断外部内容本身是否可疑，而是评估该内容是否使当前动作偏离局部合理的预期：每一步先预测即将使用的工具并构建局部工具先验，再将候选动作与该先验对比，做工具级对比分析和参数级证据定位，识别工具选择与动作参数上的偏离。随后由验证器检查定位到的证据，只遮蔽被确认恶意的片段，并从净化后的上下文重新生成动作，从而保留合法规划灵活性、减少无差别过滤带来的信息损失。在面向工具使用 Agent 的基准上，ActGuard 将攻击成功率降至与当前最优防御相当的水平，同时任务效用接近无攻击设置。代码已公开。
- 论文arXiv：Agent 与 MCP 安全
研究者提出面向工具集成 LLM Agent 的通用对抗攻击防御方法
研究者提出一套统一框架下的通用防御策略，用于应对工具集成 LLM Agent 面临的直接提示注入、间接提示注入、记忆投毒和后门攻击四类对抗攻击。方法包含两类基于工具的防御：Attacker Tool Filtering 用异常检测（如 Isolation Forest）识别并移除可疑工具，Normal Tool Recalling 则在规划前以白盒方式恢复 Agent 的原始工具集；同时引入 Chain-of-Thought 提示与自我反思等基于提示的防御，并通过任务改写缓解攻击。
- 论文arXiv：Agent 与 MCP 安全
可验证行动卡片 VAC：为智能体浏览器提供可信人在回路确认
论文提出可验证行动卡片（VAC），一种面向智能体浏览器的架构防御，把审批信息从真实待执行的浏览器动作和可信意图来源重建，并在浏览器 chrome 中带外渲染，将批准绑定到派发时重新校验的同一动作。VAC 由五部分组成：来源围栏（C1）、真实动作描述符（C2）、带外默认拒绝卡片（C3）、来源感知风险门控（C4）和执行绑定（C5）。作者在完整的开源智能体浏览器（Electron/Chromium 外壳加 Python agent，经 Chrome DevTools Protocol 驱动）中实现 VAC，并在 24 个场景的基准上评测，覆盖混淆代理表单、Lies-in-the-Loop 对话框伪造、间接提示注入、自适应动作替换、来源规避和合法任务。
- 论文arXiv：Agent 与 MCP 安全
Provenance-Aware Transformers：用来源感知架构分离可信边界以防御间接提示注入
论文提出 Provenance-Aware Transformers，一种让应用提供的来源标签在模型内部生效的防御方法，用于应对大语言模型的间接提示注入问题。作者指出标准 Transformer 缺乏来源权威性的架构概念，检索文档、用户输入与系统指令都经过同一套注意力机制处理，模型只能从措辞推断该服从什么、该把什么当作数据。该方法为每个输入 token 分配编码其来源的 ring ID，并加入 origin embedding、可学习的 origin attention bias 和可学习的 origin scale，以在归一化过程中保留来源信息，从而在生成时对权威与非权威来源施加结构性边界。
- 论文arXiv：Agent 与 MCP 安全
特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent
特拉维夫大学研究者提出爆炸性提示词（explosive prompt），一种把恶意载荷写成条件语句、在攻击者选定的触发词出现前保持休眠的间接提示注入形式，无需训练即可在推理时植入单条检索内容。在 896 对配对样本上，同一恶意目标改为休眠条件式后，在拒绝直接指令的前沿模型上仍能触发真实工具调用，Grok-4.20 从 0.0% 升至 34.2%，Llama-3.1-70B 从 0.1% 升至 26.1%，七款模型配对均值 16.5% 对 2.4%。已部署的注入分类器 Prompt Guard 2、PIGuard、PIShield 在其工作阈值上校准失当，1% 误报预算下最多只拦住 52.7%；偏好优化模型 SecAlign 完全阻断直接注入，却仍执行 11.8% 的爆炸性提示词，且全部在触发轮触发。
- 论文arXiv：Agent 与 MCP 安全
可信智能体 AI：基于 LLM 的自主系统失效模式、缓解策略与 TADL 生命周期框架
一篇 arXiv 综述梳理了基于大语言模型的智能体 AI 在安全与运维上的五类可信维度：安全与鲁棒性、对齐与人类监督、透明度与可审计性、隐私与数据治理、监管合规。文章把间接提示注入、后门触发、目标泛化错误、记忆污染和跨会话数据泄露等失效模式归入统一分类，并评估指令层级、上下文隔离、spotlighting、过程监督、受限工具使用和隐私保护记忆等缓解手段，区分有实证支持与仍属概念性的方法。作者据此提出六阶段 Trustworthy Agent Development Lifecycle（TADL），覆盖规格、设计、训练、评估、部署与监控，但该框架尚未经实证验证。
- 论文arXiv：Agent 与 MCP 安全
当智能体信任跨越组织边界：结构外化与信任证据参考模型
论文提出 Trustworthiness as a Service（TaaS），用于解决智能体跨组织边界调用工具、服务与其他智能体时，依赖方无法仅凭生产域控制与记录评估被委托动作的问题。其分析单元为跨域依赖命题，通过三条件结构外化诊断识别需多域依赖、生产方独立验证且须在撤销、失败、记录冲突或争议后仍可复核的命题，并为此设计不可变工作流清单与仅追加、发行方可归属的信任证据信封。论文还给出拓扑中立的逻辑参考模型，并以三个分析场景和 TaaS-Eval 协议提案定义清单、独立消费者、硬门控、对抗性证据测试与指标。
- 论文arXiv：Agent 与 MCP 安全
ActGov：用策略约束校验治理 LLM Agent 的工具动作
ActGov 是一个运行时执行框架，在 LLM 提出的每个工具动作产生外部影响前先做校验。它基于授权、动作、运行时上下文与安全约束的统一语义模型：ActGov-Policy 从工具规格、良性任务和已观测的失败轨迹中迭代构建策略集，每次更新都用基于 SMT 的反例检查验证；ActGov-Runtime 在运行时把每次工具调用抽象为有限策略记录，只有当调用处于任务范围内的授权边界内且满足所有适用策略时才放行。作者在 AgentDojo 和 AgentDyn 两个基准上跨多个模型和攻击配置做了评测，称 ActGov 在保持任务效用的同时持续降低间接提示注入攻击的成功率，明显优于现有防御，且不依赖底层 LLM 正确识别恶意指令。
- 论文arXiv：Agent 与 MCP 安全
skilder：以角色化技能包为工具型 LLM 智能体做访问控制
作者提出 skilder 框架，把能力打包成角色，即技能、工具、指令及其边界的组合，智能体从最小角色目录起步，按任务需要学习角色，并通过单一 MCP server 获取该角色的技能、指令和工具。由于工具只在已学到的技能内到达智能体，同一 server 可确定性地执行所学范围。作者在 13 项任务、6 个模型、每个 10 次运行的设置下，将 skilder 与扁平上下文工具选择和多智能体编排对比；结果显示，当模型完成发现流程并发出受治理调用时，skilder 的模拟授权层未执行任何未授权工具调用或参数违规，例如超支。总体任务通过率还反映各模型是否遵循发现协议并通过回答质量检查，这些未通过不属于授权失败。
- 论文arXiv：Agent 与 MCP 安全
基于区块链的 Agentic AI 框架：面向安全软件供应链的资源优化与能耗感知
该论文提出一个区块链支撑的 Agentic 安全框架，用于保护完整软件开发生命周期并保障负责监控的 AI 智能体本身。框架协调源码完整性、依赖与 SBOM 分析、CI 配置审计、制品验证和运行时策略评估等专用安全智能体，每个智能体由 LLM 驱动生成结构化安全报告，并通过智能合约将加密签名的证明记录到许可链的智能体注册表、不可篡改证明日志和可执行发布策略模块中。智能体与区块链节点间通信由联盟运营的证书颁发机构保障，用例演示了源码安全智能体如何上链证明并触发可验证的允许/阻止部署决策。
- 论文arXiv：越狱、提示注入、投毒与防御
AEGIS：用内部信号在中间层拦截大型音频语言模型越狱
论文提出 AEGIS，一种针对大型音频语言模型（LALM）音频越狱的检测后干预防御方法。逐层探针显示，风险相关信息在中间层表示中仍可解码，但内部风险信号未能在后续层转化为拒答，作者将这一差异称为风险到拒答的缺口。AEGIS 据此在中间层设置风险门控，选择性激活下游安全适配器。在六个 LALM 和三个异构音频越狱基准上，AEGIS 将平均不安全率从 17.9% 降至 0.4%，对良性输入的过度拒答仅有小幅上升。代码已公开，论文投稿至 ICASSP 2027。
- 论文arXiv：越狱、提示注入、投毒与防御
研究者提出面向邮件 Agent 的攻击链建模提示注入检测框架
研究者提出一种面向 LLM 邮件助手的提示注入检测框架，把攻击建模为分阶段链条，而非单纯的恶意文本二分类。该框架结合文本检测器、各阶段专用验证器、显式规则风险信号、用户意图与动作一致性分析以及 logistic 决策策略，并从提示注入数据集中推导出攻击链标签。在随机划分、时间阶段迁移、条件阶段迁移、跨数据集迁移和消融实验中，结果显示随机训练测试划分会明显高估分布偏移下的鲁棒性，框架中较晚的工具参数阶段比早期阶段更易预测。在五个二分类基准上，该框架在严格阈值策略下平均 F1 为 0.406，而五个未额外训练的预训练检测器中最强者为 0.216。研究还表明，用与攻击相似的无害邮件训练有助于降低误报，同时保留检测真实攻击的能力。