全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：后门、投毒与隐私
研究重新审视后门修复评测：区分总体干净效用与良性性能保持
论文提出后门修复评测不应只看攻击成功率（ASR）和总体干净准确率，因为总体准确率会掩盖集中在部分标签空间上的性能退化。作者从保持视角区分总体干净效用与原有类别性能的保持，通过比较修复前后的干净性能定义类别级保持损失，并指出聚合会通过局部损失稀释和跨类别补偿隐藏局部退化。为此论文引入最差类别保持损失和尾部保持损失来刻画局部保持损失，并在代表性后门攻击、修复方法、数据集、攻击目标和模型架构上开展系统实证研究，另在干净标签攻击下做了验证。结果显示，有效抑制攻击和良好的总体干净性能并不必然意味着各类别原有良性性能被均匀保持，修复后仍可能存在明显的局部保持损失，其严重程度和类别结构随修复条件变化。
- 论文arXiv：后门、投毒与隐私
ODPure：通过集成破坏共识实现目标检测后门净化
ODPure 是一种面向目标检测的输入阶段黑盒后门防御方法，通过破坏-重建-选择（CRS）范式净化输入，无需丢弃恶意数据或模型即可维持稳定的感知流。该方法利用多种破坏方式中和触发器、生成大量冗余候选框，再借助生成先验恢复细粒度结构线索，最后通过投票对检测结果达成共识。实验表明，ODPure 能抵御多种后门攻击与触发器类型，同时保持基线精度。
- 论文arXiv：后门、投毒与隐私
CLIPGuard：针对 CLIP 嵌入空间隐蔽后门的区域级黑盒防御
CLIPGuard 是一种轻量、完全黑盒的防御方法，通过测量分段嵌入扰动定位恶意区域，并仅对可疑片段做语义修复，以抵御 CLIP 嵌入空间后门攻击。在 STL-10、ImageNet 及 BadCLIP、BadNets、blended、patch-based、typographic 等触发家族上，该方法将攻击成功率降至最低 1.05%，干净准确率最高保持 86.34%，持续优于 CleanCLIP 和 CleanerCLIP 等黑盒防御。
- 论文arXiv：危险能力与安全评测
REINS：用 SAE 特征同时抑制有害续写并增强拒答的引导方法
论文提出 REINS（Refusal-Enhanced INhibitory Steering），在同一个 SAE 特征空间内抑制有害续写特征、增强安全拒答特征，用于推理阶段的行为引导。作者同时构建了 GUISE 数据集，由带复杂包装的有害提示组成，用于系统评估这一失效模式。实验显示，既有单方向 SAE 引导方法在有害提示上无法稳定产生拒答，说明仅增强拒答在有害续写路径仍活跃时可能过弱；而先前方法要么干预力度不足，要么通过模型崩塌获得表面安全。在 GUISE 及其他数据集上，REINS 大幅减少有害回复、明显提升安全拒答，并基本保留通用能力。该工作已被 EMNLP 2026 主会接收。
- 论文arXiv：Agent 与 MCP 安全
DriftNet：双头轨迹 Transformer 检测并定位 LLM Agent 中的提示注入
Asif Pinjari 提出 DriftNet，一个双头轨迹 Transformer，读取已记录的工具调用轨迹并在一次前向中回答三个问题：轨迹是否被攻陷、攻击从哪一步进入、哪些步骤被劫持，第二个头为每一步打上 benign、injection point、hijacked 或 failed injection 四类标签。该方法用冻结的句子编码器和四个不含身份信息的世界特征嵌入每一步，主干参数量不到两百万，采用类别加权的双头联合目标训练，无需访问 Agent 自身的模型。
- 论文arXiv：Agent 与 MCP 安全
ActGuard：面向 LLM Agent 间接提示注入的执行前动作审计框架
ActGuard 是一个执行前动作审计框架，用于防御 LLM Agent 面临的间接提示注入攻击。它不判断外部内容本身是否可疑，而是评估该内容是否使当前动作偏离局部合理的预期：每一步先预测即将使用的工具并构建局部工具先验，再将候选动作与该先验对比，做工具级对比分析和参数级证据定位，识别工具选择与动作参数上的偏离。随后由验证器检查定位到的证据，只遮蔽被确认恶意的片段，并从净化后的上下文重新生成动作，从而保留合法规划灵活性、减少无差别过滤带来的信息损失。在面向工具使用 Agent 的基准上，ActGuard 将攻击成功率降至与当前最优防御相当的水平，同时任务效用接近无攻击设置。代码已公开。
- 论文arXiv：Agent 与 MCP 安全
研究者提出面向工具集成 LLM Agent 的通用对抗攻击防御方法
研究者提出一套统一框架下的通用防御策略，用于应对工具集成 LLM Agent 面临的直接提示注入、间接提示注入、记忆投毒和后门攻击四类对抗攻击。方法包含两类基于工具的防御：Attacker Tool Filtering 用异常检测（如 Isolation Forest）识别并移除可疑工具，Normal Tool Recalling 则在规划前以白盒方式恢复 Agent 的原始工具集；同时引入 Chain-of-Thought 提示与自我反思等基于提示的防御，并通过任务改写缓解攻击。
- 论文arXiv：Agent 与 MCP 安全
多智能体 LLM 流水线中的信任传播与结构隔离
研究者在四智能体 LangGraph 流水线（Supervisor、Researcher、Validator、Executor）中评估共享内存投毒和通过检索文档伪造审批的间接提示注入，比较 Validator 判断与基于任务绑定签名 token 和独立策略 oracle 的授权层。在三个随机种子、60 个标注任务中，内存投毒在无防御时每次都能到达执行阶段；启用授权后攻击成功率（JBR）仍为 100%，但 Unsafe Action Rate 为 0%，说明 Validator 可被攻陷而执行仍被隔离。面对持有签名密钥的攻击者，隔离效果来自策略 oracle，独立编写的最小权限策略也能保持该结果。
- 论文arXiv：Agent 与 MCP 安全
可验证行动卡片 VAC：为智能体浏览器提供可信人在回路确认
论文提出可验证行动卡片（VAC），一种面向智能体浏览器的架构防御，把审批信息从真实待执行的浏览器动作和可信意图来源重建，并在浏览器 chrome 中带外渲染，将批准绑定到派发时重新校验的同一动作。VAC 由五部分组成：来源围栏（C1）、真实动作描述符（C2）、带外默认拒绝卡片（C3）、来源感知风险门控（C4）和执行绑定（C5）。作者在完整的开源智能体浏览器（Electron/Chromium 外壳加 Python agent，经 Chrome DevTools Protocol 驱动）中实现 VAC，并在 24 个场景的基准上评测，覆盖混淆代理表单、Lies-in-the-Loop 对话框伪造、间接提示注入、自适应动作替换、来源规避和合法任务。
- 论文arXiv：Agent 与 MCP 安全
Provenance-Aware Transformers：用来源感知架构分离可信边界以防御间接提示注入
论文提出 Provenance-Aware Transformers，一种让应用提供的来源标签在模型内部生效的防御方法，用于应对大语言模型的间接提示注入问题。作者指出标准 Transformer 缺乏来源权威性的架构概念，检索文档、用户输入与系统指令都经过同一套注意力机制处理，模型只能从措辞推断该服从什么、该把什么当作数据。该方法为每个输入 token 分配编码其来源的 ring ID，并加入 origin embedding、可学习的 origin attention bias 和可学习的 origin scale，以在归一化过程中保留来源信息，从而在生成时对权威与非权威来源施加结构性边界。
- 论文arXiv：Agent 与 MCP 安全
当智能体信任跨越组织边界：结构外化与信任证据参考模型
论文提出 Trustworthiness as a Service（TaaS），用于解决智能体跨组织边界调用工具、服务与其他智能体时，依赖方无法仅凭生产域控制与记录评估被委托动作的问题。其分析单元为跨域依赖命题，通过三条件结构外化诊断识别需多域依赖、生产方独立验证且须在撤销、失败、记录冲突或争议后仍可复核的命题，并为此设计不可变工作流清单与仅追加、发行方可归属的信任证据信封。论文还给出拓扑中立的逻辑参考模型，并以三个分析场景和 TaaS-Eval 协议提案定义清单、独立消费者、硬门控、对抗性证据测试与指标。
- 论文arXiv：Agent 与 MCP 安全
ActGov：用策略约束校验治理 LLM Agent 的工具动作
ActGov 是一个运行时执行框架，在 LLM 提出的每个工具动作产生外部影响前先做校验。它基于授权、动作、运行时上下文与安全约束的统一语义模型：ActGov-Policy 从工具规格、良性任务和已观测的失败轨迹中迭代构建策略集，每次更新都用基于 SMT 的反例检查验证；ActGov-Runtime 在运行时把每次工具调用抽象为有限策略记录，只有当调用处于任务范围内的授权边界内且满足所有适用策略时才放行。作者在 AgentDojo 和 AgentDyn 两个基准上跨多个模型和攻击配置做了评测，称 ActGov 在保持任务效用的同时持续降低间接提示注入攻击的成功率，明显优于现有防御，且不依赖底层 LLM 正确识别恶意指令。
- 论文arXiv：Agent 与 MCP 安全
skilder：以角色化技能包为工具型 LLM 智能体做访问控制
作者提出 skilder 框架，把能力打包成角色，即技能、工具、指令及其边界的组合，智能体从最小角色目录起步，按任务需要学习角色，并通过单一 MCP server 获取该角色的技能、指令和工具。由于工具只在已学到的技能内到达智能体，同一 server 可确定性地执行所学范围。作者在 13 项任务、6 个模型、每个 10 次运行的设置下，将 skilder 与扁平上下文工具选择和多智能体编排对比；结果显示，当模型完成发现流程并发出受治理调用时，skilder 的模拟授权层未执行任何未授权工具调用或参数违规，例如超支。总体任务通过率还反映各模型是否遵循发现协议并通过回答质量检查，这些未通过不属于授权失败。
- 论文arXiv：Agent 与 MCP 安全
研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性
论文将应用层 Agent 遥测与内核级 syscall 追踪配对，首次给出内核层与应用层信号在 Agent 安全上的配对证据刻画。作者构建 Agent Cross-Layer Evidence（ACE）配对会话语料库，包含 4,047 个会话和 17 个威胁模型，覆盖六类投递向量家族、OWASP LLM 与 Agent 威胁类别中的 14 个，并归纳为 12 种攻击机制。在四类检测器上，内核证据单独即具判别力，与应用层证据组合通常优于任一单层视角，显示出单层分析可能遗漏的互补信号。研究还展示了对未见攻击家族的泛化能力以及向另一 Agent 运行时的迁移。
- 论文arXiv：Agent 与 MCP 安全
基于区块链的 Agentic AI 框架：面向安全软件供应链的资源优化与能耗感知
该论文提出一个区块链支撑的 Agentic 安全框架，用于保护完整软件开发生命周期并保障负责监控的 AI 智能体本身。框架协调源码完整性、依赖与 SBOM 分析、CI 配置审计、制品验证和运行时策略评估等专用安全智能体，每个智能体由 LLM 驱动生成结构化安全报告，并通过智能合约将加密签名的证明记录到许可链的智能体注册表、不可篡改证明日志和可执行发布策略模块中。智能体与区块链节点间通信由联盟运营的证书颁发机构保障，用例演示了源码安全智能体如何上链证明并触发可验证的允许/阻止部署决策。
- 论文arXiv：越狱、提示注入、投毒与防御
AEGIS：用内部信号在中间层拦截大型音频语言模型越狱
论文提出 AEGIS，一种针对大型音频语言模型（LALM）音频越狱的检测后干预防御方法。逐层探针显示，风险相关信息在中间层表示中仍可解码，但内部风险信号未能在后续层转化为拒答，作者将这一差异称为风险到拒答的缺口。AEGIS 据此在中间层设置风险门控，选择性激活下游安全适配器。在六个 LALM 和三个异构音频越狱基准上，AEGIS 将平均不安全率从 17.9% 降至 0.4%，对良性输入的过度拒答仅有小幅上升。代码已公开，论文投稿至 ICASSP 2027。
- 论文arXiv：越狱、提示注入、投毒与防御
研究者提出面向邮件 Agent 的攻击链建模提示注入检测框架
研究者提出一种面向 LLM 邮件助手的提示注入检测框架，把攻击建模为分阶段链条，而非单纯的恶意文本二分类。该框架结合文本检测器、各阶段专用验证器、显式规则风险信号、用户意图与动作一致性分析以及 logistic 决策策略，并从提示注入数据集中推导出攻击链标签。在随机划分、时间阶段迁移、条件阶段迁移、跨数据集迁移和消融实验中，结果显示随机训练测试划分会明显高估分布偏移下的鲁棒性，框架中较晚的工具参数阶段比早期阶段更易预测。在五个二分类基准上，该框架在严格阈值策略下平均 F1 为 0.406，而五个未额外训练的预训练检测器中最强者为 0.216。研究还表明，用与攻击相似的无害邮件训练有助于降低误报，同时保留检测真实攻击的能力。
- 论文arXiv：越狱、提示注入、投毒与防御
基于加密绑定身份验证能力令牌协调分布式 AI 智能体的提案
针对自主 AI 智能体面临的提示注入攻击与凭证泄露风险，该提案提出一种基于能力安全原则的框架，利用 OAuth Agent Authorization Profile 及 W3C DID 和 VC 标准，让智能体通过加密绑定其身份与签发者身份、并限定作用域的令牌访问服务。服务方可验证委托链仅涉及权限衰减后再执行令牌操作。该安全层位于语言模型上下文窗口之外的安全模块中，使智能体能在可强制执行的安全边界内行动。
- 论文arXiv：越狱、提示注入、投毒与防御
MetaPermit：通过 LLM 推断元属性为 AI Agent 提供可扩展可审计的访问控制
MetaPermit 是一个基于策略的 Agent 工具访问控制框架，将语义推断与安全执行解耦，以应对工具误用和间接提示注入攻击。它通过分析 Agent 与用户的交互，提取一组紧凑且与任务无关的元属性，刻画用户意图、执行上下文与拟调用工具之间的关系，从而无需枚举用户意图即可授权工具使用。运行时由 LLM 推断每次工具调用的元属性取值，再由固定策略据此允许或拒绝调用，使每个决策都可依据推断值和策略规则审计。
- 论文arXiv：越狱、提示注入、投毒与防御
AnchorRep：用表征排斥防御 LLM 跨模型对抗迁移攻击
AnchorRep 通过轻量 LoRA 适配器把被防御模型对有害提示的内部表征推离冻结锚模型的表征，从而抵御跨模型对抗迁移攻击。训练只用少量有害提示，不需要对抗样本。在五个模型、四个架构家族上，该方法把 2,000 次迁移攻击的攻击成功率降到不超过 1.1%，其中两个模型为 0%，Mistral 上的降幅最大，从 36% 降至 1.1%。论文指出既有防御虽能降低迁移，但代价高，最多导致 77% 的良性输出退化，或使过度拒答上升最多 18%；由于标准拒答指标无法捕捉这类良性乱码输出，作者提出 Benign Garble Rate 来量化。该工作为 NeurIPS 2026 论文，代码、配置和日志已公开。
- 论文arXiv：越狱、提示注入、投毒与防御
SafeMol：分子多模态模型的双模态安全对齐
分子多模态模型在纯文本与图条件输入下均存在显著越狱漏洞，安全鲁棒性需跨输入模态成立并兼顾安全、过度拒答与效用。为此研究者构建 SafeMolBench 基准，含 3702 个样本、覆盖 618 种独特危险分子，分为危险有害、危险允许与效用回放三个子集。基于该基准提出的参数高效对齐框架 SafeMol 联合优化两种模态的轻量模块，用 MMD 做分布级表示对齐并显式建模分子危险性与有害操作意图，实验显示攻击成功率下降数十个百分点，同时保持较低过度拒答与分子任务效用。
- 论文arXiv：越狱、提示注入、投毒与防御
研究者提出面向结构化 Agent 动作的多源完整性认证方法
论文提出一种面向 LLM 智能体结构化动作的多源完整性认证器，用于抵御间接提示注入篡改动作关键字段。该方法要求每个字段满足其证据结构支持的规则：在腐败可区分的证据类别上设定有界腐败半径并以最小命中集计数，避免重复发布或洗白副本凑出多数；对互补字段做确定性调和；证据仅剩单一来源时引入可信锚点。作者形式化两种鲁棒性概念，通过消融验证各机制，并在制裁名单（70,966 个实体）与软件供应链溯源（450 个包）上测量多源前提的成立频率，发现真实佐证在上界代理下均为少数现象，朴素证明计数会高估独立性。
- 论文arXiv：越狱、提示注入、投毒与防御
CoDeL：用协同演化防御抵御 LLM 智能体的间接提示注入
CoDeL 是一种针对 LLM 智能体间接提示注入的协同演化防御方法，在三个 IPI 基准、九个基线和两个基座模型上把攻击成功率降低 88.5%，并比其他基线高出 38.0%。作者指出，现有训练式防御多在静态的显式注入分布上优化，学到的是表层形式线索而非区分服务用户与服从注入目标的边界，因此当恶意意图被折叠进看似合理的工作流并延迟数轮后就会失效。CoDeL 让防御方每轮通过基于 LoRA 的 GDPO 更新，在安全、任务进度和格式合规的解耦奖励下训练，使拒答注入与完成用户任务共同构成适应度。
- 论文arXiv：越狱、提示注入、投毒与防御
SED：面向 LLM 智能体的免训练持续安全策略学习框架
研究者提出 Self-Evolving Defense（SED），一个免训练框架，把有害的智能体轨迹蒸馏为可复用的安全策略，不更新模型权重，并在未来任务中检索相关策略以持续适应新攻击。作者在 DeepSeek V4 Flash、GLM 5.2 和 Kimi K3 三个开源模型、覆盖越狱、提示注入和不安全代码生成的八个基准上测试 SED。结果显示，SED 将 AGENTDOJO 上的定向提示注入成功率降至 0.42%，最佳基线防御为 3.7%；在 HARMBENCH 上把自适应 X-TEAMING 攻击成功率控制在 7.8%，最佳基线为 35.2%，同时保持良性任务效用。论文共 39 页、6 张图，代码已公开。