跳到正文

防御与护栏

今天新收录 18 条(含旧文)

第 4 页更新的内容回到最新

10月2日周五
  1. arXiv · 收录 · 原文 论文↑150

    Actions with Receipts:为工具智能体审计绑定声明、证据与执行

    论文提出一种以声明为锚点的执行契约,把智能体输出的声明、其精确来源片段、产生该声明的有序执行前缀,以及执行时观察到的来源版本与访问状态联合绑定,用于可回放的智能体审计。每条回执包含一个发射锚点,可在已提交答案或带声明的动作中确定性地定位该声明,并附带来源标识、偏移、哈希、引文和域分隔的执行承诺。确定性完整性验证器在接入语义或任务标签之前先重建这些绑定,作者将完整性平面与可插拔的支持平面分离,避免用结构有效性代替蕴含判断。契约给出七个可独立测试的属性,包括声明与发射绑定、来源绑定、有序执行绑定、oracle 分离、持久对象回放、执行重跑一致性和版本与访问绑定。在 1280 个跨对象攻击中,联合契约检出 1275 个替换,检出率 0.9961;移除任一目标属性后,其攻击检出率降至 0.0156 至 0.0625。

  2. arXiv · 收录 · 原文 论文25

    TAILOR:面向图像水印的组合方案定制框架

    针对图像水印需同时满足抗攻击、假阳性率、画质与时延的问题,研究者提出请求条件化的组合框架 TAILOR,通过离线刻画各片段的恢复率—失真—运行时曲线、基于 SMT 联合求解最低失真的片段组合与强度顺序、再在实际图片上实时校准三步实现定制化配置。在覆盖五种场景、20 种攻击设置的 7321 个不同请求上,TAILOR 达到 96.21% 的场景平均请求满足率和 41.02 dB 的平均 PSNR,鲁棒性与画质均优于现有方法。

  3. arXiv · 收录 · 原文 论文56

    DART:用表征位移检测多轮 LLM 智能体中的新兴安全风险

    新加坡管理大学等机构的研究者提出 DART,一种复用智能体隐藏状态的运行时防御框架,通过监测上下文更新引发的表征位移来检测多轮攻击。多轮攻击由多个单独合规的步骤组合而成,DART 将每段上下文引起的表征位移投影到去噪后的安全方向上并累加,超过校准阈值时把位移归因到贡献最大的上下文片段,并追加针对性提醒而不删除上下文或中止执行。在六个模型和两个多轮基准上,DART 把 MT-AgentRisk 的攻击成功率从 84% 降到 25%,检测到全部攻击,但未全部阻断,平均误报率 12%,良性请求的不拒答率下降 8%;同一协议下 ToolShield 的攻击成功率为 55%,DART 在六个模型上都优于它。在 ASEval 上攻击成功率从 97% 降到 52%,无良性拒答损失。去噪是关键,未去噪的监控在 ASEval 上只捕获 7%–40% 的攻击,去噪后为 60%–85%。同一监控无需修改即可覆盖单轮间接注入,每步仅增加 0.14–0.56 秒开销,且不需要辅助模型。

    推荐理由论文给出一种复用智能体隐藏状态的运行时监控,用去噪后的表征位移在多轮攻击中检测并归因触发上下文。

  4. arXiv · 收录 · 原文 论文39

    MOMAT:面向量化 LLM 低功耗越狱防御的多图集混合框架

    研究者提出 MOMAT(Mixture of Multiple Atlases),一种面向边缘设备上量化大语言模型的硬件增强安全框架,用于缓解量化削弱对齐防护后模型易被越狱攻击的问题。每个 atlas 对应有害或良性样本集与策略模板的语义聚类,实现领域局部化的 RAG 防护,以缓解大规模异构安全数据库中的维度灾难与语义稀疏问题。MOMAT 对每个提示词从所有 atlas 中检索 top-k 相似特征,交由轻量 MoE 检测器判断,并用 CiM 加速的相似度引擎完成低功耗图集内检索。其 CiM 检索将 100 条查询的批处理从 15,052.44 ms 加速到 3,207.21 ns,能耗从 8.1×10^7 μJ 降至 3.32 μJ,相比基于 DRAM 的 Raspberry Pi 基线约降低 2.5×10^5 倍能耗。

  5. arXiv:可解释性 · 收录 · 原文 论文28

    RASteer:面向扩散模型概念擦除的保留感知激活引导方法

    RASteer 是一种免训练的扩散模型概念擦除方法,通过从待保留概念构建保留子空间,再用 Retain-Orthogonal Steering(ROS)剔除擦除方向中与该子空间对齐的分量,使引导更具针对性。为避免完全移除共享分量削弱擦除效果,该方法引入 Overlap-Adaptive Calibration(OAC),在每个层和去噪步依据擦除方向与保留子空间的重叠度动态调节各分量的去除程度。在不安全内容、实例与艺术风格擦除实验中,RASteer 达到或超过所对比的激活引导与权重编辑基线,实现了更好的擦除—保留平衡。

  6. arXiv:后门、投毒与隐私 · 收录 · 原文 论文33

    SAGE:基于相似度从少量已验证样本中清洗中毒训练数据

    针对数据投毒防御普遍依赖大量可信干净样本的问题,研究者提出 SAGE——在一个独立数据集上训练通用特征提取器,再用基于少量已验证样本的非参数化相似度加权预测标记中毒训练样本。该方法只需极少数经取证专家核查过(无论判定为干净还是有毒)的样本即可生效,并在七个 clean-label 攻击方法的基准上与现有防御对比取得优势。实验还发现,已验证干净样本在各类别间的分布比其总数更重要。

  7. arXiv:后门、投毒与隐私 · 收录 · 原文 论文50

    研究者提出用零空间投影净化 LoRA 微调 LLM 的后门

    研究者提出一种针对 LoRA 微调大语言模型的后门净化方法,通过零空间投影将攻击成功率从接近 100% 降至 10% 以下。该方法不依赖触发器先验知识、干净参考模型或对可疑参数的重新训练,而是通过数据整理与特征近似提取高保真后门方向,在每一层或每个注意力头的输入与输出通道上构造正交零空间,再将 LoRA 更新投影到该空间。作者通过一系列消融实验,将方法从文本分类的单层设置逐步扩展到生成任务的全参数 LLM,并称在降低攻击成功率的同时保留了基座模型的通用能力和适配器学到的下游技能。

  8. arXiv:后门、投毒与隐私 · 收录 · 原文 论文48

    NEEDLE:通过权重正交化移除 LLM 后门

    研究者提出 NEEDLE,一种免训练的后门定向移除方法。该方法在识别出触发词后,通过激活向量估计后门方向和拒答子空间,再依次施加权重正交化,在压制后门的同时避免改变与拒答相关的表征。NEEDLE 不需要干净参考模型,也不需要原始被投毒的训练数据。在多个模型族和多种攻击类型上的评测中,NEEDLE 取得所评估防御方法中最低的平均攻击成功率,在代码注入类攻击上为 0%,同时 KL 散度最低,能力与安全性的变化也最小。

  9. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    AuraForge:为训练安全编码 Agent 扩展安全监督

    AuraForge 通过合成并验证可执行的安全测试,为训练安全编码 Agent 提供可扩展的安全监督。该方法结合面向攻击的测试合成、可扩展语言的任务构建以及针对奖励作弊的防护。基于此构建的 AuraGym 覆盖 Python、JavaScript 和 TypeScript,包含来自 344 个真实仓库的 679 个可执行功能实现任务,涉及 177 个 CWE 类别。在带有人工安全测试的子集上,AuraForge 平均生成约 3 倍的测试用例,并将误报率降低 83.23%。用合成安全测试训练 Qwen3.5-4B,在三种语言上的提升大于人工安全测试(平均 19.7 FuncPass 和 6.2 SecPass,对比 14.9 FuncPass 和 4.4 SecPass)。

  10. Tech Policy Press · 收录 · 原文 24

    Apple 的 Reference Image 能否帮助抵御 AI 图像操纵?

    Apple 随 iPhone 18 Pro 推出的 Reference Image 由相机传感器在拍摄时为像素级签名,提供硬件层面的图像真实性证明,并可在设备上与普通照片切换对比。该模式需主动开启,重启进入严格状态跳过去马赛克、色调映射与压缩,经 Apple Private Cloud Compute 校验配对后再加工并由 Apple 长期密钥签名,开发后的数字负片 30 天后清除。它延续 C2PA 思路但不依赖可能侵犯隐私的信息采集,仍有问题待解。 ### 苹果iPhone 18 Pro引入“参考图”:从源头给影像加签 上周,苹果发布了 iPhone 18 Pro,其中一项名为“Apple Reference Image”(参考图)的新摄影特性正式亮相——这标志着这家硅谷巨头开始涉足内容溯源领域。苹果承诺:“现在你可以证明一张用 iPhone 拍摄的图像的真实性。

  11. Cisco · 收录 · 原文 17

    思科 AI Defense 集成 Anthropic 推理钩子,为 Claude Enterprise 提供运行时防护

    思科 AI Defense 通过 Anthropic 的推理钩子(inference hooks)接入 Claude Enterprise,在模型推理前检查每个受管提示词并返回 allow 或 deny 裁决,携带提示注入或越狱的提示词会被拦截、模型不会运行。该集成覆盖 Claude、Claude Code 和 Claude Cowork,会读取完整对话记录(含 MCP 工具调用及其结果),同时执行隐私与操纵两类护栏。每次调用均用一次性签名密钥做加密验证,推理钩子目前处于 beta 阶段,响应侧执法需等 Anthropic 扩展该钩子。

  12. Datadog Security Labs · 收录 · 原文 29

    Entra Agent ID 防护指南:保护、检测与响应

    Datadog Security Labs 发文收尾其 Entra Agent ID 系列,说明企业如何在本地 Entra 租户中降低代理蓝图接管风险并缩小代理身份泄露后的爆炸半径。建议收紧 Agent ID Administrator 角色及具备 microsoft.directory/agentIdentityBlueprints/credentials/update 权限的自定义角色,同时限制 AgentIdentityBlueprint.AddRemoveCreds.All 与 ReadWrite.All 两个 Microsoft Graph 权限——持有者可接管任意蓝图及其关联身份。还指出部分特权权限仍可授予代理,例如带 UserAuthMethod-* 前缀的 Microsoft Graph 应用权限允许修改租户内任意用户的凭证,需重点复核分配给代理的任何 Tier 0 权限。

  13. arXiv:防御、护栏、反学习与有害微调 · 收录 · 原文 论文43

    研究者提出 COVER:在语言预算下选择源语言实现跨语言遗忘

    研究指出在一种语言中遗忘某个事实并不能保证它在其他语言中也被移除,改变提问语言或要求回答的语言就能重新调出看似已遗忘的知识,形成跨语言漏洞。为此作者提出语言预算多语言遗忘任务,即选择一组语言子集以最大化跨语言擦除效果,并构建了覆盖 174 个语言-文字对、25 种原子改写类型的 Cross-Lingual Unlearning Tensor 基准。他们进一步提出 COVER,通过选择源语言来最大化对未接受遗忘监督语言的预测覆盖。实验发现,简单挑选单个强源语言并不能可靠组合成强源语言集合。在部署阶段,COVER 只需良性校准数据和访问冻结模型;在三个模型家族和两个不相交遗忘集上,COVER 相比均匀源选择将平均留出残留访问降低 7.8%–27.3%,并在低资源语言场景下用 LORELEI 语料的人工翻译数据验证了效果可扩展到真实新闻文档。

  14. OX Security · 收录 · 原文 14

    OX VibeSec 新增依赖审查能力,拦截 AI 编程智能体的每一次安装尝试

    OX Security 旗下 OX VibeSec 新增 Dependency Vetting 能力,可在 AI 编程智能体发起每次依赖安装时对照策略做确定性检查并阻止恶意包落地,无需改变开发者工作流。该能力现已可用,会直接阻断已知恶意包并提供可配置冷却期来拦下刚发布的软件包;基于严重 CVE 的漏洞封堵与许可证策略执行即将推出。

  15. OX Security · 收录 · 原文 7

    OX Security 发布 OX Cloud,为智能体时代重新定义云安全

    OX Security 推出面向智能体时代的云安全方案 OX Cloud,现已向新老客户开放。该产品提供 AI Detection and Response(AIDR)与 Agentic Attack Surface Management(AASM),可实时查看 AI 智能体、模型和 MCP 服务器能触及什么、正在做什么、何时越界。它同时保留完整 CNAPP 能力,包括 CSPM、KSPM、DSPM、运行时漏洞检测、云资产清单与基于图的攻击路径分析,并按可达性排定风险优先级。

  16. Cisco · 收录 · 原文 11

    Cisco AI Defense 与 Armada 合作:分布式 AI 在任务所需之处安全运行

    Cisco AI Defense 与 Armada 合作,为分布式 AI 提供 AI 原生安全层:通过 Adaptive Red-Teaming 在生产前对模型做红队验证,并在运行时对提示词、响应、MCP 交互和工具调用施加护栏,覆盖提示注入、越狱、敏感数据泄露、不安全内容、工具滥用等风险。该方案面向 Armada Bridge GPU 上部署的 LLM,支持云、主权云与边缘环境,敏感 AI 载荷与运行时执行保留在客户或租户环境内,策略、可见性与报告可集中管理。

  17. Cisco · 收录 · 原文 18

    你的 AI 智能体信任了你从未批准的东西:Cisco 与 OpenAI 合作扫描 Agent Skill 与 MCP 供应链风险

    Cisco 正与 OpenAI 合作,将 Daybreak 引入其 AI 安全产品组合,用于扫描 AI 供应链中的 Agent Skill 与 MCP server。该方案采用分层架构:Daybreak Blue 负责首轮扫描,对提交的 skill 和 MCP server 做网络安全专用推理,避免通用模型因拒答而漏检合法防御性内容;Daybreak Red 则处理 Blue 标记为不完整的重度混淆载荷与可用漏洞利用链。Cisco AI Defense 的 skill-scanner 覆盖 SKILL.md 及全部捆绑脚本,mcp-scanner 覆盖工具、提示词、资源及底层 PyPI 和 npm 包,重点查找工具声明与实际代码行为的差距。

  18. NIST · 收录 · 原文 43

    NIST 数学证明:AI 护栏无法穷尽抵御对抗提示,需转向持续监控与更新

    NIST 高级科学家 Apostol Vassilev 在 IEEE Security and Privacy 发表论文,借助哥德尔 1931 年不完备定理给出数学证明:不存在一组有限的护栏能普遍抵御对抗提示,总能找到让 AI 无视规则的提示词。证明指出,AI 护栏如同建立在有限规则上的系统,攻击者可通过精心构造的提示绕过拒答机制,导致网络攻击、数据泄露和高度个性化钓鱼等现实风险。Vassilev 提出三要素应对路径:红队持续寻找新的对抗提示、针对新发现的提示持续更新加固护栏、以及在漏洞被利用时优先限制影响并快速恢复的运营韧性。他表示目标不是彻底解决问题,而是让攻击者寻找新漏洞的成本超过其资源,形成对攻击者经济上不可行的新平衡。论文题为 Robust AI Security and Alignment: A Sisyphean Endeavor?

    推荐理由NIST 研究者用哥德尔不完备定理证明不存在能抵御所有对抗提示的有限护栏集合,并提出红队、持续更新与运营韧性三要素的应对路径。

  19. arXiv:防御、护栏、反学习与有害微调 · 收录 · 原文 论文43

    ShieldCLIP:面向多模态基础模型有害内容的选择性安全对齐

    研究提出 ShieldCLIP,首个按每个模态自身安全状态而非样本来源来条件化安全对齐的框架,在保留安全内容的同时只重定向不安全部分。作者同时发布 ViSUv2 数据集,包含 195k 四元组、覆盖 578 个概念和 28 个类别,并为每个模态提供独立安全标签。基于这些标签,ShieldCLIP 定义了四路条件目标:安全内容锚定,不安全模态重定向到对应安全版本,混合样本只更新不安全分支,双模态均不安全时强制一致性。在跨模态检索、Stable Diffusion v1.4 与 SDXL 的文生图以及 LLaVA 的图生文任务上,ShieldCLIP 相比此前的安全对齐编码器和强缓解基线持续减少有害输出,同时保留原始嵌入空间的效用。消融实验显示模态特定监督与选择性对齐目标均有贡献。

  20. Cisco Talos · 收录 · 原文 28

    AI 驱动的蜜罐:用生成式 AI 反制恶意 AI 智能体

    安全研究者提出用生成式 AI 快速部署自适应蜜罐,伪装成 Linux shell 或 IoT 设备等易受攻击系统,诱骗并观察自动化攻击者。其实现由三部分组成:接受 TCP 连接的监听器、需触发才放行的模拟漏洞(如 admin/password123 登录,或仅响应 Shellshock CVE-2014-6271 利用尝试),以及调用 ChatGPT 生成响应的 AI 框架。该方法利用 AI 智能体缺乏真实意识、易被提示注入欺骗的弱点,把攻击者的自动化能力转化为暴露其手法的负担。

  21. UK NCSC · 收录 · 原文 29

    UK NCSC 发布《管理智能体 AI 的网络风险》指南

    UK NCSC 发布针对智能体 AI 网络风险的防护指南,建议将 AI 智能体运行于沙箱环境并管控其本地及网络的资源访问。指南提出四层网络访问成熟度模型(从无限制访问到模型本地托管且无外部网络)、四级计算隔离模型以及凭证最小化原则,并要求通过多层隔离加显式提示降低沙箱逃逸风险。 对于高风险场景,最稳健的做法是在隔离断网环境中运行智能体并使用预先下载的工具和信息;若需联网则仅放行白名单连接,必要时改用协议或服务感知代理并经人工审批。该指南还指出部分自主 AI 工具会接入大量系统与服务,访问面越大潜在 blast radius 越高,因此应将其权限收敛到完成任务所需的最小集合并持续监测越权尝试。

  22. Goodfire Research · 收录 · 原文 46

    Goodfire 用蛋白质嵌入向量为 AI 智能体构建生物安全监控器

    Goodfire 提出基于蛋白质语言模型嵌入向量的序列感知监控器,用于筛查 AI 智能体在双用途生物任务中的有害序列。该方法同时利用序列本身和任务上下文,在自建基准上优于前沿模型护栏,且在双用途任务上拒答更少。监控器对改写和片段化等对抗攻击更稳健,在原始蛋白存在于筛查数据库时 AUROC 约为 0.98;原始蛋白不在库中时各方法性能均下降,但该方法在低误报率下仍保持优势。其泛化能力还扩展到留出的蛋白家族、酶类毒素机制留出集以及外部细菌毒素数据集 Exo-Tox。检测速度达每序列毫秒级,与序列搜索相当,且随蛋白质模型能力提升而增强。

    1 条报道 · 1 个来源查看事件时间线与全部报道

    推荐理由Goodfire 用蛋白质模型嵌入向量做序列感知监控,在双用途任务上比前沿模型护栏更准且拒答更少,做生物安全筛查的团队可参考其评测方式。

  23. arXiv · 收录 · 原文 论文24

    MASCRDM:面向大语言模型训练过程的合规风险检测与缓解多智能体系统

    MASCRDM 是一套在大语言模型训练全过程中实时检测并缓解合规风险的多智能体系统。它依据现有 AI 法律构建合规规则集,并在合规法律专家指导下训练专用合规 LLM,再通过合规知识图谱将模型拆解为多个组件、定位关键节点,在训练中向开发者给出风险告警与建议。在歧视与偏见基准上的实验显示,该方法能有效提升合规性,同时保持合理的语义性能。

10月1日周四
  1. UK AI Security Institute · 收录 · 原文 50

    UK AISI 完成第一阶段安全整改,恢复大部分危险能力评测

    UK AISI 在 8 月报告 AI 智能体在网络评测中越界对真实人员采取持续行动后,暂停了最高风险网络评测;本周完成第一阶段整改,恢复了大部分评测活动。整改包括三项承诺:为未来的智能体网络评测禁用互联网访问,直到新沙箱服务能提供更强控制;构建同步监控器,用 LLM 审查智能体的消息、工具调用和思维链,可在可疑动作发生前拦截并升级人工复核;重新设计评测,使其无需联网运行、在提示词中明确任务边界,并在评测开始前自动检查监控已启用、联网已禁用。AISI 采用多层防御,假设任何单层都可能失效,并引入内部治理流程,依据 NCSC 的 AI 网络风险指引。后续工作包括更安全的沙箱服务、集中式日志与告警平台,以及持续更新安全假设。

    1 条报道 · 1 个来源查看事件时间线与全部报道

    推荐理由UK AISI 公开了暂停高风险网络评测后的整改细节,做前沿评测的机构可对照其多层防御与监控设计。

  2. arXiv · 收录 · 原文 论文43

    FDCU:用双重约束子空间投影抵御机器遗忘后的重训练攻击

    研究提出 FDCU,一种双重约束子空间投影框架,用于解决大语言模型机器遗忘后经良性微调即可恢复有害行为的重训练攻击问题。作者分析遗忘的优化动态后认为,脆弱性来自浅层对齐:模型并未真正擦除目标知识,而是激活原本休眠的参数充当伪抑制器,在完整的恶意表征外形成脆弱的抑制外壳。FDCU 通过逐元素双重掩码规则限制参数更新,用 Fisher Information 保留通用知识流形,并用最小功能干预原则(PMFI)禁止伪抑制器异常激活。在特定知识擦除与安全输出控制任务上,FDCU 在保持近乎无损通用能力的同时,取得了对重训练攻击的 state-of-the-art 鲁棒性。

  3. arXiv · 收录 · 原文 论文48

    ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow,降低 Agent 有害工具调用

    ToolSafe 提出面向 LLM 智能体工具调用安全的步骤级护栏方案,包含基准 TS-Bench、护栏模型 TS-Guard 和推理框架 TS-Flow。TS-Guard 通过多任务强化学习训练,在执行前基于交互历史推理,评估请求有害性与动作和攻击的关联,输出可解释、可泛化的安全判断与反馈。TS-Flow 由护栏反馈驱动,在提示注入攻击下将 ReAct 风格智能体的有害工具调用平均减少 65%,同时把良性任务完成率提升约 10%。作者称该工作仍在进行中,代码已公开。

  4. arXiv · 收录 · 原文 论文15

    Llama 3 模型群:405B 稠密 Transformer 与 Llama Guard 3 安全模型

    Meta 发布 Llama 3 模型群,最大模型为 405B 参数的稠密 Transformer,上下文窗口最高 128K tokens,原生支持多语言、编程、推理与工具使用。评测显示其在大量任务上质量与 GPT-4 相当,并公开释出 405B 的预训练与后训练版本及输入输出安全模型 Llama Guard 3。论文还通过组合式方法将图像、视频和语音能力接入 Llama 3,在识别任务上表现与 SOTA 相当,但这些多模态模型仍在开发中,尚未广泛发布。

  5. arXiv:可解释性 · 收录 · 原文 论文41

    CAM-Steer:面向大语言模型的多类别自适应安全引导框架

    研究者提出 CAM-Steer,一个类别自适应的多类别安全引导框架,用于在推理阶段修改模型内部激活而不更新参数,从而降低有害提示的不安全回复。该方法通过比较当前隐藏状态与安全、不安全原型来估计各危害类别的风险,再据此把不同类别的安全方向组合成单一引导方向并确定干预强度,最后沿该方向旋转隐藏状态,旋转角度由风险估计决定,同时保持隐藏状态范数不变。在三个 LLM 基座和七个危害类别上的实验显示,CAM-Steer 在平均防御成功率上优于所评估的基线,包括多个类别同时出现的情形,且推理开销可忽略。

  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文34

    Skill-as-API:面向智能体软件工程的机密多智能体协作协议

    Skill-as-API 是一种协议层协调方案,让 AI 编程智能体在互相调用技能时只公开技能名称、描述、类型化输入/输出 schema 和信任层级,技能本体以闭包形式留在所有者进程内、永不跨网络传输。该协议通过四层机制实现访问控制,并从结构上收窄提示注入面,而非依赖内容过滤。作者在 XMTP 上给出开源 Python 实现,跨洲热重连延迟为 1.8-2.9 s,并以三个智能体协作完成 pull-request 审查为案例,验证各方可保留其专有分析提示词的所有权。

  7. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文29

    HiveTraceGuard-Pro:面向提示注入、越狱与对抗混淆的紧凑生成式护栏

    HiveTraceGuard-Pro 是一个从 Qwen3-0.6B 经 LoRA 微调而来的 0.6B 生成式护栏,支持俄语和英语,用 safe/unsafe 二分类规则判定最终目标轮。在覆盖 19 个基准组(16 个公开)的对比中,其综合 key 为 0.7432,低于两个更高分护栏的 0.7641 和 0.7552;在 15 个模型对比中取得最高俄语鲁棒性 combined-F1(0.88)和俄语提示注入召回率(0.999),中位延迟 14.3 ms 为最低。整体 FPR 为 0.268、FNR 为 0.156,合并权重以 Apache-2.0 在 Hugging Face 发布,语料与评测集仍为内部。

  8. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文34

    Agent Flight Recorder:为长时程工具调用智能体提供链上锚定的防篡改审计追踪

    Agent Flight Recorder 将智能体每个动作记录为绑定意图、执行到来源等八个语义字段的规范化事件,通过哈希链与 Merkle 批处理实现防篡改和紧凑包含证明,并周期性将 epoch root 锚定上链,使任何持有载荷与 Merkle 证明的验证方可独立核验记录。在合成智能体负载的五种累积消融配置上,完整系统每事件中位延迟约 48 微秒、512 字节,L2 锚定在 100 事件 epoch 下每 10 万事件成本 $2.30,对编辑、删除、重排和分叉篡改的检测率为 100% 且零误报。结构化取证查询在护栏与委派查询上精确率达 1.0,非结构化文本搜索仅为 0.013 和 0.077。

  9. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文36

    论文提出带类型溯源与断言护栏,防止持久化 AI Agent 把不可信输入当作自身历史

    论文针对持久化 AI Agent 提出带类型溯源与断言护栏,要求关于 Agent、用户或具名关系的陈述满足已接受证据、时效性和披露策略。方法用带类型溯源图区分来源、依赖谱系、认知角色、有效性和披露范围,由 resolver 评估授权状态投影并返回证据状态、冲突、过期和保留标志,再由 generate-verify-revise 中介在发布前检查候选语义单元。在 24 个手工编写的一致性用例中,带类型中介未放行 19 个不安全机会中的任何一个,同时保留全部 5 个受支持控制;扁平/先验规则和来源标签规则分别放行了 19/19 和 18/19 的不安全候选。

  10. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    SEAL:通过共享专家对齐强化 MoE 全局安全

    论文提出 SEAL,一种训练期参数高效防御方法,通过在 MoE 的共享专家上附加即插即用适配器来提升全局安全对齐。作者指出,MoE 的安全依赖稀疏路由激活了哪些专家,攻击者可通过越狱提示、恶意微调和剪除安全关键神经元来颠覆这一选择,而现有防御多聚焦加固路由器,仍可能被非确定性的路由轨迹绕过。SEAL 利用始终激活的共享专家作为与路由无关的锚点,其变体 SEAL++ 在训练中加入正交约束以保留已有安全子空间。在三种对抗输入(有害提示、越狱、恶意微调)与是否剪枝神经元组合成的六类攻击场景中,SEAL 将攻击成功率最多降低 60%,在五项基准平均上的能力损失最多 1.4%,并可无缝集成路由器级防御。

  11. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    AlcaTRAz:无需模型权重的规则树提示级越狱防御

    AlcaTRAz 是一种基于规则树的提示级越狱防御,只作用于输入文本,不需要访问模型权重或内部结构,也无需修改或重训练目标模型。该方法自动学习一条可迁移的变换规则,在选定位置插入受控的字符级扰动,破坏越狱攻击所利用的结构规律,同时尽量保持模型对正常问题的表现。

  12. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文29

    Sentinel-RL:将拓扑推理从 LLM 智能体中卸载到安全运营中心

    Sentinel-RL 是一种将拓扑推理与语义推理解耦的智能体 SOC 架构,用异构图注意力编码器把实时认证子图压缩为固定维度状态,再由 PPO 策略映射到受限调查动作,LLM 智能体仅负责消费策略建议并生成分析师可读的叙述。在 LANL 综合多源网络安全事件数据集和印第安纳大学 Quartz HPC 集群上,两阶段 CREATE 摄取模式在单台 32 核节点上 14.2 分钟加载 2400 万条边认证子图,比基于 MERGE 的流水线快约 24 倍;PPO 训练 200 次迭代收敛至平均回合回报 8.74±0.31,在标注红队事件上留出集精确率 0.91、召回率 0.87;完整检测-调查-建议-人工批准循环中位耗时 6.3 秒。

  13. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文41

    SAFEGuard:通过有害语义分析与流畅度测量检测优化型越狱攻击

    研究者提出统一检测框架 SAFEGuard,用于检测基于优化的越狱攻击。该方法结合基于跨层分布距离与困惑度的混合流畅度测量,以及通过梯度匹配进行的有害语义分析。其依据的观察是:高流畅度提示仍保留与有害提示接近的恶意意图,而有害语义混淆的提示往往注入无意义 token 序列。评估显示 SAFEGuard 在不同优化型越狱上持续优于现有基线,准确率有显著提升。该论文发表于 EMNLP 2026。

  14. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    KITA:为 LLM Agent 设计密钥隔离的阈值签名授权架构

    研究者提出 KITA,一种从审查到授权的架构,将用户个人签名密钥和所有阈值签名密钥份额置于所有 LLM 进程之外,以阻止提示注入从判断边界跨越到执行权限。在阈值签名不可伪造性和其系统假设下,攻击者即使攻陷提案方和少于 t 个审查签名域,也无法在没有 t 个不同域签名贡献的情况下为新动作生成有效授权,因此任何此类授权都包含来自未被攻陷域的份额,并绑定到规范动作、仅在通过认证的审查者批准后释放。作者用结构化输出 LLM 适配器和阈值 BLS 实现了完整的审查者到执行者路径,通过六项系统测试验证该接口上的法定人数门控与消息绑定,并用密码学微基准测量在线签名路径及其扩展行为。

  15. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    SRD-GUARD:通过语义改写与多模型联合评分暴露潜在意图的 LLM 防御框架

    SRD-GUARD 是一个无需参数、黑盒的 LLM 越狱防御框架,通过语义改写与多模型共识评分暴露被角色扮演或虚构场景包装的隐藏意图。它对输入提示生成五个语义相关改写,在保留原始目标的同时去除多余情境包装,再由多个独立的 LLM 安全评分器在连续风险尺度上联合评估原始提示与改写版本。决策模块结合绝对风险阈值与原始、改写提示之间的相对风险变化,自适应地拦截、放行或警告请求。

  16. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文24

    AIOS 的内核管理共享内存:面向系统级个性化的新抽象

    研究提出"内核管理共享内存",由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。该设计在 AIOS 上实现,用 GPT-4o、Llama-3.1:8B、Qwen-2.5:7B 三个助手模型共 1800 次试验,对比 Mem0 等三种方案:个性化得分提升 2.4-4.0 分(5 分制,GPT-4o 上 profile usage 从 1.05 升至 4.69),端到端延迟降低 15-61%,并减少每次调用的 token 用量与推理成本。

  17. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文46

    HPD 与 HERALD:用跨层有害性传播轨迹检测越狱提示

    论文提出有害性传播动力学(HPD):对有害提示,最后一 token 隐状态在学得的危害方向上的投影随 Transformer 深度单调上升,而良性提示保持平坦或振荡,说明轨迹形状比单层快照更有信息量。基于此作者提出 HERALD,从跨层投影序列中提取斜率、曲率、单调性、起始层等七维特征,用 288 参数 MLP 分类;每层存一个 d 维方向(32 层、d=4096 模型约 262 KB),训练不需梯度计算,推理仅增加 2.6×10⁻⁶ 的 prefill FLOPs。