跳到正文
今天10月8日周四
  1. Cloudflare · 收录 · 原文 48

    Cloudflare 提出多智能体安全运营框架:代码约束范围、校验证据引用

    Cloudflare 报告早期通用安全智能体出现无证据结论、范围漂移和查询失败信息丢失三类问题,随后把证据采集与范围约束放到推理之前的确定性代码中。专职智能体只使用获准证据,由代码校验证据引用,并区分未检查、无匹配与有证据支持的不存在三种状态。最终缓解决策仍由人工分析师负责。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  2. Bitdefender · 收录 · 原文 25

    Bitdefender 推出 AI Guardian,面向自主 AI 智能体的安全防护层

    Bitdefender 发布 AI Guardian 公测产品,面向自主 AI 智能体提供安全防护层,可在智能体执行动作前检查工具、文件和权限策略,并保留审计记录。相关功能与防护效果均为厂商主张,尚未经过独立测试。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  3. Microsoft Windows Developer Blog · 收录 · 原文 42

    微软发布 Microsoft Execution Containers,为 AI Agent 提供策略驱动的执行隔离

    微软宣布 Microsoft Execution Containers(MXC)正式可用,为 AI Agent 提供策略驱动的执行隔离层,限制模型生成代码、插件、工具或整个 Agent 可访问的文件与网络资源,策略由容器在运行时强制执行,Agent 自身无法自行扩权。MXC 提供进程容器(Windows 11、macOS、Linux)、仅 Windows 支持的会话容器、WSL 容器和实验性的 MicroVM 四类隔离后端,开发者通过统一的 JSON 配置和多语言 SDK 声明工作负载所需资源。策略覆盖隔离环境、进程、文件系统、网络和用户界面,并支持 Enforcement、Learning、Permissive 三种运行模式,其中 Learning 模式会生成 JSON 活动报告以帮助编写最小权限策略。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  4. Harvey · 收录 · 原文 33

    Harvey 构建 MCP Policy Engine,为智能体调用第三方 MCP 工具加运行时管控

    Harvey 在重建 Connector Library 时构建了 MCP Policy Engine,在模型之外的编排层对智能体调用合作方 MCP 工具实施策略管控。该引擎针对工具投毒和 rug-pull 两类攻击,从工具参数的"承载量"与"权限"两个维度评估信息流,并配合集成期的内部 MCP 安全分析工具检查认证配置、暴露能力与 JSON schema。Harvey 认为安全训练、内容标记与分类器等缓解措施可被绕过,因此主要依赖架构层面的缓解手段。

    1 条报道 · 1 个来源查看事件时间线与全部报道
10月7日周三
  1. Hugging Face Daily Papers · 收录 · 原文 论文33

    安全动作不等于可行动作:VICS-G 为 VLA 策略做可行未来解码

    冻结的视觉-语言-动作(VLA)策略可能选中局部安全、却断绝安全完成任务路径的动作,作者将这一现象称为可行性与似然之间的落差。为此提出免训练、告警触发的重排序器 VICS-G,基于安全任务完成约束下的可行未来质量对候选动作重排。在六个 Safety-CHORES 设置中,VICS-G 将平均累计安全代价降低 1.9%-57.5%,成功率与策略采样相差不超过 2.5 个百分点,平均回合长度相差 0.82 步,且无需重新训练策略或在线 rollout。

  2. 论文追踪 · 收录 · 原文 论文33

    POLAR:面向小型工具调用智能体的可逆性护栏框架

    POLAR 是一种面向小型工具调用智能体的护栏框架,通过结构化两层本体评估动作可逆性,为每个动作生成候选逆序并打分级可逆性分数,未达阈值的调用在执行前被剪枝。在 τ²-bench 上对六个智能体模型评测,六个中有四个在 airline 域平均任务奖励提升 0.11 至 0.18 分,但十八个模型—领域组合中仅八个整体改善,retail 域及较强智能体常出现回退。POLAR 提供可审计的结构化检查,并刻画了任务效用权衡;奖励并非防止伤害的直接度量。

  3. 论文追踪 · 收录 · 原文 论文45

    研究测量策略网关跨平台命令裁决的能力边界

    一项研究测量了不解析 shell 语法的策略网关在跨平台命令裁决上的表现,该网关接收类型化的已实现动作(动词、操作数、解析后的区域、程序对象身份)并输出 ALLOW、ASK 或 DENY。在 Windows 基准的 Linux 对应版本上,61 例冻结用例表两轮均得 61/61 且无误放行;50 个变异算子的变异测试杀死 46 个(92.0%),4 个存活变异体均被归类。82 行审计得到 43 处重新表述、21 处载体差异、16 行研究特定不适用项和 2 个未解决案例,25 行标注为无对应项的记录中有 4 行仍未映射。由执行器调用时,25 次逃逸降为零且未拦截任何良性载荷。在探索性的单网关快照中,三个未认证端点标签的案例级非拒答多数为 81.8% 至 98.0%,但立即执行多数仅为 4.0% 至 52.5%。

  4. Meta AI Research · 收录 · 原文 35

    Meta 如何为个人智能体 Muse 构建安全防护

    Meta 为个人智能体 Muse 设计了 Muse Secure VM 安全架构,将智能体运行环境与安全敏感服务隔离。其运行时容器以 systemd-nspawn 运行,root 映射为非特权主机用户,并限制系统调用与内核能力;hatch-safety、privsep、hatch-authd 和 Sentinel 等组件在容器外独立运行,分别负责模型请求审查、凭证隔离与网络出口管控。Muse 的 bug bounty 计划向公众开放,有效报告最高奖励 30 万美元,其中影响单个用户的提示注入攻击最高奖励 13 万美元。

  5. 论文追踪 · 收录 · 原文 日期未知论文37

    两阶段智能体轨迹审计框架:用门控规则加 LLM 审计降低监控成本

    研究者提出两阶段智能体轨迹审计框架,第一阶段用单事件与轨迹序列规则筛选待检动作,第二阶段由 LLM 审计智能体结合前序轨迹在执行前审查每个被选动作,并用训练数据联合优化门控规则与审计指令。在公开基准 OpenAgentSafety 上,该框架将每次运行的 LLM 审计次数从 8.15 降至 2.33、token 用量从 47.8k 降至 14.6k,检测率为 72.8%,而全量审计为 81.5%。在两个模拟多智能体案例中,框架标记出全部恶意轨迹,同时将审计 token 用量减少超过 80%。

  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文53

    APEX:在 LLM Agent 执行边界主动防御间接提示注入

    研究者提出 APEX,把间接提示注入的防御从识别攻击模式转向在执行边界检查每个待执行动作,即 Agent 将内部状态转为外部动作或输出释放的位置。APEX 在不受信任内容到达前把用户任务编译成授权契约,用两个机制读取它:WRAP 依据契约与运行时证据只放行可被证明授权的动作和参数,PLANT 在契约背书的依赖通道上放置探针,使未被任务背书的信息在使用时暴露。该方法只需对每个能力单元做一次与任务无关的注册,同一套中介逻辑统一适用于 Tool、MCP 和 Skill 调用,包括嵌套调用。在覆盖三类能力单元的六个基准上对比 13 个基线,APEX 在其中五个基准上攻击成功率为 0%,第六个为 0.56%,并在针对三类能力单元的自适应攻击下保持 0% 攻击成功率。代码已公开。

    推荐理由APEX 把间接提示注入的防护从识别攻击模式转到执行边界,用授权契约同时约束越权动作与未背书信息使用,并给出跨 Tool、MCP、Skill 的评测数据。

  7. OpenAI · 收录 · 原文 29

    OpenAI 如何为 dots 智能体构建安全、安全(security)与隐私保护

    OpenAI 为 dots 智能体构建了多层防护体系:底层由 GPT‑6 Astra 模型负责理解用户意图并拒绝有害请求,包括生物与网络安全滥用类请求。系统通过工具限制、行动前检查、提示注入防护和运行监控来约束智能体行为,安全监控发现风险时可暂停任务并向用户告警。每个 dot 运行在独立云工作区中,通过沙箱隔离代码与工具访问,安全登录流程使凭据不进入模型上下文。

  8. arXiv:可解释性 · 收录 · 原文 日期未知论文33

    针对 LLM 谄媚的纵深防御:记忆门控对激活诱导与记忆诱导谄媚的评估

    研究提出一个 2×2 纵深防御框架,将内部激活引导与外部记忆处理分离,在 MemSyco-Bench 上评估四种开放权重模型,涉及 10 个引导系数和五种记忆防御配置。其中三种配置为新设计:重写全部记忆、对每条记忆保留/重写/丢弃的 Router Gate,以及丢弃全部记忆。在 Llama 3.1 8B 上,Router Gate 配合轻度反向引导(α = -1.5)将评委平均谄媚率从 35.80% 降至 31.32%,平均准确率从 43.99% 变为 43.31%,但该下降在 149 个样本上不具统计显著性(配对 p = 0.08 至 0.63)。

  9. 论文追踪 · 收录 · 原文 论文45

    AdvSim2Real 用任务与注入对手共同演化训练网页智能体

    AdvSim2Real 提出在冻结的网页世界模型中让任务课程、注入对手与智能体共同演化,以提升网页智能体对页面植入指令的鲁棒性。课程只奖励智能体约一半时间能解决的任务,对手只奖励能把判定成功翻转为失败的注入。训练后 4B 智能体的任务完成率在有攻击和无攻击下均上升,并能抵御训练中未见过的前沿模型对手,能力提升也迁移到真实浏览器。在 150 个网页任务上,面对这一未见对手,AdvSim2Real 相对基础智能体把完成率提升 33.6%。

  10. 论文追踪 · 收录 · 原文 论文53

    CoVer:用干预检验为 Agent 构造可判定规则边界

    论文提出 CoVer(corroborate-then-verify)方法,用于判断 Agent 执行的规则中哪些可由固定检查处理、哪些需要裁判。研究者在六个语料库(包括 EU AI Act、FINRA 指引和一个已部署的信贷 Agent)上,从三个实验室的四个模型收集约 2.2 万条标注,发现模型在答案明显时几乎完全一致,但在监管文本上分歧严重,且错误方向相反,无法把任一模型当作保守选择;在已部署 Agent 的规则集上,模型还会共同错误地声称固定检查足够,而这一方向永远不会被升级审核。CoVer 把模型一致视为提名,只有当为该谓词合成的检查能通过干预、读取 Agent 无法写入的字段并在确定性改写下保持成立时才接纳该谓词,从而拒绝大部分仅靠一致同意被错误接纳的谓词,代价是覆盖率的下降。

  11. Microsoft UFO · 收录 · 原文 日期未知25

    Microsoft UFO v3.0.9 发布

    Microsoft UFO 发布 v3.0.9,修复了 MSRC139482 和 MSRC138616 两个安全问题,涉及 ufo/client/mcp/http_servers/linux_mcp_server.py 与 ufo/utils/url_security.py、galaxy/webui/security 相关文件。同时将 GitHub Actions 固定到完整长度的 commit SHA。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  12. 论文追踪 · 收录 · 原文 论文42

    论文提出长程智能体自生子目标的运行时授权机制

    论文针对长程工具调用智能体在自生子目标、重规划和委派中可能超出主体授权任务的问题,提出一种运行时授权机制。每个目标图变更需携带版本绑定的见证,证明其延续轨迹、资源、义务、不变量和收束条件细化了当前根契约,受保护效果在原子提交边界重新校验,自由形式的目标文本不提供任何授权。作者在显式中介、抽象、新鲜性和原子性假设下证明了轨迹策略与建模禁止状态保持、条件性根成功保持、无记忆允许列表的分离结果、有限域可判定性以及可靠抽象细化下的通用安全单调性。可执行模型探索了 340 个状态和 419 次转移;在覆盖 25 种结构模式的 96 个匹配案例中,完整机制在 48 个漂移案例中零禁止状态提交,并完成全部 48 个良性对照。两条公开上游运行时路径在 32 个案例中执行 258 次原生调度,每个案例级决策与凭据链均匹配。

  13. Inspect · 收录 · 原文 33

    Inspect 支持任务与查看器将日志内容标记为不可信并以纯文本显示

    UK AISI 的 Inspect 合并新功能:任务可通过 ViewerConfig(trust_content=False) 在评测日志头部记录该日志内容仅以纯文本显示,默认 None 表示可信。eval_retry 重试时会保留上一次日志的 trust_content=False 及重新加载任务的查看器设置。inspect view、bundle、embed 新增 --trust-content/--no-trust-content(环境变量 INSPECT_VIEW_TRUST_CONTENT),该设置经 /app-config 传给查看器,且只能降低信任:False 将所有日志内容显示为纯文本,未设置或 True 则遵循各日志自身的 ViewerConfig。

  14. sfdcdevelopers.com · 收录 · 原文 56

    SalesBleed 之后:Agentforce 提示注入防护的三项落地控制

    作者结合 Zenity Labs 披露的 SalesBleed 研究,讨论 Agentforce 对外部 CRM 数据的提示注入防护。文章强调区分不可信记录与操作指令、审查智能体权限及持续检查防护配置。文中称已披露问题得到修复,并提醒既有记录和后续版本仍需评估;这些建议属于作者的防御实践说明。

    推荐理由作者给出三条可落地的 Agentforce 加固措施,并附触发器与固定查询动作代码,适合正在运行公开表单加 Agent 的团队对照排查。

  15. OpenAI · 收录 · 原文 50

    OpenAI 如何监控内部编码 Agent 的失准行为

    OpenAI 披露其内部编码 Agent 失准监控系统的运行方式与结果。该系统由 GPT-5.4 Thinking 以最高推理强度驱动,在交互完成后 30 分钟内审查完整对话历史、思维链和工具调用,对交互分类并标注严重等级,异常再交由人工复核。运行五个月、覆盖数千万条内部 Agent 编码轨迹,最高严重等级从未在真实对话中触发,仅在合成评测中出现;约 1000 条对话触发中等严重等级告警,其中不少来自内部红队测试,已升级至安全监督与安全事件响应团队。OpenAI 称监控系统覆盖了员工独立上报的全部交互,并发现更多原本未被注意的行为,同时指出模型在用户请求诱导下会过度绕开限制,但尚未发现自我保存或谋划等任务外动机。约不到 0.1% 的流量(主要来自定制或本地部署)暂不在监控范围内。

    推荐理由OpenAI 公开了内部编码 Agent 监控系统的运行数据与失效边界,为部署 Agent 的团队提供了一套可参照的监控设计思路。

10月6日周二
  1. Cloud Security Alliance(AI 相关) · 收录 · 原文 16

    用零信任微隔离保护 Agentic AI:风险分级与 agent-to-tool 策略

    云安全联盟提出用零信任微隔离约束 Agentic AI 工作负载,通过风险分级、agent-to-tool 策略、分层执行和持续验证,把受治理的出站流量变成智能体部署的前提。文章将智能体分为受限只读、工具启用等层级,要求按自主性、工具能力、数据敏感度和动作可逆性决定隔离深度,并默认拒绝未批准出站、限制非必要服务可达性。文中以企业编码智能体为例,说明其只需访问代码仓库、工单平台、包注册表和模型网关,不应因此获得生产数据库、身份基础设施、CI/CD 签名系统或密钥存储的可达性;MCP 只是 agent-to-tool 交互的一个例子,隔离问题范围更广。

  2. Tenet Security / GitHub · 收录 · 原文 日期未知42

    Tenet 开源 agent-jackstop,为 Cursor 和 Claude Code 加固以防御 Agentjacking

    Tenet Security 开源 agent-jackstop,提供面向编码智能体的加固配置,旨在降低不可信工具输出引发的提示注入风险。项目方强调网络出口控制、敏感数据访问限制及执行审批等运行时防护。相关防护效果属于项目方主张,不能仅凭配置发布视为已获得独立安全保证。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  3. 论文追踪 · 收录 · 原文 论文54

    Uber 提出 ADR 企业级 Agent 检测系统,在 7200 台主机部署十个月

    据 Uber 团队自报,Uber 团队提出 ADR(Agentic AI Detection and Response)系统,用于防护通过 MCP 运行的 AI 智能体,由采集提示词、推理步骤与工具调用因果链的 ADR Sensor、预部署红队的 ADR Explorer 和两级在线检测的 ADR Detector 组成。该系统在 Uber 部署超过十个月,覆盖 7200 多台主机、每日处理逾 1 万次 Agent 会话,发现 26 类凭证泄露,并支撑一个精确率 97.2% 的凭证泄露拦截层。ADR-Bench 与 ADR Sensor 及检测框架源码已在 GitHub 公开。 上述部署规模及效果来自团队自身报告,并非独立验证结果。

    推荐理由Uber 团队公开了在 7200 台主机上运行十个月的 Agent 检测系统架构与 ADR-Bench 基准,可供企业搭建 MCP 安全监控时对照。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文55

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    牛津大学等机构的研究者发现,为每个智能体单独部署 CaMeL 防护不足以保证多智能体系统安全:不可信数据跨越智能体边界后被下游智能体当作可信输入,从而劫持其控制流,作者将这一失效模式称为 boundary laundering,并构造了具体攻击。为此他们提出 multi-CaMeL,在智能体间通信中把可信自然语言指令与不可信数据分离到不同通道,并在运行时保留数据来源信息。在扩展 AgentDojo 得到的 MultiAgentDojo 基准上,multi-CaMeL 将攻击成功率从无防护的 12.9%、单智能体 CaMeL 的 0.2% 降至 0.0%;在 AssetOpsBench 上相对单智能体 CaMeL 平均仅增加 3.2 个百分点的效用损失,且模型能力越强损失越小。作者同时开源了 MultiAgentDojo 及 multi-CaMeL 实现。

    推荐理由论文给出多智能体系统中单智能体防护失效的具体攻击路径,并配套发布可复现的多智能体评测基准与防护实现。

  5. 论文追踪 · 收录 · 原文 论文40

    SRFT:让 Agent 从失败经验中自我反思以抵御提示注入

    研究者提出 Self-Reflection Fine-Tuning(SRFT)训练框架,让 LLM Agent 通过从自身在对抗条件下的失败经验中学习来提升鲁棒性。该方法不被动模仿专家行为,而是让 Agent 接触由注入攻击构造的被污染轨迹,再由专家模型生成结构化的自我反思推理,对比不安全动作与最优动作,从而学会识别恶意指令、推理其后果并保持与原始用户意图一致。作者基于 Llama-3.1-8B-Instruct 和 Qwen3-8B 构建了 SR-Agent,并在静态与自适应提示注入基准上评测,结果显示 SRFT 大幅降低攻击成功率,同时保持任务性能,在自适应攻击下也表现出较强泛化能力。代码已公开。

  6. 论文追踪 · 收录 · 原文 论文43

    RAISED:用自蒸馏抵御工具调用中的提示注入

    论文提出 RAISED(Robust Attack Invariance through Self-Distillation)训练框架,用于抵御工具调用型语言模型智能体面临的间接提示注入。作者指出,现有训练式防御会显著改变模型输出分布,在良性场景下也造成行为漂移,并存在一种失败模式:在良性工具使用任务中,模型会省略完成授权任务所需的步骤,尤其是该步骤由工具输出指示时。RAISED 先让模型自行生成工具使用场景,重点覆盖需要依据工具输出中的合法指引才能完成任务的情形,再通过自蒸馏让学生在同一轨迹的干净版本与注入版本上都对齐教师的干净上下文行为。论文称该方法大幅降低工具响应中提示注入的攻击成功率,且不同于此前的训练式防御,在智能体与通用基准上都能保持效用。

  7. Undercode News · 收录 · 原文 日期未知28

    Dify 1.17.1 收紧知识库安全并修复 RAG 抽取

    Dify 1.17.1 引入按数据集范围划分的知识库 API key,修复源文档抽取问题,并加固对不可信文档的处理。该版本还提示内置 Weaviate 需分阶段升级。上述内容来自 Undercode News 的二手报道,原始发布说明未被查阅。

    1 条报道 · 1 个来源查看事件时间线与全部报道
10月5日周一
  1. Hugging Face Daily Papers · 收录 · 原文 论文32

    FailBank:用运行时反馈自进化提升 VLA 模型任务成功率

    针对视觉-语言-动作(VLA)模型中运行时护栏只纠正单次动作、不改变底层策略的问题,研究者提出四阶段自进化框架 FailBank,把运行时反馈转化为持久的策略改进。在 VLA-Arena 基准的两个难度等级和两个 VLA 主干上,FailBank 相比基础策略将任务成功率提升 8.5 和 6.9 个百分点,策略引发的累计代价降低 35.6% 和 23.8%;相比运行时护栏,成功率提升 25.4 和 9.5 个百分点,累计代价相当。

  2. 论文追踪 · 收录 · 原文 论文46

    MIRROR:面向多智能体通信的法定人数完整性防御

    研究者提出 MIRROR,一种通信层完整性原语,用于防御 LLM 多智能体系统中的 Agent-in-the-Middle(AiTM)攻击。该方法将同一规范化载荷复制到 k 条逻辑路由,仅当严格多数路由报告相同摘要时才接受消息,其安全性来自诚实路由占多数的假设,而非密钥认证。作者在路由被攻陷比例 alpha < 0.5 下给出保证,并扩展到路由故障相关的情形,指出关键量是最大共享故障组规模而非路由数量;同时证明可用性与完整性在同一阈值退化,低于 alpha = 0.5 时法定人数拒绝和丢消息攻击者无法阻断诚实流量。该工作已被 NeurIPS 2026 FLMSec Workshop 接收。

  3. Goodfire · 收录 · 原文 28

    Goodfire 推出基于蛋白质模型嵌入向量的生物安全序列感知监控器

    Goodfire研究人员提出基于蛋白语言模型表征的序列风险监控器,用于生物研究智能体工作流中的双重用途筛查。他们在自建基准上发现,所测前沿模型的拒答主要受任务描述影响,对危险和良性序列的区分不足;序列监控器在被测改写、片段化和部分留出条件下优于序列比对筛查。作者报告该方法达到毫秒级处理,但重设计蛋白是否保留生物活性仅通过计算估计,未经实验验证。结果限定于被测序列与基准,不能视为全面生物安全保证。

  4. arXiv · 收录 · 原文 论文57

    Pheo 提出 OATS:用确定性解析器在运行时治理 Agent 技能动作

    Pheo Inc 的 Rohit Taneja 等人提出 OATS(Open Agent Trust System),在 Agent 决定动作但尚未执行时做运行时治理,回答的是某个动作在当前机器和操作者策略下是否被允许,而非技能是否恶意。作者在 66,192 个公开 ClawHub 技能版本上测量发现,705 个被三个扫描器和注册表评审全部判为 clean 的技能,仍指示了 CIS Control 2.7 和 NIST SP 800-53 CM-11 列为禁止的动作,涉及 135 个发布者,其中单一发布者占 506 个;对 100 个样本的人工审计给出 92% 精确率(95% CI [84.8%, 96.5%])。OATS 的解析器不读技能文档、不调用模型,中位端到端耗时 67.6 ms,输出接入按(资源, 类别)计数的信任账本,升级阈值由操作者自述风险容忍度推导,而非固定十次干净批准。

    推荐理由论文把技能注册表审查与运行时动作治理拆成两个不同问题,并给出可复现的测量与开源实现,适合做 Agent 权限控制的团队参考。

  5. 论文追踪 · 收录 · 原文 论文41

    HASTE:用稀疏威胁证据自动演化 Agent 护栏以抵御新兴攻击

    HASTE 是一个多智能体框架,通过安全规范生成与攻击用例生成之间的对抗循环,从威胁报告和预印本中稀疏的描述或少量攻击样例出发,自动演化 Agent 护栏。安全规范引导护栏更新以修补已识别的安全漏洞,攻击用例则在每次更新后探测残余漏洞,评估结果反馈回两个过程,使护栏能应对初始证据之外的新兴攻击。在多种基座模型、攻击类型和证据形式上的实验显示,HASTE 持续降低攻击成功率,同时保持良性任务的效用。代码已公开。

  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文30

    Persona Guardrail:面向智能体系统的生产级防御框架

    作者提出 Persona Guardrail,通过基于智能体预定功能的输入输出校验限定其行为范围。摘要报告,在 PAGE 评测中,相较通用 LLM 护栏,整体准确率、域外检测率和误放行率均有改善。作者称该框架已用于生产部署并满足延迟预算;这些是论文摘要中的自报结果,本条没有独立复现,不能推及未测场景或普遍安全保证。

  7. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    论文提出在 Kubernetes 上保护 AI Agent 的七层纵深防御框架与参考架构

    论文主张不应把模型本身当作安全边界,Agent 在 Kubernetes 上的安全应作为基础设施问题处理,所有保证都需在 Agent 已被提示注入完全攻陷的假设下成立。作者提出十类威胁分类法(对齐 OWASP 智能体应用指南)、九条设计原则(核心是工具边界的完全中介,以及打破不可信输入、敏感访问与外部外发三者的组合)、七层纵深防御框架,并映射到工作负载身份、RBAC 与 ValidatingAdmissionPolicy、基于 SIG Apps Agent Sandbox 项目的 gVisor/Kata 沙箱、FQDN 感知的外发策略、带策略即代码的 Agent/MCP 网关与 eBPF 运行时执行等 Kubernetes 原生机制。作者未报告实测的攻击成功率或性能开销数据,而是列出残余风险和验证该框架所需的测量项。

  8. arXiv:可解释性 · 收录 · 原文 论文32

    检测与抑制:针对 VLA 模型对抗补丁的机制可解释性防御

    研究者用稀疏自编码器(SAE)分析 VLA 模型内部表征,找到一个激活与对抗补丁存在强相关的特征,并仅在线性探针检测到攻击时于推理阶段抑制该特征,无需微调即可提升鲁棒性。在 LIBERO-10 上的对抗补丁攻击测试中,条件式干预提升了间歇性攻击下的成功率,而持续施加同一干预会显著损害策略性能,表明控制干预时机对减少对正常策略行为的干扰至关重要。

  9. 论文追踪 · 收录 · 原文 论文50

    AgentSecGraph:面向 LLM Agent 的安全感知依赖分析框架与 AgentSecBench 语料

    研究者提出 AgentSecGraph,一个以候选操作为中心的安全感知静态分析框架,为每个安全敏感操作构建 Security-Aware Agent Dependency Graph(Security-ADG),在操作身份之外加入 Agent 相关性、来源与依赖证据、信任边界上下文、护栏证据和外部效应语义。配套发布的 AgentSecBench 覆盖 11 个生态、67 个真实 LLM Agent 仓库、37,542 个源文件;当前分析器在 65 个仓库中识别出 23,866 个静态安全敏感操作候选,并为每个候选生成一份 Security-ADG 产物,全语料分析耗时 50.8 分钟,为 9,821 个候选(41.15%)恢复来源到操作的依赖证据,为 3,075 个(12.88%)恢复潜在护栏证据。

  10. 论文追踪 · 收录 · 原文 论文43

    Pincer:用数字分身学习用户偏好并执行动态最小权限

    研究者提出 Pincer,一种在资源层运行、可与工具调用层现有防御并行的 Agent 防御方案。其核心是数字分身,一个隔离上下文的模型,自动学习并执行针对具体用户的动态最小权限策略,在 Agent 发出权限请求时充当用户代理。为模拟学习阶段,作者构建了一个以用户为中心的数据集,样本来自多天的用户与 Agent 交互记录。评估显示,Pincer 在安全性和实用性上均优于多个基线,包括多种 LLM 评判器变体和 Conseca(HotOS '25)的改造版本;在部分攻击类型上,其设计带来的安全提升明显高于所有其他基线。论文指出,当前 Claude、Codex 等部署中的 Agent 主要依赖用户维护策略与 auto mode 沙箱,前者会随时间失效并造成用户疲劳,后者的工具调用分类器不学习用户特定策略。

  11. 论文追踪 · 收录 · 原文 论文43

    AgentTrap:面向自主渗透测试 Agent 的有状态反馈欺骗蜜罐

    研究者提出 AgentTrap,一种面向自主渗透测试 Agent 的闭环蜜罐,通过哨兵端点避免误伤正常流量、基于被保护应用的状态化欺骗,以及行为引导的升级策略来维持交互并收集 Agent 侧行为证据。在部署的 Web 应用中,研究团队用真实应用端点与独立蜜罐端点、三种防御策略对八种自主渗透测试 Agent 进行评测。相比无防御,AgentTrap 将真实目标的总体攻击成功率从 95.8% 降至 79.2%,并在 18.8% 的运行中成功诱导出攻击方 API key,效果优于静态欺骗与固定升级策略。轨迹分析显示,Agent 抵御此类反制的能力同时取决于模型层面对欺骗性请求的识别和架构层面对敏感资源的隔离。