跳到正文

Agent 安全

今天新收录 8 条(含旧文)
今天10月7日周三
  1. arXiv:可解释性 · 收录 · 原文 日期未知论文36

    针对 LLM 谄媚的纵深防御:记忆门控对激活诱导与记忆诱导谄媚的评估

    研究提出一个 2×2 纵深防御框架,将内部激活引导与外部记忆处理分离,在 MemSyco-Bench 上评估四种开放权重模型,涉及 10 个引导系数和五种记忆防御配置。其中三种配置为新设计:重写全部记忆、对每条记忆保留/重写/丢弃的 Router Gate,以及丢弃全部记忆。在 Llama 3.1 8B 上,Router Gate 配合轻度反向引导(α = -1.5)将评委平均谄媚率从 35.80% 降至 31.32%,平均准确率从 43.99% 变为 43.31%,但该下降在 149 个样本上不具统计显著性(配对 p = 0.08 至 0.63)。

  2. 论文追踪 · 收录 · 原文 论文48

    AdvSim2Real 用任务与注入对手共同演化训练网页智能体

    AdvSim2Real 提出在冻结的网页世界模型中让任务课程、注入对手与智能体共同演化,以提升网页智能体对页面植入指令的鲁棒性。课程只奖励智能体约一半时间能解决的任务,对手只奖励能把判定成功翻转为失败的注入。训练后 4B 智能体的任务完成率在有攻击和无攻击下均上升,并能抵御训练中未见过的前沿模型对手,能力提升也迁移到真实浏览器。在 150 个网页任务上,面对这一未见对手,AdvSim2Real 相对基础智能体把完成率提升 33.6%。

  3. 论文追踪 · 收录 · 原文 论文55

    CoVer:用干预检验为 Agent 构造可判定规则边界

    论文提出 CoVer(corroborate-then-verify)方法,用于判断 Agent 执行的规则中哪些可由固定检查处理、哪些需要裁判。研究者在六个语料库(包括 EU AI Act、FINRA 指引和一个已部署的信贷 Agent)上,从三个实验室的四个模型收集约 2.2 万条标注,发现模型在答案明显时几乎完全一致,但在监管文本上分歧严重,且错误方向相反,无法把任一模型当作保守选择;在已部署 Agent 的规则集上,模型还会共同错误地声称固定检查足够,而这一方向永远不会被升级审核。CoVer 把模型一致视为提名,只有当为该谓词合成的检查能通过干预、读取 Agent 无法写入的字段并在确定性改写下保持成立时才接纳该谓词,从而拒绝大部分仅靠一致同意被错误接纳的谓词,代价是覆盖率的下降。

  4. Microsoft UFO · 收录 · 原文 日期未知27

    Microsoft UFO v3.0.9 发布

    Microsoft UFO 发布 v3.0.9,修复了 MSRC139482 和 MSRC138616 两个安全问题,涉及 ufo/client/mcp/http_servers/linux_mcp_server.py 与 ufo/utils/url_security.py、galaxy/webui/security 相关文件。同时将 GitHub Actions 固定到完整长度的 commit SHA。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  5. 论文追踪 · 收录 · 原文 论文44

    论文提出长程智能体自生子目标的运行时授权机制

    论文针对长程工具调用智能体在自生子目标、重规划和委派中可能超出主体授权任务的问题,提出一种运行时授权机制。每个目标图变更需携带版本绑定的见证,证明其延续轨迹、资源、义务、不变量和收束条件细化了当前根契约,受保护效果在原子提交边界重新校验,自由形式的目标文本不提供任何授权。作者在显式中介、抽象、新鲜性和原子性假设下证明了轨迹策略与建模禁止状态保持、条件性根成功保持、无记忆允许列表的分离结果、有限域可判定性以及可靠抽象细化下的通用安全单调性。可执行模型探索了 340 个状态和 419 次转移;在覆盖 25 种结构模式的 96 个匹配案例中,完整机制在 48 个漂移案例中零禁止状态提交,并完成全部 48 个良性对照。两条公开上游运行时路径在 32 个案例中执行 258 次原生调度,每个案例级决策与凭据链均匹配。

  6. Inspect · 收录 · 原文 33

    Inspect 支持任务与查看器将日志内容标记为不可信并以纯文本显示

    UK AISI 的 Inspect 合并新功能:任务可通过 ViewerConfig(trust_content=False) 在评测日志头部记录该日志内容仅以纯文本显示,默认 None 表示可信。eval_retry 重试时会保留上一次日志的 trust_content=False 及重新加载任务的查看器设置。inspect view、bundle、embed 新增 --trust-content/--no-trust-content(环境变量 INSPECT_VIEW_TRUST_CONTENT),该设置经 /app-config 传给查看器,且只能降低信任:False 将所有日志内容显示为纯文本,未设置或 True 则遵循各日志自身的 ViewerConfig。

  7. sfdcdevelopers.com · 收录 · 原文 56

    SalesBleed 之后:Agentforce 提示注入防护的三项落地控制

    作者结合 Zenity Labs 披露的 SalesBleed 研究,讨论 Agentforce 对外部 CRM 数据的提示注入防护。文章强调区分不可信记录与操作指令、审查智能体权限及持续检查防护配置。文中称已披露问题得到修复,并提醒既有记录和后续版本仍需评估;这些建议属于作者的防御实践说明。

    推荐理由作者给出三条可落地的 Agentforce 加固措施,并附触发器与固定查询动作代码,适合正在运行公开表单加 Agent 的团队对照排查。

  8. OpenAI · 收录 · 原文 50

    OpenAI 如何监控内部编码 Agent 的失准行为

    OpenAI 披露其内部编码 Agent 失准监控系统的运行方式与结果。该系统由 GPT-5.4 Thinking 以最高推理强度驱动,在交互完成后 30 分钟内审查完整对话历史、思维链和工具调用,对交互分类并标注严重等级,异常再交由人工复核。运行五个月、覆盖数千万条内部 Agent 编码轨迹,最高严重等级从未在真实对话中触发,仅在合成评测中出现;约 1000 条对话触发中等严重等级告警,其中不少来自内部红队测试,已升级至安全监督与安全事件响应团队。OpenAI 称监控系统覆盖了员工独立上报的全部交互,并发现更多原本未被注意的行为,同时指出模型在用户请求诱导下会过度绕开限制,但尚未发现自我保存或谋划等任务外动机。约不到 0.1% 的流量(主要来自定制或本地部署)暂不在监控范围内。

    推荐理由OpenAI 公开了内部编码 Agent 监控系统的运行数据与失效边界,为部署 Agent 的团队提供了一套可参照的监控设计思路。

10月6日周二
  1. Cloud Security Alliance(AI 相关) · 收录 · 原文 16

    用零信任微隔离保护 Agentic AI:风险分级与 agent-to-tool 策略

    云安全联盟提出用零信任微隔离约束 Agentic AI 工作负载,通过风险分级、agent-to-tool 策略、分层执行和持续验证,把受治理的出站流量变成智能体部署的前提。文章将智能体分为受限只读、工具启用等层级,要求按自主性、工具能力、数据敏感度和动作可逆性决定隔离深度,并默认拒绝未批准出站、限制非必要服务可达性。文中以企业编码智能体为例,说明其只需访问代码仓库、工单平台、包注册表和模型网关,不应因此获得生产数据库、身份基础设施、CI/CD 签名系统或密钥存储的可达性;MCP 只是 agent-to-tool 交互的一个例子,隔离问题范围更广。

  2. Tenet Security / GitHub · 收录 · 原文 日期未知43

    Tenet 开源 agent-jackstop,为 Cursor 和 Claude Code 加固以防御 Agentjacking

    Tenet Security 开源 agent-jackstop,提供面向编码智能体的加固配置,旨在降低不可信工具输出引发的提示注入风险。项目方强调网络出口控制、敏感数据访问限制及执行审批等运行时防护。相关防护效果属于项目方主张,不能仅凭配置发布视为已获得独立安全保证。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  3. 论文追踪 · 收录 · 原文 论文54

    Uber 提出 ADR 企业级 Agent 检测系统,在 7200 台主机部署十个月

    据 Uber 团队自报,Uber 团队提出 ADR(Agentic AI Detection and Response)系统,用于防护通过 MCP 运行的 AI 智能体,由采集提示词、推理步骤与工具调用因果链的 ADR Sensor、预部署红队的 ADR Explorer 和两级在线检测的 ADR Detector 组成。该系统在 Uber 部署超过十个月,覆盖 7200 多台主机、每日处理逾 1 万次 Agent 会话,发现 26 类凭证泄露,并支撑一个精确率 97.2% 的凭证泄露拦截层。ADR-Bench 与 ADR Sensor 及检测框架源码已在 GitHub 公开。 上述部署规模及效果来自团队自身报告,并非独立验证结果。

    推荐理由Uber 团队公开了在 7200 台主机上运行十个月的 Agent 检测系统架构与 ADR-Bench 基准,可供企业搭建 MCP 安全监控时对照。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    牛津大学等机构的研究者发现,为每个智能体单独部署 CaMeL 防护不足以保证多智能体系统安全:不可信数据跨越智能体边界后被下游智能体当作可信输入,从而劫持其控制流,作者将这一失效模式称为 boundary laundering,并构造了具体攻击。为此他们提出 multi-CaMeL,在智能体间通信中把可信自然语言指令与不可信数据分离到不同通道,并在运行时保留数据来源信息。在扩展 AgentDojo 得到的 MultiAgentDojo 基准上,multi-CaMeL 将攻击成功率从无防护的 12.9%、单智能体 CaMeL 的 0.2% 降至 0.0%;在 AssetOpsBench 上相对单智能体 CaMeL 平均仅增加 3.2 个百分点的效用损失,且模型能力越强损失越小。作者同时开源了 MultiAgentDojo 及 multi-CaMeL 实现。

    推荐理由论文给出多智能体系统中单智能体防护失效的具体攻击路径,并配套发布可复现的多智能体评测基准与防护实现。

  5. 论文追踪 · 收录 · 原文 论文40

    SRFT:让 Agent 从失败经验中自我反思以抵御提示注入

    研究者提出 Self-Reflection Fine-Tuning(SRFT)训练框架,让 LLM Agent 通过从自身在对抗条件下的失败经验中学习来提升鲁棒性。该方法不被动模仿专家行为,而是让 Agent 接触由注入攻击构造的被污染轨迹,再由专家模型生成结构化的自我反思推理,对比不安全动作与最优动作,从而学会识别恶意指令、推理其后果并保持与原始用户意图一致。作者基于 Llama-3.1-8B-Instruct 和 Qwen3-8B 构建了 SR-Agent,并在静态与自适应提示注入基准上评测,结果显示 SRFT 大幅降低攻击成功率,同时保持任务性能,在自适应攻击下也表现出较强泛化能力。代码已公开。

  6. 论文追踪 · 收录 · 原文 论文43

    RAISED:用自蒸馏抵御工具调用中的提示注入

    论文提出 RAISED(Robust Attack Invariance through Self-Distillation)训练框架,用于抵御工具调用型语言模型智能体面临的间接提示注入。作者指出,现有训练式防御会显著改变模型输出分布,在良性场景下也造成行为漂移,并存在一种失败模式:在良性工具使用任务中,模型会省略完成授权任务所需的步骤,尤其是该步骤由工具输出指示时。RAISED 先让模型自行生成工具使用场景,重点覆盖需要依据工具输出中的合法指引才能完成任务的情形,再通过自蒸馏让学生在同一轨迹的干净版本与注入版本上都对齐教师的干净上下文行为。论文称该方法大幅降低工具响应中提示注入的攻击成功率,且不同于此前的训练式防御,在智能体与通用基准上都能保持效用。

  7. Undercode News · 收录 · 原文 日期未知28

    Dify 1.17.1 收紧知识库安全并修复 RAG 抽取

    Dify 1.17.1 引入按数据集范围划分的知识库 API key,修复源文档抽取问题,并加固对不可信文档的处理。该版本还提示内置 Weaviate 需分阶段升级。上述内容来自 Undercode News 的二手报道,原始发布说明未被查阅。

    1 条报道 · 1 个来源查看事件时间线与全部报道
10月5日周一
  1. Hugging Face Daily Papers · 收录 · 原文 论文32

    FailBank:用运行时反馈自进化提升 VLA 模型任务成功率

    针对视觉-语言-动作(VLA)模型中运行时护栏只纠正单次动作、不改变底层策略的问题,研究者提出四阶段自进化框架 FailBank,把运行时反馈转化为持久的策略改进。在 VLA-Arena 基准的两个难度等级和两个 VLA 主干上,FailBank 相比基础策略将任务成功率提升 8.5 和 6.9 个百分点,策略引发的累计代价降低 35.6% 和 23.8%;相比运行时护栏,成功率提升 25.4 和 9.5 个百分点,累计代价相当。

  2. 论文追踪 · 收录 · 原文 论文46

    MIRROR:面向多智能体通信的法定人数完整性防御

    研究者提出 MIRROR,一种通信层完整性原语,用于防御 LLM 多智能体系统中的 Agent-in-the-Middle(AiTM)攻击。该方法将同一规范化载荷复制到 k 条逻辑路由,仅当严格多数路由报告相同摘要时才接受消息,其安全性来自诚实路由占多数的假设,而非密钥认证。作者在路由被攻陷比例 alpha < 0.5 下给出保证,并扩展到路由故障相关的情形,指出关键量是最大共享故障组规模而非路由数量;同时证明可用性与完整性在同一阈值退化,低于 alpha = 0.5 时法定人数拒绝和丢消息攻击者无法阻断诚实流量。该工作已被 NeurIPS 2026 FLMSec Workshop 接收。

  3. Goodfire · 收录 · 原文 28

    Goodfire 推出基于蛋白质模型嵌入向量的生物安全序列感知监控器

    Goodfire研究人员提出基于蛋白语言模型表征的序列风险监控器,用于生物研究智能体工作流中的双重用途筛查。他们在自建基准上发现,所测前沿模型的拒答主要受任务描述影响,对危险和良性序列的区分不足;序列监控器在被测改写、片段化和部分留出条件下优于序列比对筛查。作者报告该方法达到毫秒级处理,但重设计蛋白是否保留生物活性仅通过计算估计,未经实验验证。结果限定于被测序列与基准,不能视为全面生物安全保证。

  4. arXiv · 收录 · 原文 论文57

    Pheo 提出 OATS:用确定性解析器在运行时治理 Agent 技能动作

    Pheo Inc 的 Rohit Taneja 等人提出 OATS(Open Agent Trust System),在 Agent 决定动作但尚未执行时做运行时治理,回答的是某个动作在当前机器和操作者策略下是否被允许,而非技能是否恶意。作者在 66,192 个公开 ClawHub 技能版本上测量发现,705 个被三个扫描器和注册表评审全部判为 clean 的技能,仍指示了 CIS Control 2.7 和 NIST SP 800-53 CM-11 列为禁止的动作,涉及 135 个发布者,其中单一发布者占 506 个;对 100 个样本的人工审计给出 92% 精确率(95% CI [84.8%, 96.5%])。OATS 的解析器不读技能文档、不调用模型,中位端到端耗时 67.6 ms,输出接入按(资源, 类别)计数的信任账本,升级阈值由操作者自述风险容忍度推导,而非固定十次干净批准。

    推荐理由论文把技能注册表审查与运行时动作治理拆成两个不同问题,并给出可复现的测量与开源实现,适合做 Agent 权限控制的团队参考。

  5. 论文追踪 · 收录 · 原文 论文41

    HASTE:用稀疏威胁证据自动演化 Agent 护栏以抵御新兴攻击

    HASTE 是一个多智能体框架,通过安全规范生成与攻击用例生成之间的对抗循环,从威胁报告和预印本中稀疏的描述或少量攻击样例出发,自动演化 Agent 护栏。安全规范引导护栏更新以修补已识别的安全漏洞,攻击用例则在每次更新后探测残余漏洞,评估结果反馈回两个过程,使护栏能应对初始证据之外的新兴攻击。在多种基座模型、攻击类型和证据形式上的实验显示,HASTE 持续降低攻击成功率,同时保持良性任务的效用。代码已公开。

  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文30

    Persona Guardrail:面向智能体系统的生产级防御框架

    作者提出 Persona Guardrail,通过基于智能体预定功能的输入输出校验限定其行为范围。摘要报告,在 PAGE 评测中,相较通用 LLM 护栏,整体准确率、域外检测率和误放行率均有改善。作者称该框架已用于生产部署并满足延迟预算;这些是论文摘要中的自报结果,本条没有独立复现,不能推及未测场景或普遍安全保证。

  7. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    论文提出在 Kubernetes 上保护 AI Agent 的七层纵深防御框架与参考架构

    论文主张不应把模型本身当作安全边界,Agent 在 Kubernetes 上的安全应作为基础设施问题处理,所有保证都需在 Agent 已被提示注入完全攻陷的假设下成立。作者提出十类威胁分类法(对齐 OWASP 智能体应用指南)、九条设计原则(核心是工具边界的完全中介,以及打破不可信输入、敏感访问与外部外发三者的组合)、七层纵深防御框架,并映射到工作负载身份、RBAC 与 ValidatingAdmissionPolicy、基于 SIG Apps Agent Sandbox 项目的 gVisor/Kata 沙箱、FQDN 感知的外发策略、带策略即代码的 Agent/MCP 网关与 eBPF 运行时执行等 Kubernetes 原生机制。作者未报告实测的攻击成功率或性能开销数据,而是列出残余风险和验证该框架所需的测量项。

  8. arXiv:可解释性 · 收录 · 原文 论文33

    检测与抑制:针对 VLA 模型对抗补丁的机制可解释性防御

    研究者用稀疏自编码器(SAE)分析 VLA 模型内部表征,找到一个激活与对抗补丁存在强相关的特征,并仅在线性探针检测到攻击时于推理阶段抑制该特征,无需微调即可提升鲁棒性。在 LIBERO-10 上的对抗补丁攻击测试中,条件式干预提升了间歇性攻击下的成功率,而持续施加同一干预会显著损害策略性能,表明控制干预时机对减少对正常策略行为的干扰至关重要。

  9. 论文追踪 · 收录 · 原文 论文50

    AgentSecGraph:面向 LLM Agent 的安全感知依赖分析框架与 AgentSecBench 语料

    研究者提出 AgentSecGraph,一个以候选操作为中心的安全感知静态分析框架,为每个安全敏感操作构建 Security-Aware Agent Dependency Graph(Security-ADG),在操作身份之外加入 Agent 相关性、来源与依赖证据、信任边界上下文、护栏证据和外部效应语义。配套发布的 AgentSecBench 覆盖 11 个生态、67 个真实 LLM Agent 仓库、37,542 个源文件;当前分析器在 65 个仓库中识别出 23,866 个静态安全敏感操作候选,并为每个候选生成一份 Security-ADG 产物,全语料分析耗时 50.8 分钟,为 9,821 个候选(41.15%)恢复来源到操作的依赖证据,为 3,075 个(12.88%)恢复潜在护栏证据。

  10. 论文追踪 · 收录 · 原文 论文43

    Pincer:用数字分身学习用户偏好并执行动态最小权限

    研究者提出 Pincer,一种在资源层运行、可与工具调用层现有防御并行的 Agent 防御方案。其核心是数字分身,一个隔离上下文的模型,自动学习并执行针对具体用户的动态最小权限策略,在 Agent 发出权限请求时充当用户代理。为模拟学习阶段,作者构建了一个以用户为中心的数据集,样本来自多天的用户与 Agent 交互记录。评估显示,Pincer 在安全性和实用性上均优于多个基线,包括多种 LLM 评判器变体和 Conseca(HotOS '25)的改造版本;在部分攻击类型上,其设计带来的安全提升明显高于所有其他基线。论文指出,当前 Claude、Codex 等部署中的 Agent 主要依赖用户维护策略与 auto mode 沙箱,前者会随时间失效并造成用户疲劳,后者的工具调用分类器不学习用户特定策略。

  11. 论文追踪 · 收录 · 原文 论文43

    AgentTrap:面向自主渗透测试 Agent 的有状态反馈欺骗蜜罐

    研究者提出 AgentTrap,一种面向自主渗透测试 Agent 的闭环蜜罐,通过哨兵端点避免误伤正常流量、基于被保护应用的状态化欺骗,以及行为引导的升级策略来维持交互并收集 Agent 侧行为证据。在部署的 Web 应用中,研究团队用真实应用端点与独立蜜罐端点、三种防御策略对八种自主渗透测试 Agent 进行评测。相比无防御,AgentTrap 将真实目标的总体攻击成功率从 95.8% 降至 79.2%,并在 18.8% 的运行中成功诱导出攻击方 API key,效果优于静态欺骗与固定升级策略。轨迹分析显示,Agent 抵御此类反制的能力同时取决于模型层面对欺骗性请求的识别和架构层面对敏感资源的隔离。

  12. 论文追踪 · 收录 · 原文 论文53

    COBRA:为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    剑桥大学等机构的研究者提出 COBRA,一种针对计算机使用 Agent(CUA)分支引导攻击的系统级防御架构。作者指出,Dual-LLM 模式虽能保证控制流完整性,但在图形环境中计划必须按运行时网页内容分支,攻击者可构造不可信数据把 Agent 推向预先批准的危害路径,而无需注入新指令。为此作者构建 STEER-Bench,覆盖 9 个领域 101 个任务,测得分支引导攻击对标准 CUA 的攻击成功率为 94.4%,对原版 Dual-LLM 为 89.5%。COBRA 在规划阶段为每个分支预先固定目的地、端点和工具参数约束,由 Branch Resolution Hub 校验运行时分支与参数,并在 HTTP 与 MCP 代理处强制执行。代码已开源于 GitHub。

    推荐理由论文把分支引导攻击归为数据流完整性问题,并给出在 HTTP 与 MCP 边界施加分支级约束的架构,附开源代码与多基准结果。

  13. Apple Developer · 收录 · 原文 日期未知28

    Apple 调整 macOS 完全磁盘访问权限管控

    Apple 宣布将为 macOS 的完全磁盘访问(Full Disk Access)引入额外管控,用户只有在非常明确的主动操作下才能授予应用这一权限。Apple 称部分开发者对该权限的使用方式可能让用户面临风险,暴露文件、邮件、信息和浏览历史等内容,对通讯类应用还会波及通信对象的隐私。Apple 表示,随着 AI 智能体能力与自主性增强,这一级别访问权限带来的风险将大幅上升。

  14. 论文追踪 · 收录 · 原文 论文54

    TACIT:从 LLM 内部状态检测 Agent 轨迹危害

    多伦多大学研究者提出 TACIT,用冻结 LLM 内部状态的线性探针判断工具调用轨迹是否安全,不解码任何 token。分析发现,现有开源护栏模型对不安全工具使用在输出上仅相当于随机水平,但该区分在模型内部状态中线性可读,且与有害内容方向近乎正交,两者不能互相替代。在六个轨迹安全基准上,TACIT 将平均 macro-F1 从最强开源护栏的 62.3 提升到 86.2(Qwen3-4B)和 85.4(Llama-3.1-8B);每个基准完全留出训练时仍以 65.7 对 61.1 领先。相同骨干、数据与测试划分下,冻结读数与全量安全微调相当,叠加在微调模型上还能进一步提升;探针可训练参数量约为全量微调的百万分之一,训练时间约六分之一,推理延迟 40ms,低于 Qwen3Guard 的 215ms。

    推荐理由论文给出用冻结模型内部状态做轨迹安全判读的方法,并附与护栏模型和全量微调的对比数据,可供做 Agent 监控的团队参考。

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文36

    依赖引导回滚修复:为记忆增强 Agent 恢复错误记忆后的答案与状态

    研究者提出依赖引导回滚修复(dependency-guided rollback repair),用于在记忆增强 Agent 执行失败并诊断出错误记忆后,同时恢复答案与持久状态并保留未受影响的工作。该方法从运行时溯源构建带类型的记忆到动作图,追踪显式下游依赖,保留有独立可信支持的候选,停用无支持的记忆状态,并只选择性重放与答案相关的受影响计算。在覆盖三个工具使用领域、四类记忆故障的 150 例受控基准上,恢复率达 85.3%,高于最佳对比方法的 77.3%,同时移除全部被诊断的错误记忆并保留全部良性记忆;在改编自 LongMemEval-V2 的 50 例轨迹压力测试中恢复率为 68.0%,对比方法为 54.0%,主张失效 F1 为 0.669 对 0.603。作者指出结果并不代表轨迹重建全面更优,而是显示该方法在恢复与成本之间取得较好权衡。

  2. 论文追踪 · 收录 · 原文 论文29

    贝叶斯辩证论证(BDA):面向持续对抗下多 LLM 委员会的可校准聚合

    针对多 LLM 委员会在部分智能体持续不可靠时置信度无法反映正确概率的问题,研究者提出贝叶斯辩证论证(BDA),把委员会中提议、质疑、让步等类型化动作视为带每个智能体可靠度的标注者模型观测,从而将多智能体审议转化为可靠度估计问题。BDA 按推断出的智能体可靠度加权证据,输出候选答案的可校准后验概率,并能反转而非仅票数压制持续不可靠的智能体。在二分类与多分类基准上,BDA 在零额外 LLM 调用成本的委员会聚合方法中取得最佳校准,并在持续对抗联盟下提升鲁棒性,干净场景中仍具竞争力。

  3. 论文追踪 · 收录 · 原文 论文38

    CAGE:面向工具调用 Agent 的类型化返回不确定性认证授权方法

    研究者提出 CAGE,用于在工具返回存在绑定错误与数值漂移时,判断候选动作是否仍处于授权范围内。作者证明分类通道与数值通道分别认证无法组合,各自安全的扰动可能联合使同一动作变得不安全,因此 CAGE 直接对联合邻域做认证,精确枚举离散分支并在每个分支内认证连续扰动。在合成、policy-as-code、监管与真实交易等场景中,CAGE 消除了精确逐点门控会放行的预算内误授权,同时保留一定比例可自主执行的决策。当策略可执行时由 CAGE-Exact 认证策略本身,否则由 CAGE-Lip 与 CAGE-RS 在明确且可测量的保真度假设下认证学习得到的门控。

  4. 论文追踪 · 收录 · 原文 论文42

    Twin Agent:面向权限分离智能体的上下文残差压缩

    研究者提出 Twin Agent,一种受残差编码启发的通用权限分离设计模式,用于抵御来自不可信上下文的提示注入攻击。该设计由两个近似对称的智能体组成:Explore Agent 检查不可信信息,Safe Agent 执行特权操作;Explore Agent 以 Safe Agent 当前上下文为条件,只向其传递关于下一步动作的紧凑提示,从而减少维持任务效用所需的信息量。作者通过测量提示长度变化时效用与攻击成功率的变化,验证了该设计在安全与效用之间取得更好的权衡。在 SWE-bench Lite 的长程软件工程任务以及 AgentDojo、DecodingTrust-Agent 的异构多工具交互任务上,Twin Agent 在保持高任务效用的同时阻止了提示注入攻击,表现优于无防御智能体和权限分离基线。

  5. 论文追踪 · 收录 · 原文 论文41

    IntentCap 提出按任务意图限定 LLM Agent 权限的机制

    论文 IntentCap 提出 LLM Agent 的能力应按当前任务意图限定,而不是按沙箱或会话生命周期限定。作者指出,用户请求、工具返回结果、文档、shell 输出、Skill 与 MCP 指令、记忆等上下文来源都进入同一规划通道且影响力相同,但信任级别不同,对抗注入或范围意外扩大都可能让低信任来源获得选择目标或扩大权限的能力。IntentCap 从用户意图、工作流指令、工具 schema 和运行时环境四类来源组合能力,采用字段级归属与单调收窄,任一来源都不能填补其他来源的字段,生成的租约只能收窄用户已授权权限。系统用 LLM 生成短期租约,由确定性检查器在任何副作用提交前校验,并通过工具层与操作系统层的信息流策略执行。评估显示 IntentCap 能阻断测试中的违规行为且不拒绝正常操作,各来源边界均独立必要,检查器可跨工具、执行、放置和委派边界泛化。

  6. 论文追踪 · 收录 · 原文 论文36

    CAVA:面向智能体 AI 运行时治理的规范动作验证与证明

    论文提出 CAVA(Canonical Action Verification and Attestation),一个运行时语义层,用于把本地编码钩子、SDK 工具、浏览器自动化、托管智能体轨迹、API 网关和工作流引擎等异构运行时中的智能体活动转换为规范运行时动作对象。CAVA 位于 Proof-Carrying Agent Actions(PCAA)之下,PCAA 定义部署方拥有的路线-审查-证明治理流程,CAVA 定义该流程所治理的稳定动作对象。论文形式化了规范动作身份、语义模式检测、审批绑定、回执完整性、运行时可移植投影和可选证明基底。作者通过一个 96 种子、384 变体的基准测试参考实现,覆盖语义等价、语义分离、包装器绕过、误报控制、审批绑定、回执可复现性、证明篡改检测、运行时可移植性、语义模式检测、策略退化和 Azure 部署演练。

  7. 论文追踪 · 收录 · 原文 论文35

    Janus:面向长时程智能体安全的前瞻性潜在风险预测框架

    研究者提出 Janus,一个面向长时程智能体安全的前瞻性框架,通过多智能体模拟合成多样化轨迹,训练护栏模型从部分轨迹中预判延迟风险。Janus 联合优化风险预判与安全裁决两项任务,采用 CoAA-RL 以预判对下游安全判断的效用作为奖励。所得护栏模型 Vanguard 可在动作执行前拦截不安全行为,在四个智能体安全基准上平均防护能力较基线护栏提升 15.9 个百分点,同时良性任务完成率提升 5.1 个百分点。

  8. 论文追踪 · 收录 · 原文 论文48

    研究测量 LLM Agent 记忆投毒防御的良性场景开销

    研究者搭建统一测量装置,在记忆后端、检索流程和评判模型保持一致的前提下,只改变防御本身,评估 LLM Agent 记忆投毒防御在完全良性流量下的效用损失与 token 开销。测试覆盖三种写入时防御(输入清洗、来源检查、基于 LLM 的异常检测)和一种读取时防御(重排序),每种条件在五段对话上重复三次,以区分真实效应与流水线噪声。写入时防御未显示出可分辨的效用损失,95% 置信区间约为正负 4.5 个百分点并包含零。重排序器则使核心准确率下降 4.4 个百分点(95% CI [-9.0,-0.05],bootstrap;McNemar p=0.064),该结果可复现但处于测量分辨率边缘;在无攻击对话中,它隔离了 33.6% 的合法记忆条目,单段对话最多出现 106 次误隔离,token 开销为 2.7%。研究认为,决定防御良性场景代价的是它拦截流水线的位置,而非是否使用 LLM。

  9. 论文追踪 · 收录 · 原文 论文39

    Planarian:用状态点管理 Agent 的本地与远程状态

    研究者提出 Planarian,一个带状态管理能力的 Agent 运行时,让 Agent 和用户能从错误操作中恢复,并在一致的本地与远程环境状态上探索替代执行路径。其核心抽象是 agent statepoints,即环境状态在某一时刻的一致、可恢复版本。Planarian 向 Agent 和用户暴露三个原语:snapshot 通过增量进程与文件系统快照捕获本地沙箱状态,并以补偿动作透明记录远程状态变更,无需外部服务支持 checkpoint;rollback 回退到先前的本地 checkpoint 并重放补偿动作以撤销远程变更;fork 从某个 statepoint 创建多个隔离分支,让 Agent 并行探索不同方案。作者称 Planarian 能让 Agent 撤销错误并并行探索替代方案,任务质量最高提升 15 倍,用户从错误操作中恢复的额外开销仅 3%。

  10. 论文追踪 · 收录 · 原文 论文36

    论文:容器、权限规则与沙箱都无法区分读取研究代码的是编译器还是编码 Agent

    Shobhan Roy 的论文指出,基于物理的求解器必须让编译器读取某些模块,但同一批知识产权不应被编码 Agent 读取,而现有工具链并不自带这条规则。作者针对容器、权限规则和沙箱三种隔离手段,对十五条读取路径做了分类,结论是三者都无法判断究竟是哪个程序在读取文件。论文共 6 页,含 1 张图和 1 张表,随附分类与历史脚本及其输出,归入 cs.CR、cs.AI 与 cs.SE,编号 arXiv:2609.35557。