跳到正文

Agent 安全

今天新收录 10 条

第 15 页更新的内容回到最新

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文41

    研究提出人机审计协作框架 HAAC,并在对话购物 Agent 上验证

    研究者提出 Human-Agent Audit Collaboration(HAAC)工作流与系统,用于在 AI 审计中划分人与 AI 智能体的分工,让智能体承担探索、评估、报告和复核,同时在需要情境判断的环节保留人类监督。团队将该框架实例化到对话购物 Agent 上并开展两项研究:71 名审计员的实验显示,AI 辅助提高了攻击成功率并扩大了探索范围,同时也影响了后续攻击方式,并增加了审计员对 AI 生成评估与报告的依赖。对负责任 AI 从业者的访谈表明,可落地的审计需要覆盖范围可见、攻击轨迹可复现,以及对审计智能体本身进行评估。

  2. 论文追踪 · 收录 · 原文 论文46

    论文提出推理阶段 AI 治理的可行性分类框架

    论文《Beyond Training: A Feasibility Taxonomy for Inference-Time AI Governance》提出,当前算力治理以训练算力和训练后模型为监管单元,而推理时扩展、智能体脚手架和模型压缩正把能力迁移到部署阶段。作者构建了覆盖监控、验证与执行三类共二十项推理阶段机制的可行性分类,按四级就绪度量表对照四家厂商的证据基础评分,其中十五项已有商用技术底座在生产环境中运行,但治理级保证与对抗鲁棒性差异明显。用三维能力层级乘四类对手角色的对手模型做压力测试后,没有机制能对高能力国家层级部署者评为充分,微调会移除执行类机制中模型内部的组件,平台外部控制仍可保留。作者还通过替换分析把该分类与一篇配套硬件论文相连,提出条件性替换原则,并报告随机子集二次评分的一致性为二次加权 Cohen's kappa 0.74。

  3. 论文追踪 · 收录 · 原文 论文50

    Mind2Web-Injection:面向网页 Agent 视觉提示注入护栏的证据对齐评测

    研究者提出 Mind2Web-Injection 基准,用于评估网页 Agent 护栏中的视觉提示注入检测,包含 9,954 组指令与截图配对、指令相关标签、像素级证据框和匹配的图像侧反事实样本。在六个 VLM 上,平均精度几乎相同的两个模型在证据对齐检测(EAD,即既检出攻击又正确定位证据的比例)上相差九倍。为检验判定是否依赖被引为证据的指令,研究者把指令替换为认可该指令的版本,最强的开源定位模型 Qwen3-VL-32B 仅在 58.7% 的情况下返回对齐,而 GPT-5.6-luna 为 99.9%。作者还提出两种免训练干预:ReadGate 在不改变判定的前提下改善定位,CmdCompare 检验显式指令与命令比较能否解决指令侧不一致,并主张分别报告判定正确性、证据定位和反事实响应。该工作被 ECCV 2026 BEAM2 研讨会接收为口头报告。

  4. 论文追踪 · 收录 · 原文 论文39

    Planarian:用状态点管理 Agent 的本地与远程状态

    研究者提出 Planarian,一个带状态管理能力的 Agent 运行时,让 Agent 和用户能从错误操作中恢复,并在一致的本地与远程环境状态上探索替代执行路径。其核心抽象是 agent statepoints,即环境状态在某一时刻的一致、可恢复版本。Planarian 向 Agent 和用户暴露三个原语:snapshot 通过增量进程与文件系统快照捕获本地沙箱状态,并以补偿动作透明记录远程状态变更,无需外部服务支持 checkpoint;rollback 回退到先前的本地 checkpoint 并重放补偿动作以撤销远程变更;fork 从某个 statepoint 创建多个隔离分支,让 Agent 并行探索不同方案。作者称 Planarian 能让 Agent 撤销错误并并行探索替代方案,任务质量最高提升 15 倍,用户从错误操作中恢复的额外开销仅 3%。

  5. 论文追踪 · 收录 · 原文 论文36

    论文:容器、权限规则与沙箱都无法区分读取研究代码的是编译器还是编码 Agent

    Shobhan Roy 的论文指出,基于物理的求解器必须让编译器读取某些模块,但同一批知识产权不应被编码 Agent 读取,而现有工具链并不自带这条规则。作者针对容器、权限规则和沙箱三种隔离手段,对十五条读取路径做了分类,结论是三者都无法判断究竟是哪个程序在读取文件。论文共 6 页,含 1 张图和 1 张表,随附分类与历史脚本及其输出,归入 cs.CR、cs.AI 与 cs.SE,编号 arXiv:2609.35557。

  6. 论文追踪 · 收录 · 原文 论文35

    JEV 作为智能体轨迹安全评判器:与生成式 LLM 评判器的实证对比

    研究对比了类型化决策模型 JEV 与四个生成式 LLM 评判器在智能体轨迹安全分类上的表现,测试覆盖四个基准共 5,219 条轨迹。JEV 的基准平均正类 F1 为 77.8,高于最强生成式配置 GLM-5.2 的 74.1,有效结果覆盖率分别为 95.5% 和 94.4%。JEV 在 ATBench500 和 MCPHunt 上领先,GLM 在 R-Judge 和 TraceSafe 上领先;JEV 成功调用延迟中位数 0.99 秒,每次有效判断的 token 成本平均约 $0.000195。

  7. 论文追踪 · 收录 · 原文 论文36

    AgentRewind:面向长周期 LLM Agent 的可恢复执行框架

    研究者提出 AgentRewind,一个运行时恢复框架,通过记录 Agent 上下文与受控环境对齐的检查点,让 Agent 能回到较早状态并利用此前尝试的信息继续执行,以应对长周期任务中早期错误在上下文和环境状态中传播、后续动作难以逆转的问题。作者同时构建 MettleBench,用于评估包含一系列相关需求的长周期工程任务上的任务完成度与部分进展。在多种任务、多个模型、执行策略和 Agent harness 上的实验显示,AgentRewind 相比对比基线提升了任务成功率和平均清单进度。论文共 19 页、5 张图,发布于 arXiv(2608.14380)。

  8. 论文追踪 · 收录 · 原文 论文46

    论文提出诊断长程安全 LLM Agent 失败来源的检查点方法

    研究者提出一套诊断方法,用检查点标注安全任务,把失败划分为能力暴露之前与之后,并通过受控干预检验疑似上游瓶颈。该方法在四类任务上评估,分别涉及延迟复用已发现信息、复用已观察状态、从失败策略中恢复以及不确定结果后的决策。在状态复用任务上,检查点分析显示 Gemini 2.5 Flash 的许多失败发生在模型观察到后续需要复用的状态之前。在一项预先设定的 92 个种子研究中,针对性的协议消歧引导把状态观察率从匹配非引导对照消息下的 65.5% 提升到 95.4%。用 Gemini 3.7 Flash 重复同一设计得到相反效果,且状态观察不再可靠预测任务完成。

  9. 论文追踪 · 收录 · 原文 论文52

    Blindspot:面向长程工具调用 Agent 的安全与拒答校准基准

    研究者提出 Blindspot,一个针对长程工具调用 Agent 的轨迹级安全校准基准,通过自适应对抗交互、有状态工具执行和基于执行结果的判定来评估完整的用户—Agent—环境轨迹。当前版本包含 7 个领域的 22 类攻击和 35 个场景,生成超过 2500 条长程轨迹,平均交互长度 14.7 轮,每条轨迹被归为安全完成、正确拒答、不安全完成、过度拒答或不确定五类结果之一。与固定攻击数据集不同,Blindspot 是可扩展的实时仿真框架,攻击、场景、工具、策略、领域和 Agent 配置均可新增而无需重设计评测流程。

  10. 论文追踪 · 收录 · 原文 论文38

    FlowReview:以授权配对评测控制多智能体组合信息流

    研究者提出授权配对评测(authorization-paired evaluation),把拦截被禁止用途与完成必需授权用途设为同一成功标准,并给出 FlowReview 框架,串联对象解析、权限排序与确定性执行。在受控组合实验中,对组合产物进行审查把拒绝提交率从 86.0% 降到零,且未损失授权供给。作者据此指出,仅保留信息与来源血缘不足以确保正确的权限归属,对象身份与权限必须通过输出可验证的组件与执行保持连接,多智能体安全需要在治理组合信息流的同时保留使协作有价值的授权能力。论文共 44 页、9 张图,代码与数据已公开。

  11. 论文追踪 · 收录 · 原文 论文48

    论文研究递归自我改进中的安全失效为何持续及智能体如何恢复

    论文研究递归自我改进(RSI)中智能体跨代保留改动时,不安全行为为何持续以及如何恢复。作者构建状态化授权任务测试台,由固定 LLM 编辑器优化可执行的智能体组件,并用独立轨迹记录其效果。当新的授权依赖使此前测试过的优化失效后,48 条框架历史中有 22 条因沿用历史分数而保留了同样的不安全程序,尽管每个受影响的存档中都存在正确替代方案;刷新分数可在原始测试集上恢复正确性,但在独立组合的测试上仍有残余失败。当所有提案被拒绝、失败的现有程序继续运行时,失败也会在合约不变的情况下持续。从共同失败出发,改为编辑初始实现而非失败实现可改善恢复,但优势因编辑器而异。

  12. 论文追踪 · 收录 · 原文 论文42

    ZeroGate:为受治理 AI Agent 运行时提供保留信任的快速路径

    Zexun Wang 提出 ZeroGate,把精确动作审批与持久化本地准入分离:签发方签署短时 ActionPass,受信任的运行时适配器在本地门检查绑定并消耗 nonce 前重建最终动作,并用 SQLite 事务把 nonce 消耗、配额更新与准入回执耦合在一起。论文给出条件性决策保持命题:在审批可靠、策略依赖完整且最新、观测忠实、消耗原子等前提下,本地准入成功意味着指定的同步策略会在准入点授权同一动作。作者强调实现本身不保证当前世界的新鲜性,也不保证远程效果恰好一次。评估包含语义夹具、并发与崩溃实验,以及 Azure Blob 上同步与准备式执行的对比:4800 次云端尝试中,准备式从 worker 准入到分发的 p95 为 9.802 至 11.374 ms,同步方式为 25.018 至 334.000 ms,但准备式的完整生命周期均值在各并发级别都更长,边界改善并非净加速。

  13. 论文追踪 · 收录 · 原文 论文55

    研究揭示过期文档投毒:RAG 检索可让模型放弃原本正确的答案

    南丹麦大学研究者提出并量化了 stale-document poisoning(过期文档投毒):当检索到的证据本身已过时,模型会放弃不检索时本已答对的答案。他们构建了覆盖医学、法律、软件与平台政策的 317 条知识反转基准,每条都配有官方来源。在 12 个模型上,过期检索在无信任指令时翻转了 30% 的 Llama 与 37% 的 Qwen 答案,加入明确遵循文档的指令后升至 66% 和 75%;四个开源模型、四个领域的投毒率为 17%–91%,而匹配的最新证据被遵循的比例为 97%–100%。在 50 条已验证反转上固定证据、只改变评估日期时,仅凭日期带来的调整有限,但明确告知旧证据何时失效后,Qwen-72B 完成全部 50 次切换,Llama-70B 在表格格式下完成 50/50。因果干预显示评估日期处的内部状态可直接改变答案,注意力层是早期主要贡献者,且同一组件也参与一般比较任务。

    推荐理由论文给出过期文档翻转正确答案的跨模型数据,并区分日期与有效性边界两种条件,为 RAG 部署方提供可复现的失效模式。

  14. 论文追踪 · 收录 · 原文 论文56

    SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%

    加州大学伯克利分校研究者提出 SecOPD,用同策略蒸馏为防御微调提供 token 级反馈,替代 DPO、GRPO 等序列级信号。训练时学生模型在含注入的输入上生成 rollout,冻结的初始化模型在去掉注入的干净输入上为同一批 token 打分,与可信任务一致的 token 被鼓励、跟随注入的 token 被抑制。在 Qwen3.6-27B 上,面对 SoTA 自适应攻击 PISmith,SecOPD 的攻击成功率为 9.0%,此前 SoTA 的 Meta-SecAlign 为 94.0%,GRPO 为 61.2%;静态 SEP 攻击下 SecOPD 为 1.3%。在训练未见的 AgentDojo 工具调用场景,SecOPD 为 4.7%,Meta-SecAlign 为 5.5%,GRPO 为 0.7% 但效用降至 82.5%。代码与模型已开源。

    推荐理由论文给出 token 级反馈的防御微调配方,并报告在自适应攻击与工具调用场景下的 ASR 对比,可作防御方案选型参考。

  15. 论文追踪 · 收录 · 原文 论文52

    BioSecBench-Surveillance:面向病原体基因组监测 AI 智能体的可验证基准

    研究者发布 BioSecBench-Surveillance,一个包含 100 项评估的可验证基准,测试 AI 智能体能否从原始测序数据和监测背景中推断出正确的分析流程。每项评估只给智能体与人类分析师相同的数据和背景,再对其结构化答案做确定性评分,任务覆盖从分类学鉴定到基因工程检测等七个类别,涉及多种样本类型和测序技术。在来自十六组模型与工具链组合的 3962 次可评分尝试中,最强配置仅通过约一半:Opus 4.8 搭配 PI 以 50.2% 领先(83 项评估,95% 置信区间 40.1 至 60.3),与 GPT-5.5 搭配 Codex 的 50.2%(95% 置信区间 40.8 至 59.6)持平,其后是 Opus 4.7 搭配 PI 的 49.6% 和 Sonnet 4.6 搭配 PI 的 48.6%。该基准为衡量智能体在下一次疫情暴发时能否被信任执行基因组监测提供了标准。

  16. 论文追踪 · 收录 · 原文 论文53

    BioSecBench-Refusal:面向智能体生物安全风险评估的配对基准

    研究者发布 BioSecBench-Refusal,一个用于评估生物研究任务风险识别与拒答行为的基准,将 61 个取自已发表文献的合法常规任务与 46 个看似真实研究但暗藏生物安全风险的虚构红队任务配对。在 16 种模型与框架组合中,常规任务的拒答率为 7% 至 74%,红队任务为 1% 至 62%,许多组合拒绝合法常规工作的比例与拒绝隐藏风险相当甚至更高。拒答最常由智能体推理之前生效的提供商 API 过滤器触发,而获得推理空间的模型表现出识别更多真实威胁的潜力。作者将该基准作为工具发布,供模型开发者校准智能体生物技术研发的能力与审慎程度。

  17. 论文追踪 · 收录 · 原文 论文48

    论文:智能体知道被监控后,激活探针仍能识别其串谋

    研究者测试了基于内部激活的探针在智能体知情时是否仍能检测多智能体串谋。实验固定模型、探针与阈值,只改变智能体被告知的内容,分为不知情、知道存在激活监控、以及额外收到上一轮监控分数三种条件,在四人 blackjack 与两人 Simmons 囚徒博弈中进行,使用 Qwen3-32B-AWQ 和 GPT-OSS-20B 的同构与混合配对。结果显示,告知智能体监控存在并不能让它们隐藏,最佳探针在三种条件下都保持准确,智能体也继续串谋。

  18. 论文追踪 · 收录 · 原文 论文42

    研究者提出 k-robust 联盟对齐,用多智能体评审委托授权

    研究者针对长时程 AI 智能体的控制问题提出 k-robust 联盟对齐(k-robust coalitional alignment)条件,用于把有后果动作的审批委托给其他 AI 智能体评审。每个评审智能体报告提议智能体的动作提案是否相对基线提升自身效用,作者证明容忍 k 个否决的阈值规则安全,当且仅当在移除任意 k 个评审者后,主方的效用可写成剩余评审者效用的非负组合,再加上一个在所有可行提案上非负的项。该刻画可推广到序贯控制:在折扣 MDP 中,任意提议智能体下每个状态的安全性是诱导策略不劣于基线的充要条件。当评审者策略性投票时,奖励函数空间中的全面板覆盖可保证一致同意规则下所有 Nash 均衡安全,而更宽松的阈值即使评审者各自对齐也可能出现不安全均衡。作者用现有评审模型做的实验显示,即使容忍部分否决,集体评审也能在没有单个对齐评审者的情况下保持可靠。

  19. 论文追踪 · 收录 · 原文 论文40

    ActionGuard:在工具调用执行前拦截被投毒技能

    研究者提出 ActionGuard,在技能影响的工具调用即将执行前进行授权检查,以阻止被投毒技能诱导的数据外泄、文件删除或未授权代码执行。该方法把目标智能体的动作生成上下文与护栏的授权上下文分离,Reviewer 不接触可能被投毒的原始技能文本,而是依据平衡后的技能画像、当前及近期工具调用和本地脚本内容,判断每个动作是否由可信用户请求所支持。ActionGuard 在 OpenClaw 的 before-tool-call 阶段拦截每次工具调用,并以 fail-closed 策略执行 ALLOW 或 DENY 决定。在 SKILL-INJECT 设置下,针对 139 个上下文注入和 180 个明显注入,使用三个开源和两个商用 Reviewer 模型与 Dynamic Guardian、SkillGuard 对比,每种条件重复三次,以攻击成功率(ASR)和任务成功率(TSR)评估。

  20. 论文追踪 · 收录 · 原文 论文29

    面向软件交付决策门禁的智能体安全审计器持续保障机制

    针对基于 LLM 的仓库审计器在 CI 流水线中作为安全控制时因非确定性行为和策略变化难以维持即时保障的问题,研究者提出 Policy-Evidence-Execution Separation Pattern,并由 Trustworthy AI Posture(TAIP)Assurance Engine 以 Continuous Control Posture Assurance(CCPA)方式运行,将策略与稳定执行分离、把被采纳证据绑定到版本化 Posture Tree。该单主机测量仅覆盖对留存证据的保障,不含 RepoAudit 执行与模型推理。

  21. 论文追踪 · 收录 · 原文 论文43

    研究者提出多智能体系统输出与委派链路双层存证方案

    研究者提出一种面向多智能体系统的双层存证设计,用于在事故后回答两个问题:哪个部署方发布了被报告的字节,以及每条跨部署方边是否获得授权。该设计不依赖共享权威、公共日志或预先约定的工作流,由受信任的部署方运行时对每次发布输出的哈希签名,并以链路证据记录边的授权情况。在统一威胁模型下,作者比较了签名链表、Merkle 链变体和共同签名 DAG 三种方案:子密钥被攻破后,单签名设计允许未授权的父级绑定,而共同签名 DAG 因要求父级授权该边而拒绝该绑定。在 Apple M1 Pro 上,仅链路检查每跳耗时 24.3-499.2 微秒;在本地多服务工作流中,父级发现子级的 A2A Agent Card,子级调用 MCP 工具并发布本地 LLM 输出,30 个签名 DAG 任务全部通过完整验证,仅凭子密钥的受控声明被拒绝,平均端到端延迟 813.1ms,无证据时为 770.8ms。

  22. 论文追踪 · 收录 · 原文 论文38

    AgentKernel:面向 Agent 的可信原生操作系统内核

    研究者提出 AgentKernel,一个把安全作为首要设计约束的可信原生 Agent 操作系统,为身份、输入中介、记忆治理和执行控制提供强制且不可绕过的服务。作者认为现有治理方案仍是应用层中间件,与被监控的 Agent 共享同一进程信任边界,因此需要操作系统级底座。AgentKernel 将 Agent 生命周期包进强制执行边界,分为身份、感知、认知、执行四个支柱,分别应对委托滥用、提示注入、记忆投毒和工具误用。其中内核管理的身份支持跨组织协作,分级感知替代单点过滤,受信息流控制的记忆在限制投毒的同时提升检索保真度,语义到内核的执行机制让更宽的工具权限处于不可绕过边界之后。论文共 38 页、5 张图,通过系统比较与安全分析论证该架构可在整个 Agent 生命周期内实施安全约束。

  23. 论文追踪 · 收录 · 原文 论文42

    研究者提出零知识谓词证明网关,在 MCP 与 Agent2Agent 上实现 Agent 间数据最小化

    研究者提出 Zero-Knowledge Proof Gateway,让 AI 智能体之间交换治理定义谓词的证明而非原始数据,从设计上避免数据暴露,并针对现有互操作协议无法承载此类证明的问题,在同一端点上为 MCP 和 Agent2Agent 实现该插槽。32 位阈值谓词在单颗商用 vCPU 上证明耗时 6.2 ms、验证 1.0 ms,Bulletproofs 证明为 608 字节;11 项对抗实验与 19 项协议检查通过,系统部署到 Kubernetes 并经验证网络隔离。案例研究在不透露金额的前提下证明某零售客户订单在限额内,将 GDPR 数据最小化原则落实为技术措施。论文还指出谓词证明只把陈述绑定到已承诺的值、不绑定到记录系统,为此给出将 enclave 证明与证明双向融合的构造,使验证单个产物即可同时确认谓词成立且该值由特定已度量二进制读取,并在模拟权威机构上做了测试。

  24. 论文追踪 · 收录 · 原文 论文29

    面向安全 AI 渗透测试智能体:安全威胁、护栏与架构视角

    针对 LLM 驱动的自主渗透测试智能体,研究者系统分析了其智能体架构、信任边界与攻击面,提出覆盖 LLM 生命周期攻击、智能体架构攻击和跨领域行为攻击的威胁分类体系。研究指出,具备持久记忆、真实世界行动能力和长时程推理的渗透测试智能体带来不同于传统对话式 LLM 的安全隐患,现有对话 AI 护栏机制可能不足以保障其安全,并梳理了现有护栏的局限与关键研究空白,探讨面向下一代 AI 攻防系统的专用、上下文感知与架构感知护栏方向。

  25. 论文追踪 · 收录 · 原文 论文52

    AgentFlow:面向 LLM 智能体系统的流中心策略语言与运行时防护框架

    研究者提出 AgentFlow,一种以数据流为中心的策略语言与运行时执行模型,用于规定敏感数据在 LLM 智能体系统中可以流向何处。策略定义在带标签的运行时边上,约束哪些工具可接收敏感字段、哪些汇聚点可接收释放的数据,以及何种权限可跨越委派边界,语言支持流规则与路径规则、任务范围能力、受控释放和有状态污点语义。运行时参考监视器介入智能体动作,基于有界 SMT 的验证器对结构化策略片段检查安全属性。原型中七项安全属性每项在 0.5 秒内完成验证,验证器捕获研究中全部植入的不安全策略变体。在 AgentDojo 四个套件的 949 个注入案例上,确认失陷率从 33.0% 降至 0.0%,总体效用从 46.7% 升至 63.3%;在 200 例 AgentDyn Dailylife 基准上,确认失陷率从 73.5% 降至 0.0%,效用基本持平(44.5% 至 43.5%)。

  26. The Guardian · 人工智能 · 收录 · 原文 54

    OpenAI 安全负责人 David Robinson 离职,称公司文化已崩坏

    曾主导撰写 OpenAI 产品发布配套安全报告的 David Robinson 已从 OpenAI 离职,并在 The Atlantic 发表题为《我离开 OpenAI,因为它的文化已崩坏》的文章,称前沿 AI 公司对技术开发不够谨慎,需要的是文化层面的改变而非具体规则或新法律。他提到 OpenAI 智能体集群攻击 Hugging Face 一类事件在行业高速运转下具有典型性,并警告公司对问题抱有无节制的乐观,随着系统能力提升,安全失效只会增多。他提出两项建议:借鉴核能与航空等领域的既有安全经验,并发展能让自主运行的强大系统被约束的新科学。文章还提到,OpenAI 近期在 Hugging Face 事件后通知了 100 多家机构有关失控智能体活动,本周宣布因内部测试中的安全担忧放弃发布一款下一代模型,并暂停了最先进模型的训练。批评者认为这类警告无法验证或证伪,因而缺乏科学性。

    1 条报道 · 1 个来源查看事件时间线与全部报道
10月3日周六
  1. 实践哥 Li · 收录 · 原文 56

    ChatGPT Mac 客户端修复进程信任链绕过漏洞

    ChatGPT Mac 客户端修复了一个可绕过进程签名校验的漏洞,OpenAI 于 9 月 25 日发布修复,并在 changelog 中致谢研究员 Patrick Wardle;发帖者称该漏洞编号为 CVE-2026-100754、修复版本为 26.924.20706。该客户端在内部组件通信时会校验调用进程是否由 OpenAI 签名,并向上追溯父进程与祖父进程。研究者发现 ChatGPT 自带且被信任的脚本解释器可被嵌套启动三层,使恶意代码的进程链在向上三层检查中全部显示为 OpenAI 可信组件,从而通过验证。发帖者称攻击代码约十几行,一旦绕过即可借 ChatGPT 身份读取聊天记录并获取电脑权限。帖子同时转引作者自己此前的一条帖子,认为 macOS 正在收紧 Full Disk Access,以防 AI Agent 读取文件、邮件、Messages、浏览历史、配置和日志。

    1 条报道 · 1 个来源查看事件时间线与全部报道

    推荐理由还原了 ChatGPT Mac 进程信任链被绕过的具体机制与修复版本,可对照检查同类 Agent 的权限校验设计。

  2. 论文追踪 · 收录 · 原文 论文52

    ZoneClaw 用记忆分区防御 OpenClaw 式计算机使用 Agent 的持久记忆攻击

    研究者提出 ZoneClaw,通过把 OpenClaw 式计算机使用 Agent 的扁平工作区记忆改为带明确权限等级的分层信任区,切断持久化与权限之间的绑定,防御持久记忆攻击。这类攻击中,攻击者只需控制看似无害的外部内容,就能让 Agent 在正常任务中写入有利于攻击者的声明,这些声明随后会支配攻击者从未接触过的正常任务,攻击链从恶意上下文到恶意响应延伸为恶意上下文、记忆注入、恶意执行。ZoneClaw 让外部声明只停留在低信任区,只有跨过显式权限边界才能获得指导行动的权限,且提升时需与攻击者无法直接写入的信任区交叉校验,并通过非对称权限的角色专用进程保证没有进程同时摄取外部内容并对外行动。在四类攻击场景、两种注入设置和四个骨干模型上,ZoneClaw 将攻击成功率从 372/480 降至 6/480,同时在 458/480 次试验中保留实用性,并对部分具备防御感知的攻击者仍然有效。

  3. epoch.ai · 收录 · 原文 日期未知43

    CMU 研究者发布 ExploitBench v0.1,分级评估 LLM Agent 的漏洞利用能力

    卡内基梅隆大学研究者发布 ExploitBench v0.1,用于评估基于 LLM 的 Agent 在利用真实软件漏洞时能推进到哪一步。该基准不采用成功或失败的二元评分,而是沿一条能力阶梯逐级衡量,从触达存在漏洞的代码、触发崩溃、构建利用原语,一直到实现任意代码执行。评测对象是 Chromium 的 V8 JavaScript 与 WebAssembly 引擎中已有补丁的 N-day 漏洞,运行在默认发布构建上,并启用了堆沙箱、ASLR 和栈保护等缓解措施。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  4. Ameya P. · 收录 · 原文 46

    研究者指出 Harbor 评测框架允许 Agent 在评测前修改自身轨迹

    研究者 David Rein 指出,用于 Terminal Bench 的 Harbor 智能体评测框架允许 Agent 在评测前任意修改自己的轨迹,相关讨论记录在 harbor-framework/harbor 的 issue 3477 中。Ameya P. 转发该内容并称这是需要修复的关键问题,认为 LLM Agent 已经能够利用这类缺口。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  5. 论文追踪 · 收录 · 原文 论文42

    NovaFabric 提出可防篡改、可重放的 AI Agent 运行证据方案

    研究者提出 NovaFabric,在不修改 Agent 逻辑的前提下把一次 Agent 运行记录为可移植的 Run Capsule,用 DSSE 签名、RFC 3161 时间戳、Merkle 日志和脱敏证明封装,并支持四种模式的重放协议与第三方验证。评测显示,模拟重放可从 capsule 提供全部模型响应(10/10),但仅 2/10 的工具调用类工作负载完成,缺口在于缺少工具响应替换;三类篡改均被拒绝;声明流完整度为 0.652(95% CI ±0.064,十个场景);修复后的规则包可脱敏 14/14 类凭据并保留 9/9 个诱饵;影响范围查询在 1000 万条边上 p99 为 45.5ms,在 1 亿条边上为 167.9ms。314 台机器、十个区域的运行中,capsule REST 写入无损,但受单 worker 串行化限制,吞吐上限为 61.6 req/s(p99 26.8s)。

  6. 论文追踪 · 收录 · 原文 论文40

    SkillSentry:用自适应蜜罐世界动态检测 Agent 技能安全

    研究者提出 SkillSentry,一个基于自适应蜜罐世界的动态安全测试框架,用于检测 LLM Agent 外部技能在特定环境状态下才暴露的有害行为。该方法先推断技能的能力边界,构建由 LLM 模拟、含受控诱饵资源的环境,并自适应生成任务以探索其行为状态,再将启用技能的执行轨迹与匹配的无技能执行对比,把可疑行为定位到源码和已验证的执行轨迹上。在标准基准上,SkillSentry 取得 99.50% 召回率和 96.26% 平均 F1;在保持语义的规避攻击下平均 F1 为 92.95%,最强基线为 80.07%。作者称代码已公开。

  7. 论文追踪 · 收录 · 原文 论文54

    研究实测五套 Agent 记忆系统均不执行撤销标记

    研究者对 Graphiti、Zep(两者共用同一引擎)、mem0、langmem 和 cognee 五套采用软撤销的 Agent 记忆系统做实证测量,发现没有系统默认执行撤销:被标记为无效的事实仍可能在检索时返回,导致 Agent 选择不安全动作。实验覆盖九个策略场景、六个厂商的九个模型,每个试验在六种防御条件下评分。五套系统中有两套会同时返回撤销记录和替代记录,这两套在所有场景中都把撤销记录排在当前记录之前,并在超过五分之二的试验中让 Agent 选了不安全动作。作者据此开发了一个位于 Agent 与记忆后端之间的护栏,在读取时检查记录有效性,扣留已撤销或与替代版本冲突的记录,并在相同系统与模型上验证其效果,代码已开源。

    推荐理由论文实测五套 Agent 记忆系统在检索时均不执行撤销标记,并给出一个可复现的检索层护栏设计。

  8. 论文追踪 · 收录 · 原文 论文56

    斯坦福与 UC Berkeley 发布 MobileCybench:用可执行探针评测 Agent 漏洞发现

    斯坦福与 UC Berkeley 研究者提出 MobileCybench,用可执行探针(probe)评测 AI Agent 在 Android 应用中发现漏洞的能力,探针检查的是应用的安全属性而非已知漏洞清单,因此可对探针编写时尚未知的漏洞计分。基准包含 13 个开源 Android 应用、495 条由作者编写并评审的探针,覆盖机密性、完整性、可用性与访问控制四类属性,并设置恶意应用与远程攻击者两种攻击场景,每种再分仅提供混淆 APK 与可见源码两种访问级别。所有触发均来自应用特定探针,通用探针从未触发。构建与运行基准过程中发现 23 个此前未报告的漏洞,维护者已确认 12 个,其中 7 个已修补、5 个已确认,6 个获得公开 CVE 编号。

    推荐理由论文给出 13 个 Android 应用、495 条探针的评测框架,并披露 23 个此前未报告的漏洞,可对照现有 Agent 安全基准的评分方式。

  9. 论文追踪 · 收录 · 原文 论文53

    Salesforce AI Research 重测自改进 Agent:多次运行方差增大、打乱任务顺序后性能下降 4.5%

    Salesforce AI Research 对两类基于记忆的自改进 Agent(Agent Workflow Memory 与 ReasoningBank)在 WebArena、VisualWebArena、SCUBA 三个网页浏览基准上做了扩展重测,发现其可靠性被此前工作忽视。作者在两条轴上扩大评测范围:多次自改进运行以量化方差,随机打乱任务顺序以考察任务顺序的影响。结果显示,加入自改进循环后,71% 的情况下运行间方差增大,同一实验最好与最差运行的差距可达 10 个百分点;在 WebArena GitLab 子集(180 个任务)上,无记忆基线的运行间差距为 4.4%,应用 ReasoningBank 后扩大到 7.8%。任务顺序方面,默认顺序隐含了由易到难的课程,ReasoningBank 在该顺序下平均提升 1.5%,而在随机打乱顺序下反而下降 4.5%。

    推荐理由论文用多次运行与打乱任务顺序重测两类记忆型自改进 Agent,量化了被单次评测掩盖的方差与顺序依赖。

  10. 论文追踪 · 收录 · 原文 论文58

    研究者提出 MemGhost,对持久化个人 Agent 实现隐蔽记忆注入

    研究者提出隐蔽记忆注入攻击,利用不可信外部内容被静默写入 Agent 持久记忆并在此后作为可信状态复用。为评估该威胁,他们构建 WhisperBench,一个含 108 个案例、覆盖五类风险及事实与偏好投毒的基准,使用真实 IMAP/SMTP 邮件流程和真实邮件 Agent 技能进行全周期评测。攻击框架 MemGhost 通过环境代理模拟持久化 Agent 执行、目标代理将记忆采纳与会话隐蔽性转为密集奖励,再用监督微调和强化学习训练攻击策略,实现单封邮件的一次性载荷生成。

    推荐理由论文提出针对持久化个人 Agent 的隐蔽记忆注入攻击,并给出跨框架、跨记忆后端的成功率数据,可供部署此类 Agent 的团队评估风险。

  11. TC260 · 收录 · 原文 46

    全国网安标委就《智能体系统开发安全指南(征求意见稿)》公开征求意见

    全国网络安全标准化技术委员会秘书处于 2026 年 9 月 18 日发布通知,就《网络安全标准实践指南——智能体系统开发安全指南(征求意见稿)》面向社会公开征求意见,目的是指导智能体系统安全开发、防范化解相关安全风险。意见反馈截止日期为 2026 年 10 月 2 日,反馈可联系秘书处联系人李子威。

    推荐理由全国网安标委就智能体系统开发安全指南公开征求意见,关注 Agent 安全标准落地的团队可据此了解监管方向。

  12. 论文追踪 · 收录 · 原文 论文57

    研究者提出上下文权限提升攻击,12 款 Agent 框架均受影响

    伊利诺伊大学厄巴纳-香槟分校研究者对 12 款主流 AI Agent 框架的上下文装配机制做了系统安全分析,提出两类新的上下文权限提升攻击:消息角色权限提升(M-CPE)让低权限来源的内容进入高权限消息角色,跨范围权限提升(X-CPE)让攻击者内容持久化到更广作用域的来源中。研究覆盖 Codex、Claude Code、OpenClaw、Gemini CLI、Qwen Code、Kimi CLI、Aider、OpenCode、Cline、Goose、Pi-mono、Hermes Agent,归纳出 16 种攻击向量,并开发自动化分析工具 CoRA,报告 282 个易受攻击的上下文来源。概念验证攻击在 GPT-5.5、GPT-5.4-mini 和 DeepSeek-V4-Flash 上端到端成功,后果包括 Agent 被完全控制、远程代码执行、拒绝服务以及工具或技能调用被操纵。

    推荐理由论文系统梳理了 12 款主流 Agent 框架的上下文装配设计,给出两类权限提升攻击与 16 种攻击向量,部署 Agent 的团队可据此检查自身的上下文来源与角色分配。

  13. 论文追踪 · 收录 · 原文 论文60

    OpenAI 发布 GPT-Red:通过自博弈训练自动化红队智能体

    OpenAI 提出 GPT-Red,一个通过自博弈强化学习训练的自动化红队智能体,用于发现针对前沿大模型的提示注入攻击。攻击者与一组同时训练的防御者智能体对抗,攻击者因诱发有效失败获得奖励,防御者因抵御攻击并完成任务获得奖励。GPT-Red 能可靠攻破 GPT-5.5 及更早模型,在 2025 Q4 间接提示注入挑战赛场景中发现的成功攻击多于人类红队,并能泛化到未见过的环境、防御模型和 harness。它还针对 OpenAI 办公室的 AI 自动售货机系统成功实现改价、下单和取消订单三个目标。OpenAI 用 GPT-Red 生成对抗训练提示来训练 GPT-5.6,称其在多项鲁棒性评测中表现提升,例如假思维链攻击上的防御成功率从 5.2% 升至 95.9%。

    推荐理由OpenAI 公开了自动化红队智能体的自博弈训练方法与攻击效果,可了解攻击面扩展和对抗训练的新路径。

  14. 论文追踪 · 收录 · 原文 论文34

    SafeEvolve:基于智能体经验的 Harness-Policy 协同演化安全对齐框架

    SafeEvolve 是一个经验驱动的智能体安全对齐自演化框架,通过已完成 on-policy 轨迹中的安全经验驱动 harness 与 policy 的持续协同演化。harness 侧将轨迹级安全证据转化为安全提示词与分层技能的有界组件级更新,policy 侧采用两阶段 SFT-RL 范式,用 harness 增强的 RL 与验证器分解奖励塑造多步探索中的自主安全行为。在 Qwen3.5-4B 上,SafeEvolve 在 AgentDojo 实现 ASR 降低 3 倍,同时将良性效用从 59.79% 提升至 61.86%。