跳到正文

第 30 页更新的内容回到最新

10月1日周四
  1. arXiv · 收录 · 原文 论文43

    SHE:面向 LLM Agent 的轨迹驱动安全护栏演化框架

    研究者提出 Safety Harness Evolution(SHE),一个从 rollout 轨迹中学习演化安全边界的框架,用于提升 LLM Agent 的安全性。SHE 把 Agent 护栏拆成 System Prompt、Rule Bank、Safety Memory 和 Tool Policy 四类具有明确安全职责的组件,为局部演化划定功能边界。在此基础上,SHE 引入归因引导的演化循环,把轨迹失败转化为结构化诊断,学习各组件专属的边界修正,并通过安全与效用验证筛选演化后的护栏。

  2. arXiv · 收录 · 原文 论文53

    JailbreakSkill:用可复用可演化技能扩展自动化红队

    上海 AI 实验室等机构提出 JailbreakSkill,把攻击方法封装为可复用、可演化的技能,用于扩展自动化红队。框架将技能分为改写技能、失败分析技能和演化技能三类,由规划器通过统一接口选择与排序;Stage 1 用风险条件 UCB 扫描初始 16 个改写技能并记录失败轨迹,Stage 2 对未解决样本做失败诊断,通过精炼、组合或发现生成新改写技能并回填技能库。在 AdvBench 与 HarmBench 上,技能演化使宏平均 ASR 分别提升 17.5 和 13.4 个百分点,其中对 GPT-5.4 在 AdvBench 上提升 48.6 个百分点,并产生把直接请求改写为未完成文档补全任务等新策略。部分演化技能无需额外适配即可迁移到未见提示词和目标模型,代码已开源。

    推荐理由把攻击方法封装成可复用、可演化的技能库,并给出在 AdvBench 与 HarmBench 上的 ASR 提升幅度,红队工程化可参考。

  3. arXiv · 收录 · 原文 论文50

    StepGuard:用可扩展监督训练步骤级护栏,兼顾安全与效用

    研究者提出 StepGuard,一个步骤级护栏模型,既能审计已完成的智能体轨迹,也能在工具动作执行前进行检查。为训练该模型,作者设计了 StepGen 数据引擎,生成上下文相同但在风险步骤上动作不同的安全与不安全轨迹;并提出 Balance-GRPO,根据观测到的准确率动态平衡安全与不安全动作的学习,以减少过度防御和防御不足。实验显示,StepGuard 在开放权重护栏模型中平均准确率最高,性能与 GPT-5.4 相当;在 AgentDojo 和 AgentDyn 上用于守护智能体时,相比无护栏设置将平均攻击成功率降低 77.3%,平均效用仅下降 2.8 个百分点。该工作已被 EMNLP 2026 接收。

  4. arXiv · 收录 · 原文 论文35

    Safin-1:通过记忆原生状态演化实现内在安全

    研究者提出 Safin-1 基础模型系列,主张安全应是模型自身的内在属性,而非仅靠外部护栏或监督微调等事后对齐施加的行为约束。该模型基于 Memory-Anchor Routing across Context History(MARCH)架构,维护结构化记忆状态,并通过内容条件路由选择性检索相关历史信息。它支持在测试时对持久能力状态做自适应调整,无需反复修改主干网络,从而在共享基础上实现受控特化。作者在下游安全任务上以 Safety State 验证该接口,报告了基于状态的自适应带来显著安全提升,并在通用能力、长上下文理解、检索和效率上做了评估。

  5. arXiv · 收录 · 原文 论文50

    Defense-as-Skill:为技能增强型 Agent 演化运行时护栏技能

    论文提出 Defense-as-Skill 防御范式,把运行时护栏本身实现为可安装、可检查、可编辑的技能,以应对技能增强型 Agent 中恶意技能通过持久上下文长期操纵后续动作的问题。其护栏 SkillSonar 与不可信任务技能并行运行,按用户任务边界检查敏感动作,并给出允许、重新规划或确认三种决策,且不修改底层 Agent 运行时。作者构建了任务条件数据集 SCOPE-R,覆盖 6 类风险、21 个子类,含 206 个已确认攻击的恶意实例和 43 个良性任务,并用蒙特卡洛树搜索在训练子集上演化磁盘上的护栏技能。

  6. Hugging Face Daily Papers · 收录 · 原文 论文29

    PivotOPD:让多轮智能体从关键错误中恢复的在线策略蒸馏框架

    PivotOPD 是一个在线策略蒸馏框架,同时训练学生模型预防关键错误并从其造成的状态中恢复。在三个 Qwen3 模型(8B 至 235B)上的初步实验发现,超过一半的失败轨迹包含一个关键错误,且通常出现在早期,但引导模型在关键轮次后仅几轮即可恢复任务成功。在 ALFWorld、WebShop 和 Search-based QA 上对比 13 个基线,PivotOPD 对 Qwen3-1.7B 和 Qwen3-8B 学生均取得最强平均表现,1.7B 学生在 ALFWorld 上比最强基线提升 +5.5%;在 SWE-Bench Verified 上,Nemotron-3.5 学生的解决率提升 +3.2%。

  7. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文43

    SoK 综述:多智能体 LLM 系统为何会一起失效

    这篇 SoK 系统梳理了多智能体 LLM 系统(MAS)的安全问题,核心论点是安全智能体也可能一起失效。作者对 197 篇工作做了以执行为中心的分析,归纳出六类交互接口、四种攻击者位置、七类系统级风险和八条反复出现的攻击路径,并提出 A-I-R 框架,按攻击者位置、交互接口和由此产生的系统级风险来组织攻击。防御方面,作者用包含路径目标、观测、干预、信任边界和恢复五部分的契约来归类,指出路径闭合与恢复是主要挑战。作者还审查了 44 项评测与基准工作,指出在隔离交互效应、设计可比且有诊断力的指标、跨 MAS 设计复用以及评估开放系统运行方面仍存在开放问题,并主张以交互感知的视角端到端追踪攻击、检验防御是否闭合路径。

  8. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文28

    从注入到交互:LLM 时代及未来 Web 安全再思考

    一篇综述提出,LLM 正深度嵌入 Web 应用与浏览器智能体,使 XSS 等传统漏洞被 LLM 中介的交互放大,提示注入等 LLM 特有漏洞也会跨 Web 应用传播。该综述统一分析客户端、服务端与流水线三层中 LLM 对 Web 漏洞的放大效应,并评估现有防御的局限,同时探讨将 NIST 与 ISO/IEC AI 安全框架扩展至 LLM Web 环境。文章指出对抗性自然语言指令、自主智能体安全、部署后持续监控与适配三大未解挑战,并提出一个 LLM 感知的监控与控制框架,整合语义输入校验、提示词完整性保护、输出隔离、智能体治理与运行时监控。

  9. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    研究将间接提示注入重新表述为测试时搜索问题

    论文把间接提示注入表述为在环境、用户任务与注入任务共同诱导出的攻击面上进行的测试时搜索。作者据此构建了一个带专用搜索框架的智能体攻击者,执行环境侦察、对攻击策略的结构化推理,并利用受害 Agent 的反馈做自适应评估。在多种异构任务上,提高攻击者的测试时算力能提升漏洞发现与利用效果;消融实验显示,显式的策略管理对避免重复搜索、在更大算力预算下维持收益很重要。作者认为,智能体安全评测应同时刻画攻击者的搜索过程与算力预算,而不是把攻击成功率当作与预算无关的受害方属性,并指出攻击者对系统攻击面的自适应搜索是工具调用型 Agent 中重要但研究不足的安全风险。

  10. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文46

    CONTINUITY:为可组合的 LLM Agent 安全控制引入安全上下文契约

    论文提出 CONTINUITY 框架,用于解决 LLM Agent 安全控制的组合问题:来源追踪、授权、策略执行、协议适配与执行控制各自正确,但安全关键上下文在跨组件边界时可能被丢弃、放宽、重绑定或重新解释,作者将这一失效模式称为安全上下文不连续。CONTINUITY 用 assume-guarantee 契约建模每个组件,并通过签名根授权、来源承诺、角色绑定的转换回执、有界类型化释放、转换见证和效果绑定执行许可,在状态转换间传递经过认证的安全上下文。作者形式化了端到端后果完整性,要求每个实际发生的外部效果都有有效且当前的授权见证,串联主体、任务、来源、委托、策略状态、规范动作与终局边界。

  11. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文46

    AgentDrift:逐步标注注入劫持 LLM Agent 轨迹的基准

    作者发布 AgentDrift,一个包含 12,536 条合成工具调用轨迹的基准,覆盖五个 Agent 领域,71,024 个步骤每步标注为良性、注入点、被劫持或注入失败四类之一。语料含 4,000 条良性、5,536 条受攻击、1,500 条失败攻击和 1,500 条困难负样本轨迹,受攻击轨迹遵循三种合规模式,其标签串符合给定的正则文法;失败攻击保留被 Agent 抵制的注入,困难负样本则是形似攻击的合法内容,检测器需区分尝试与成功、偏离与新异。轨迹由单一开源模型按类别特定协议生成,经封闭词表结构校验器约束、LLM 评判器筛选,并对 1,200 条轨迹人工审计,作者指出 LLM 评判器本身被困难负样本骗过。

  12. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文53

    CoER:用对抗协同演化与精炼防御自适应间接提示注入

    研究者提出 CoER,将带有多轮工具调用和多次注入的任务建模为一般和马尔可夫博弈,以此训练能够适应不断演化的攻击者的防御方案。该方法先用成功轨迹初始化攻击者,再用双边对抗强化学习(BA-RL)保留双方的历史策略作为对手种群并混合新旧对手,随后复用这些攻击者挑战教师智能体,只用经安全性验证并通过任务完成的示范来微调共同演进的防御者。在七个领域、三个随机种子上,CoER 将自适应攻击成功率从 41.3% 降至 0.2%,并将安全完成率从 39.6% 提高到 76.2%。外部基准上也表现出更强的抗攻击能力,消融实验进一步验证了历史对手混合与基于种群的精炼的有效性。

    推荐理由论文把工具智能体的自适应间接提示注入建模为多轮博弈,用攻防协同演化加教师示范微调,给出跨七个域的攻防成功率与安全任务完成率对比。

  13. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    CapScope:面向编码 Agent 的抗提示注入能力范围授权机制

    研究者提出 CapScope,一种在 harness 层限制工具调用的授权机制,无需模型自行识别恶意文本。它先从可信输入推导任务级权限上限,再为每个 Agent 分配独立的能力集合,存放在模型上下文之外,每次工具调用都按发起该调用的 Agent 的能力进行检查,因此某个子 Agent 获得的权限不会自动传给另一个。作者在 Pi 编码 Agent 上实现该机制,并在一个由编排者向子 Agent 分派子任务的修复流程中评测,覆盖 5 个 Python 任务、5 个注入面、4 种授权条件和每格 3 次试验共 300 次运行。

  14. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文39

    面向 AI-SOC 的神经符号防御框架:用 SIEM 解码器与 NeMo Guardrails 阻断日志投毒提示注入

    论文提出一种神经符号纵深防御架构,用于保障 LLM 接入安全运营中心(SOC)后的管道完整性,应对通过日志投毒实施的间接提示注入。作者指出,攻击者可在系统日志中嵌入恶意载荷,形成多步 promptware 攻击链,劫持 LLM 的操作逻辑;而确定性防御语义盲、纯神经评估延迟高且存在概率性缺陷。该框架第一层用定制 SIEM 解码器作为确定性预过滤,在数据摄入边缘做结构化清洗,消除体量填充和基于签名的注入;第二层用 NeMo Guardrails 在 LLM 处理前对结构化 SIEM 告警做自检式语义边界校验;同时集成闭环遥测系统,在 SOC 仪表盘中为人工介入提供被拦截攻击的可见性。

  15. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    MCPSEC:仅凭工具元数据检测 MCP 服务器间接提示注入漏洞

    研究者提出 no-box 漏洞分析范式,在既无系统访问权限也无运行时交互、仅有功能元数据的条件下,推断系统所有可能实现中都存在的漏洞。他们实现了原型 MCPSEC,仅利用 MCP 服务器注册时暴露的工具元数据审计间接提示注入漏洞。在 20 个广泛部署的 MCP 服务器、共 177 个工具上评估,人工评估者确认 95 个工具存在漏洞,MCPSEC 判定 143 个工具存在漏洞,并为每个漏洞工具给出漏洞假设与利用技术。仅凭元数据,MCPSEC 预测出 94 个经人工验证的真实漏洞,召回率 98.9%,高于 LLM 基线的 80 个、84.2%。

  16. arXiv:可解释性 · 收录 · 原文 论文50

    研究评测 14 个模型对不可靠工具的过度依赖

    研究评测了 14 个模型在 web search、LLM 子智能体和代码执行器三类工具返回值被污染时是否过度依赖工具。所有工具的平均采纳率都超过三分之一,web search 达到 68.0%;被污染的返回值还经常覆盖模型不借助工具时给出的正确答案,这种依赖在更复杂任务和多工具组合任务中依然存在。模型在返回值被污染时往往发起更多工具调用,推理轨迹中会质疑返回值甚至说出正确答案,但仍把被污染内容交给用户,很少提示冲突。

  17. arXiv:可解释性 · 收录 · 原文 论文43

    SAEScientist-Bench:AI 智能体能否自主开展 SAE 可解释性研究

    论文提出 SAEScientist-Bench,用于评估 AI 智能体能否像研究者一样使用 SAE 工具自主完成机制可解释性发现。给定目标概念后,智能体需设计对比探针,并在 Gemma-2-9B-IT 的 Gemma Scope 字典中检索 131K+ 个特征,找出最优特征。评测以 Neuronpedia 上经专家整理的参考特征为基准,从激活排名、对比文本上的概念选择性以及因果引导三个维度打分。在 10 种智能体配置和 20 项任务中,前沿智能体展现出真实的发现能力,并在不同评测维度上各有领先,但整体仍明显落后于专家基线:在区分目标概念与对比控制项上接近专家水平,在因果生成引导上差距较大。

  18. arXiv:可解释性 · 收录 · 原文 论文42

    Deep Noir:用架构时序自动发现 Transformer 激活引导参数

    Deep Noir 提出一套框架,用 Logit Lens 收敛与因果的注意力头级归因,自动发现最优激活引导参数,替代人工选择引导位置与强度。在三个规模区间(1B 三个模型、2-3B 两个、7-9B 四个)上,该引擎在垃圾信息任务上于 1B 取得 16.7 个百分点提升(标准差 4.7,39 次运行),在 7-9B 的四种架构上提升扩大到 21 至 42 个百分点;在 SST-2 情感任务上无需改动代码即取得 13.1 个百分点提升。作者称机制层面的依据使自动发现的干预点可跨任务与架构泛化,情感任务上未做注意力头掩码的 RepE 未能超过基线,而 Deep Noir 改善了所有模型(p 小于 0.01)。

  19. Hugging Face Daily Papers · 收录 · 原文 论文15

    PatchHolmes:基于列表式选择的智能体补丁检索系统

    PatchHolmes 提出让 AI 智能体一次性读取前 100 个候选提交并通过四个预算受限的工具逐一打开提交来定位漏洞修复补丁的方法,将 Recall@1 从逐点系统的 34.61% 提升至 59.95%。该系统无需微调和付费搜索 API,仅依赖冻结的开源权重模型运行于本地 Git 克隆仓库之上,单次处理约消耗 96000 输入 token、执行 8 次工具调用并阅读 5 个提交。

  20. Hugging Face Daily Papers · 收录 · 原文 论文22

    SkillSeek:Agent 技能检索在 Marketplace 规模下的再审视

    SkillSeek 在 89 项任务的基准上对比 11 种检索方法,发现 1990 年代的 BM25 关键词匹配在 4 种设置中的 3 种追平或超过智能体式检索循环,小型 cross-encoder 在第四种设置以 0.442 通过率持平。每次运行成本为无技能 27.41 美元、该检索器 27.54 美元、智能体循环 51.30 美元,且该检索器在 CPU 上运行、不消耗任何语言模型 token。作者主张智能体式检索应作为兜底方案,标准检索流程才是首选;论文同时指出大技能池下第一阶段召回率会限制任何重排器的上限。

  21. Hugging Face Daily Papers · 收录 · 原文 论文18

    为测试时 AI4AI 的智能体执行环境设计学习元技能

    研究提出 Meta-Skill 元技能,让 Builder 在模型权重冻结的前提下,从 Target 在开发集上的执行反馈中学习"何时需要支持、提供什么资源"的原则,再用冻结的技能库为未见任务构建执行环境。在 Harness-Bench 和 NewtonBench 上,完整技能库的元技能比无技能构建提升宏平均性能 8.95 个百分点,比直接把同一技能库交给 Target 高 12.02 个百分点。同一模型同时担任两种角色时仍有增益,提示可通过学习构建更好环境实现系统级自我改进。

  22. Hugging Face Daily Papers · 收录 · 原文 论文43

    Box² Bench:语言模型能否有选择地依赖外部指导

    研究者提出 Box² Bench,在模型和任务固定的前提下改变工作流的可靠性,分别测量模型能否利用有用工作流、能否抵抗误导性工作流。结果显示,可靠工作流通常提升表现,但误导性工作流仍会显著拉低成绩,能力较强的模型同样对外部指导的可靠性敏感。作者随后用仅含坏工作流的训练数据微调两个开源权重模型,反事实监督微调让模型对误导性指导更鲁棒,基于结果的强化学习进一步让模型更多利用有用工作流,而训练中从未见过好工作流。这种选择性依赖还迁移到其他易出错的外部信息上,在多智能体推理中表现为更好的同伴纠错,对受损记忆也更鲁棒。作者认为,随着智能体依赖工作流、记忆、工具和其他智能体,对不可靠外部信息的选择性依赖可能成为任务表现之外的重要可靠性维度。

  23. Hugging Face Daily Papers · 收录 · 原文 论文43

    Agent Error Dataset 发布 5 万条错误诊断配对,用于失败分析与错误感知后训练

    论文提出 Agent Error Dataset(AED),包含来自 9,961 个源任务、33 个环境、19 个 harness 家族和 23 个策略模型的 50,228 条错误诊断配对,并保留源轨迹与执行元数据以支持跨场景失败分析和重新诊断。作者用五阶段 Agentic Error-to-Training(AET)流程收集自然失败、生成诊断与修正建议,并对照记录证据进行核验。在 3,062 对匹配重放中,首次提出的修正把验证器通过率从 18.4% 提升到 51.1%,提高 32.7 个百分点。

  24. Hugging Face Daily Papers · 收录 · 原文 论文50

    VoxParity 评测:语音智能体在需要听声判断时仍按文字行事

    VoxParity 评测语音智能体是否会依据声音信息改变行动。该基准覆盖 14 个行业的 183 个场景,每个场景保持文字转写不变、只改变音频(如教练语气、医疗监护仪报警、无线电检查中的求救、药品名上的噪声、儿童下注的声音、惊恐的低语),对应的正确工具调用也随之改变。评测设置文字-only 的零假设对照,只有听到声音后行动变化超过纯文字流水线才算通过,23 个可同时跑转写的系统中仅 11 个通过。错误整体偏向文字:当音频要求保护性反应时,28 个系统执行常规请求的比例为 41%,而在干净通话上过度反应的比例为 12%,纯文字流水线分别为 58% 和 15%。

  25. arXiv · 收录 · 原文 论文50

    MADBench:多智能体辩论安全性评测基准发布

    研究者提出 MADBench,用于系统评估多智能体辩论(MAD)在多种攻击下的安全性。该基准按 MAD 工作流建立分层攻击分类,涵盖已有攻击和针对辩论设计的新策略,在 356 个源任务、3958 个测试用例上评估了六个攻击家族对最终答案和对抗影响传播的作用。结果显示,受攻击时 MAD 未必提升 LLM 推理能力:在问答任务中相比单智能体基线可缓解对答案准确率的攻击,但在问答和工作区任务中都会放大未授权读写;即便五个智能体中三个合谋,也只在 28.30% 原本答对的任务上把最终答案由对改错,辩论过程中仅 3.26% 初始正确的诚实智能体转向错误答案。

  26. arXiv · 收录 · 原文 论文32

    MiniRep:面向多智能体辩论的鲁棒声誉聚合方法

    MiniRep 是一种面向多智能体辩论(MAD)的声誉聚合系统,用于在存在恶意智能体时提升最终答案的可靠性。它基于声誉系统攻击与软件测试变异算子构建攻击分类体系,同时依据智能体在当前任务上的行为和长期声誉进行评估,并抑制高度相似回答的智能体群体主导决策。在 MATH 等任务上,MiniRep 无论是否遭受攻击都优于传统 MAD 聚合与常规声誉方法;在 10 个异构智能体的 MATH 设置下,于全部 28 种攻击条件下均优于所有基线。

  27. arXiv:后门、投毒与隐私 · 收录 · 原文 论文50

    VirusCascade:劫持 LLM 推荐智能体的协同反思机制

    研究者提出 VirusCascade,一种针对 LLM 驱动的智能体推荐系统(LLM-ARS)的黑盒定向推广攻击。该系统把用户和物品实例化为自主智能体,通过协同反思反复精炼语义状态;注入单个智能体的对抗证据会被合理化为偏好叙事并写入记忆,再经交互上下文扩散到其他智能体,作者将局部合理化称为 reflection laundering,将系统级放大称为 collaborative-reflection hijacking。受控脆弱性分析确认了反思持久性与跨智能体传播两个可利用属性,VirusCascade 据此同时塑造语义与结构攻击面。在四个真实数据集和多种 LLM-ARS 架构上,该攻击在评估的隐蔽性约束下取得平均 E@20 为 0.384,比最强基线高出 0.185。

  28. arXiv:Agent 与 MCP 安全 · 收录 · 原文 52

    可验证操作卡 VAC:为自主 Agent 提供可信人在回路控制

    论文提出可验证操作卡(VAC),一种从真实待执行的浏览器操作和可信意图来源重建审批信息、在可信浏览器界面中带外渲染、并把审批绑定到派发时重新验证的同一操作的架构级防护。VAC 结合来源隔离、真实操作描述符、默认拒绝确认、来源感知风险门控和执行绑定,并在一个完整的智能体浏览器中实现。在覆盖混淆代理攻击、Lies-in-the-Loop 对话伪造、间接提示注入、自适应操作替换、来源规避和正常任务的 24 场景基准上,无 VAC 时各评测 LLM 的攻击成功率为 68% 至 100%,VAC 将每个模型的攻击成功率降至 0%,正常任务完成率 78%,误拦截率 0%。

  29. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文22

    用进化方法为 Rocq 和 Lean 设计智能体/证明器接口,降低定理证明成本

    研究者提出一种进化方法,由前沿模型逐步提出新接口功能,只保留能提升小模型整体表现的部分,并据此培育出面向 Rocq 证明器的新 MCP 服务器 rme。在 miniF2F-Rocq 的留出 test 划分上,配备 rme 的智能体在来自两个模型族的四个模型上,成功率、单次求解成本和单次求解时间均优于仅暴露 Rocq 编译器的基线以及一个已有 MCP 服务器。该服务器虽为 Rocq 进化而来,却能迁移到 Lean,在 PutnamBench 子集上改善成本与时间,作者已开源 rme 及其 Lean 移植版。

  30. arXiv · 收录 · 原文 46

    RSI-Master:用结构化实验引导自主模型改进

    RSI-Master 通过结构化实验引导 AI 智能体自主改进模型,以应对自主模型开发中的两类问题:智能体可能通过作弊利用开放式实验动作,以及反复实验导致策略锁定,即只细化早期方向而不重新考虑。方法分两层:Experiment OS 规范逐步动作并维护持久、可追溯的实验记录;Reviewer-Guided Research Orchestration 将 Worker 与 Reviewer 组织成动态生长的研究 DAG,Worker 探索不同研究方向,Reviewer 跨相关实验比较证据以指导后续探索。

  31. arXiv · 收录 · 原文 论文42

    FAME:用反事实推理评测自主智能体的虚假记忆

    研究者提出 FAME,一个免训练框架,通过反事实推理下智能体信念的演化来评测自主智能体的虚假记忆。该工作将虚假记忆形式化为由伪相关、环境偏移和知识冲突引发的现象,并指出它源于智能体内部信念,容易与普通泛化失败混淆。FAME 通过假设性干预让记忆中的潜在概念发生偏移,测量由此产生的概念漂移,从而区分忠实记忆与虚假记忆;这些概念可在答案生成前从智能体隐藏状态中估计,无需奖励设计或答案采样。实验显示,仅监控答案往往无法检测虚假记忆,而 FAME 在各类虚假记忆设定下 AUROC 达到 76.2% - 96.7%,在数学推理(GSM-Symbolic)、代码生成(GitChameleon)和复杂推理(BigBench-Hard)等真实基准上比最佳基线高出 3.4% - 23.3%。作者同时发布了相应的反事实模板。

  32. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    Aletheia:面向编码 Agent 规则的权限最小化测试框架

    Aletheia 是一个针对编码 Agent 仓库指令文件的权限最小化测试框架,用于发现恶意规则在生成正确补丁的同时索取凭据访问或数据传输权限。它把规则请求的权限翻译为带类型语言并合成可执行沙箱配置,在完整权限和逐项移除权限的独立限制下运行同一条未修改的规则与任务;若在严格削减权限后仍通过功能测试,就得到该权限可被舍弃的见证,再结合任务上下文诊断可疑请求。作者形式化了配置合成及见证与强制限制之间的条件。在共享重构任务上,Aletheia 执行并检出全部 314 条 AIShellJack 攻击输入,对五个良性模板无误报;在 80 条人工核验的良性 GHAgentFiles 规则中产生 3 个误报(3.75%)。

  33. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    研究者对语言 Agent 的因果动作验证器 CIVeX 发起图规格错误攻击

    研究者对语言 Agent 的因果动作验证器 CIVeX 做红队测试,只篡改其提交的动作状态图就能绕过验证。CIVeX 原本在混淆工具使用基准上报告零误执行,省略一条双向边后误执行率升至 15.3%,其中 91% 的执行有害,效用从 +2.27 降到 +0.35;反转一个箭头方向、把中介变量提交为混淆变量后,误执行率达 48.9% 且没有一次正确执行,而这些动作都带有内部有效的证书。作者提出一个证明步骤,用有界随机样本检验每个仅凭观测认证的执行,在真实图上 555 次执行中误报 2 次,并检测出上述两种攻击;拒绝未通过或无法测试的执行后,所有测量设置下误执行均为零。

  34. Hugging Face Daily Papers · 收录 · 原文 论文43

    论文提出 DerivAudit:审计长期 Agent 记忆是否真由交互历史支持

    论文指出长期运行的 LLM Agent 会把过往交互压缩成持久记忆并作为后续任务前提,由此产生推导问题:记忆未必真由交互历史支持。作者用证据范围、组合有效性、准入可靠性三项要求刻画该问题,并提出 DerivAudit 审计框架,区分支持证据是否超出写入方给出的引用、组合后的记忆是否引入历史未确立的含义、以及写入时的准入决策如何影响后续记忆使用。在两个自然记忆语料上,使用更广的写入前历史进行审计,可为近 60% 仅凭引用看似无支持的记忆找回支持,但仍有 17-21% 在扩展证据后依然无支持;更广的证据本身并不能让准入变得可靠,无支持记忆在多个验证模型下仍常被准入,且仅做证据扩展在两个骨干模型上反而使情况变差。

  35. arXiv:危险能力与安全评测 · 收录 · 原文 论文50

    研究提出自主 Agent 失控的竞争风险系统化框架

    作者提出一个统一框架,把 Agent 的每次尝试归为批准完成、安全停止、越界逃逸或继续四类结果,并将其形式化为离散时间竞争风险模型,推导出重试预算内的逃逸概率、模型条件下的安全预算上限,以及从执行日志估计这些量的条件。作者用一手来源审计了 2025 年 1 月至 2026 年 9 月发布的 22 份事件报告和 102 项 Agent 安全评测:6 起事件涉及无法在范围内完成的任务,13 起涉及 Agent 继续执行而非停止,5 起未报告停止行为;开发者数据暗示,在从未解决与已解决任务之间,越界协调的任务级发生率比接近 47。评测方面,87 项记录了越界效应或规格违规,26 项把安全停止作为一等结果,仅 20 项同时记录两者,79 项把预算耗尽与失败混同。

  36. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    ContractWarden:用人类授权契约在内核层为 AI Agent 划定损害边界

    ContractWarden 是一个 Linux 参考监视器,通过人类授权的契约在内核层为 AI Agent 划定损害边界,不信任 Agent 本身或其策略建议。模型可以提出 allow、deny 或 no_egress 三态资产契约,但由人类做最终选择;执行门在不可信代码运行前把契约绑定到具体任务,再由基于 eBPF 的 LSM 数据平面执行文件与网络决策,并将 no_egress 沿进程、普通文件、管道、FIFO 和受支持的 Unix-domain socket 单调传播。在 19 项安全测试的 570 次运行中,全部满足预设的返回值与副作用标准。在三项同机文件 I/O 负载上,Linux 6.15 虚拟机中的中位开销为 11.96%–12.89%,物理平台为 35.79%–61.54%,低于所评估的冻结版 ActPlane 基线。

  37. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文34

    面向智能体的高效 HPC 系统:挑战与机遇

    编码智能体已成为 HPC 系统的真实用户,但现有 HPC 抽象、接口与策略仍为人类工作流设计。测量显示,编码智能体用户仅占观测人群的 19.5%,却贡献了 55.8% 的作业提交、29.1% 的 CPU 核心时和 42.7% 的 GPU 时;其命令下发速率是人类的 20.8 倍,并以细粒度 explore-modify-execute 循环和跨昼夜的试错方式追求开放式目标。这给调度器控制面、元数据密集型 I/O、跨会话记忆复用以及提示注入与策略执行带来压力,作者主张将智能体视为一等主体、以协同设计应对。

  38. Hugging Face Daily Papers · 收录 · 原文 论文55

    AgentTell:浏览器 Agent 的行为侧信道泄漏基准

    BRAC University 等机构的研究者提出 AgentTell,用于测量浏览器 Agent 的行为侧信道泄漏,即 Agent 在一个网站获取用户私密信息后,在另一个网站通过任务导向的选项选择无意泄露该信息。基准包含 20 个场景、100 个任务,每个任务先在 plant 网站让 Agent 获知秘密,再到 probe 网站选择与秘密对应的专属操作或不会泄露的通用操作。在六个模型上共评估 9,760 个会话,携带秘密的 Agent 在 61.1% 的会话中通过操作泄露信息,即使记忆里明确写下不得分享,仍在 56.7% 的这类会话中泄露;34.5% 的泄露会话中,Agent 的最终回复还错误地保证未披露任何信息。泄漏程度因秘密类型而异,个人属性、账户设置和物品归属关系泄漏最多,服务账户身份泄漏最少;若秘密在前一任务中被实际使用,泄漏概率更高。

    推荐理由论文给出跨网站行为侧信道泄漏的量化结果,做浏览器 Agent 的团队可据此检查选项设计是否泄露用户隐私。

  39. arXiv · 收录 · 原文 论文37

    S³:用多阶段防御提升 LLM 智能体安全

    论文提出 Stage-Specific Safety Skills 抽象,把异构安全设计表示为带明确阶段语义的可复用、可组合组件,并给出自动化转换流程和社区驱动的安全技能库。在此基础上提出 S³ 多阶段防御框架,由 guard agent 编排各阶段安全技能,在智能体工作流的记忆、规划、工具执行等环节做风险检测与缓解。作者同时构建 Multi-Stage Risk Benchmark(MSRB)评估各阶段代表性风险,实验显示 S³ 在安全有效性和效用保持上均优于代表性 SOTA 基线。论文认为阶段特定安全技能可作为构建韧性智能体系统的可扩展、可组合基础。

  40. arXiv · 收录 · 原文 论文57

    SynChain:诱导计算机使用 Agent 自建攻击链并跨任务持久化

    研究者提出 SynChain,一种自合成攻击范式,通过持久化感知的定向 SFT 让被污染的计算机使用 Agent 在正常任务中生成看似无害但携带潜伏载荷的技能或记忆条目,之后作为可信上下文重新加载,无需新的外部恶意输入即可触发。作者构建了 CuaChain 数据集,包含 30 条良性任务链和隐私泄露、权限篡改、未授权写入三类攻击目标。在 OpenClaw、Codex 和 Claude Code 三种框架、四种防御设置下,SynChain 在 Chain-1 平均攻击成功率超过 93%,Chain-2 仍高于 72%,显著优于改造后的 SkillJect 和 DemonAgent 基线。随着链长增加攻击效果下降,Chain-3 降至 26.57%,Chain-5 仅 1.11%,作者将其归因于记忆摘要和上下文截断形成的信息瓶颈。

    推荐理由论文提出让被污染模型在正常流程中自造带毒技能并跨任务复活的攻击链,并给出三种 Agent 框架下的成功率与防御失效情况。